🤖 machine learning

Knee or ROC

Il paper propone l'utilizzo del metodo del "ginocchio" (knee method) per determinare soglie di accuratezza adattive nella rilevazione di immagini multiclasse con popolazioni sconosciute, superando i limiti delle tradizionali curve ROC in contesti dove la rappresentazione delle classi non è nota.

Autori originali: Veronica Wendt, Jacob Steiner, Byunggu Yu, Caleb Kelly, Justin Kim

Pubblicato 2026-03-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Veronica Wendt, Jacob Steiner, Byunggu Yu, Caleb Kelly, Justin Kim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🎨 Il Problema: Il "Cecchino" e la Folla

Immagina di avere un cacciatore di immagini (un'intelligenza artificiale chiamata Transformer) che è bravissimo a riconoscere un solo tipo di oggetto alla volta, come un cecchino che sa colpire solo un bersaglio specifico in una stanza vuota. Finora, i ricercatori hanno testato questo cecchino solo in situazioni perfette: sapevano esattamente quanti bersagli c'erano e chi fossero.

Ma la vita reale è diversa. Immagina di lanciare una folla di persone (un'immagine con molti oggetti diversi) davanti al cecchino. Inoltre, non sai quanti nemici ci sono nella folla. Il cecchino tradizionale si perde: non sa quando fermarsi o quanto essere sicuro prima di dire "Ho visto un nemico!".

Il paper di Veronica Wendt e colleghi si chiede: Come possiamo insegnare a questo cecchino a lavorare bene in una folla caotica, dove non sappiamo nemmeno quanti "nemici" ci sono?

⚖️ Le Due Strategie: La Bilancia Perfetta (ROC) e il Punto di Rottura (Knee)

Per risolvere il problema, gli autori confrontano due modi diversi per decidere quando l'AI è abbastanza sicura da fare una previsione.

1. La Bilancia Perfetta (Metodo ROC)

Immagina di avere una bilancia che misura quanto l'AI è brava a distinguere il vero dal falso.

Come funziona: Disegni una curva (la "ROC") che mostra tutti i possibili punti di equilibrio tra "vedere cose che non ci sono" e "non vedere cose che ci sono".
Il limite: Questa bilancia è come un orologio da polso calibrato in fabbrica. Una volta impostata durante l'addestramento, non cambia più. Se l'AI viene messa in un ambiente reale e caotico (dove le condizioni cambiano), questa bilancia rigida potrebbe non funzionare più bene. È come cercare di usare la stessa chiave per aprire porte di forme diverse.

2. Il Punto di Rottura (Metodo Knee)

Immagina di piegare un cartoncino. All'inizio, se lo pieghi di poco, non succede nulla di visibile. Ma arriva un momento preciso, un "punto di rottura" (il Knee o il gomito), dove il cartoncino si piega bruscamente.

Come funziona: Invece di usare una bilancia fissa, guardi la curva delle probabilità dell'AI e cerchi quel punto esatto dove la curva cambia direzione in modo drastico.
Il vantaggio: Questo è un adattatore universale. Puoi calcolare questo punto "al volo" (ad-hoc), sia mentre l'AI impara, sia mentre lavora in tempo reale. È come se l'AI potesse dire: "Ok, oggi la folla è strana, pieghiamo il cartoncino qui, non lì".

🧪 L'Esperimento: Costruire una Folla di Immagini

Per testare queste idee, gli autori hanno preso un set di dati famoso (CIFAR-10, che contiene immagini di animali e oggetti) e ha fatto una cosa creativa:

Hanno preso 4 immagini diverse e le hanno incollate insieme in un quadrato (2x2).
Hanno creato un "nuovo" dataset di 500 di queste immagini miste.
Hanno usato un modello AI moderno (CCT) per cercare di riconoscere cosa c'era dentro.

🏆 I Risultati: Chi vince?

Ecco cosa hanno scoperto, tradotto in metafore:

Il Metodo "Costruttivo" (Metodo 1 e 2 - ROC):
Hanno provato a ricostruire la bilancia (ROC) in due modi diversi. Hanno scoperto che il metodo "brute force" (Metodo 2), che prova a riorganizzare i dati come se fosse un puzzle, funziona meglio. Trova un punto di soglia (una linea di sicurezza) più alto e preciso. È come se avessero trovato la chiave perfetta per la porta, ma hanno dovuto provarne mille prima di trovare quella giusta.
Il Metodo "Flessibile" (Metodo 3 - Knee):
Qui è diventato interessante. Hanno guardato le "curve di probabilità" delle immagini.
- Se l'immagine è "rumorosa" (probabilità bassa): La curva è piatta, come un prato. Non c'è un punto di rottura chiaro. Il metodo Knee fatica a trovare un punto di riferimento. È come cercare di piegare un foglio di gomma: non si piega bene.
- Se l'immagine è "chiara" (probabilità alta, > 0.35): La curva ha un gomito netto. Il metodo Knee funziona benissimo e trova subito il punto giusto. È come piegare un cartoncino rigido: il punto di rottura è ovvio.

💡 La Conclusione: Non c'è una risposta unica

Il paper ci insegna una lezione importante: non esiste un metodo migliore in assoluto, dipende dalla situazione.

Se hai immagini piccole o confuse (bassa probabilità), usa il metodo della Bilancia (ROC) perché è più robusto e calcolato a priori.
Se hai immagini grandi o molto chiare (alta probabilità), usa il metodo del Punto di Rottura (Knee) perché è flessibile, veloce e si adatta al momento (perfetto per ambienti reali dove le cose cambiano).

In sintesi: Gli autori ci stanno dicendo che l'Intelligenza Artificiale non deve essere un robot rigido che segue solo un manuale. Deve essere un artigiano capace di scegliere lo strumento giusto (la bilancia o il punto di rottura) in base a quanto è "rumorosa" o "chiara" la scena che deve osservare. Questo è il primo passo per rendere l'AI capace di guardare una folla e capire esattamente cosa sta succedendo, anche senza sapere quanti ci sono.

Titolo: KNEE o ROC: Adattamento delle soglie di accuratezza per la rilevazione di immagini multiclasse con Transformer

1. Il Problema

Gli attuali modelli basati su self-attention transformers (come i Compact Convolutional Transformers - CCT) hanno dimostrato un'elevata accuratezza nella classificazione delle immagini, specialmente su dataset ridotti. Tuttavia, la ricerca esistente presenta due limitazioni fondamentali quando applicata a scenari reali complessi:

Limitazione al singolo oggetto: La maggior parte dei test si basa sulla rilevazione di una singola classe per immagine con una popolazione di immagini nota.
Inadeguatezza dei metodi tradizionali in ambienti dinamici:
- Il metodo standard per determinare la soglia di accuratezza è la curva ROC (Receiver Operating Characteristic). Tuttavia, la soglia ROC viene calcolata durante l'addestramento e rimane fissa una volta che il modello è distribuito in un ambiente "live". Questo la rende inadatta per scenari in cui le classi di input possono essere multiple o la rappresentazione della popolazione di immagini è sconosciuta.
- In contesti multiclasse o con popolazioni sconosciute, è necessario un meccanismo per adattare dinamicamente le soglie di decisione.

2. Metodologia Proposta

Gli autori propongono un approccio innovativo per gestire la rilevazione multiclasse, utilizzando tre metodi distinti per determinare le soglie ottimali di probabilità, applicabili sia in fase di addestramento che in ambienti di produzione (live).

Contesto del Modello: L'uso di un modello CCT (Compact Convolutional Transformer) pre-addestrato, che combina i vantaggi delle convoluzioni (interazione sparsa, condivisione dei pesi) con l'efficienza computazionale dei transformer.
I Tre Metodi di Calcolo della Soglia:
- Metodo 1 (ROC basato su Distribuzione Normale):
  - Si creano due curve di distribuzione normale basate sui valori di True Positive Rate (TPR) e True Negative Rate (TNR).
  - Utilizzando la Funzione di Distribuzione Cumulativa (CDF), si approssimano i valori integrali per determinare TPR e FPR (False Positive Rate) per una soglia arbitraria $T_1$ .
  - Incrementando $T_1$ , si genera una curva ROC "novel" per dataset multiclasse.
- Metodo 2 (Approccio "Brute Force" / What-If):
  - Questo metodo riorganizza gli array di probabilità originali (Positivi e Negativi) in base a diverse soglie di soglia ( $T_2$ ) incrementali.
  - Per ogni soglia, i valori vengono spostati in nuovi array (TP, FP, FN, TN) simulando uno scenario "what-if".
  - Viene generata una curva ROC per ogni iterazione. L'obiettivo è trovare la curva con la massima Area Under the Curve (AUC) e la maggiore distanza dalla linea di caso casuale (AUC = 0.5).
  - Su questa curva ottimale, viene calcolato il punto "ginocchio" (knee point) utilizzando la funzione KneeLocator per determinare la soglia finale.
- Metodo 3 (Metodo del Ginocchio Ad-hoc):
  - Progettato specificamente per ambienti in tempo reale dove non è possibile ricalcolare l'intera curva ROC.
  - Le probabilità di uscita per ogni immagine multiclasse vengono ordinate in ordine crescente.
  - Viene calcolato il valore del "ginocchio" (elbow) direttamente sulla distribuzione delle probabilità ordinate. Questo metodo è flessibile e può essere applicato su base ad-hoc senza dipendere da un training set fisso.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando un dataset modificato derivato da CIFAR-10, dove immagini multiple (2x2) sono state combinate per creare immagini multiclasse (500 immagini totali).

Confronto tra Metodi 1 e 2:
- Il Metodo 2 ha prodotto curve ROC con un'AUC superiore rispetto al Metodo 1.
- La soglia ottimale calcolata tramite il punto di ginocchio sulla curva migliore del Metodo 2 è stata T = 0.72.
- Il punto di ginocchio identificato è stato alle coordinate (0.33, 0.64), con una distanza euclidea di 0.22 dal punto di riferimento AUC=0.5.
Analisi del Metodo 3 (Ginocchio):
- È stato osservato un pattern chiaro basato sulla probabilità massima dell'immagine:
  - Se la probabilità massima è ≥ 0.35: I valori del ginocchio sono consistenti e superiori a 6 (nel 92,5% dei casi tra 6 e 8).
  - Se la probabilità massima è < 0.35: I valori del ginocchio sono inconsistenti e talvolta inesistenti.
- Questo suggerisce che il Metodo 3 è efficace per oggetti multiclasse "grandi" (alta probabilità), mentre il Metodo 2 è più robusto per oggetti "piccoli" o a bassa probabilità.

4. Contributi Chiave

Adattamento Multiclasse: Estensione delle tecniche di valutazione dell'accuratezza (ROC e Knee) per gestire immagini contenenti più di una classe, superando il limite della rilevazione a singola classe.
Flessibilità Ambientale: Introduzione di un metodo (Metodo 3) che permette il calcolo delle soglie "ad-hoc" in ambienti live, risolvendo il problema della rigidità delle soglie ROC tradizionali.
Integrazione Architetturale: Dimostrazione dell'efficacia dei Compact Convolutional Transformers (CCT) in scenari di rilevazione multiclasse, mantenendo bassi costi computazionali.
Nuova Metodologia di Calcolo: Proposta di un approccio ibrido che combina la generazione di curve ROC tramite CDF e l'analisi del punto di ginocchio per determinare soglie dinamiche.

5. Significato e Conclusioni

Il paper rappresenta un passo fondamentale verso l'uso pratico dei transformer nella visione artificiale per scenari complessi e non strutturati.

Impatto Pratico: Fornisce un framework per determinare quando un modello è "certo" di una rilevazione in assenza di informazioni complete sulla popolazione di immagini, cruciale per applicazioni di sicurezza o monitoraggio in tempo reale.
Direzioni Future: Gli autori sottolineano la necessità di ulteriori ricerche per gestire casi in cui il numero di classi nell'immagine di input è completamente sconosciuto. Il metodo del ginocchio ad-hoc è visto come un passo verso l'identificazione dinamica di classi durante il testing o la distribuzione live, potenzialmente combinabile con architetture all'avanguardia per risultati state-of-the-art.

In sintesi, lo studio dimostra che mentre la curva ROC tradizionale ha limiti in ambienti dinamici multiclasse, l'uso combinato di metodi di ottimizzazione delle soglie (come il punto di ginocchio) e architetture efficienti come i CCT offre una soluzione promettente per la prossima generazione di modelli di rilevazione oggetti.