A Systematic Comparison of Training Objectives for Out-of-Distribution Detection in Image Classification

Questo articolo presenta un confronto sistematico di quattro obiettivi di addestramento per il rilevamento di dati fuori distribuzione nella classificazione di immagini, rivelando che la Cross-Entropy Loss offre le prestazioni più coerenti sia per i dati vicini che lontani dalla distribuzione rispetto ad altre funzioni di perdita.

L'essenziale

Immagina di avere un cuoco esperto (il tuo modello di intelligenza artificiale) che ha passato anni a cucinare solo piatti italiani. È diventato bravissimo a riconoscere una pizza, una pasta o un risotto. Ma cosa succede se gli porti un sushi giapponese o un tacos messicano? Il cuoco potrebbe confondersi, pensare che sia un tipo di pasta strano e servire il piatto sbagliato, oppure potrebbe dire: "Non so cos'è questo, non è nella mia lista!".

Questo è il problema dell'Out-of-Distribution (OOD) Detection. Nel mondo reale, le auto a guida autonoma o i medici che usano l'AI devono sapere quando si trovano di fronte a qualcosa che non hanno mai visto prima, per evitare disastri.

Questo articolo è come un grande torneo di cucina dove si mettono a confronto quattro diversi "metodi di addestramento" per vedere quale rende il cuoco più sicuro nel riconoscere i piatti sconosciuti, senza però fargli perdere la capacità di cucinare bene quelli che conosce già.

Ecco i quattro "allenatori" (o metodi di addestramento) confrontati:

1. L'Allenatore Classico: Cross-Entropy Loss (La Probabilità)

Immagina questo allenatore come un maestro di scuola tradizionale. Gli dice al cuoco: "Se vedi una pizza, devi essere sicuro al 100% che è una pizza. Se vedi un sushi, devi dire 'non è una pizza'".

• Come funziona: Si basa sulle probabilità. "Quanto è probabile che questo sia un italiano?"
• Il risultato: È il metodo più affidabile e costante. Anche se non è sempre il più veloce nel riconoscere i sushi lontani, non sbaglia quasi mai i piatti italiani. È la scelta "sicura" per la maggior parte delle situazioni.

2. L'Allenatore "Vicini e Nemici": Triplet Loss (La Distanza)

Questo allenatore è come un detective che gioca a "trova la differenza". Prende tre foto: una pizza (ancora), un'altra pizza (positiva) e un sushi (negativo). Dice: "Avvicina le due pizze, allontana il sushi".

• Come funziona: Cerca di creare uno spazio dove le cose simili sono vicine e quelle diverse sono lontane.
• Il risultato: Funziona bene se ci sono pochi piatti (come 10 tipi di pizza). Ma se provi a insegnargli 200 tipi di piatti diversi (come nel caso di ImageNet), si confonde e si perde. Diventa troppo complicato tenere traccia di tutte le distanze e il cuoco inizia a sbagliare anche i piatti italiani.

3. L'Allenatore "Modello": Prototype Loss (Il Prototipo)

Immagina questo allenatore che crea un manichino perfetto per ogni tipo di piatto. Per ogni classe (es. "Pizza"), crea un'immagine ideale e dice: "Il tuo compito è far assomigliare ogni pizza che cucini a questo manichino perfetto".

• Come funziona: Cerca di raggruppare tutti i piatti simili intorno al loro "eroe" ideale.
• Il risultato: È eccellente nel cucinare bene i piatti italiani (alta precisione). Riusce a capire bene le sfumature. Tuttavia, quando arriva un sushi, a volte pensa: "Beh, assomiglia un po' alla mia pizza ideale", quindi non lo scarta subito. È bravo, ma non sempre il migliore nel dire "Questo è sconosciuto!".

4. L'Allenatore "Classifica": Average Precision (AP) Loss (La Classifica)

Questo allenatore non si preoccupa tanto della probabilità esatta, ma di mettere in ordine. Dice: "Non importa se sei sicuro al 99%, l'importante è che metti il sushi in fondo alla lista e la pizza in cima".

• Come funziona: Si concentra sull'ordinamento corretto: "Cosa è più probabile? Mettilo primo".
• Il risultato: È molto bravo a riconoscere gli intrusi (i sushi) e a metterli in fondo alla lista, specialmente quando i piatti sono molto diversi tra loro. È un ottimo concorrente, ma a volte perde un po' di precisione nel cucinare i piatti italiani rispetto al metodo classico.

Cosa hanno scoperto gli autori? (Il Verdetto)

Hanno fatto le prove su tre "cucine" diverse (piccole, medie e grandi):

1. Nelle cucine piccole (pochi piatti): Tutti gli allenatori sono bravi. Il "Detective" (Triplet) e il "Classificatore" (AP) sono molto bravi a scovare gli intrusi, ma il "Maestro Classico" (Cross-Entropy) è comunque molto solido.
2. Nelle cucine grandi (molti piatti): Qui le cose cambiano.
   • Il Detective (Triplet) fallisce miseramente: si perde nel caos di troppe distanze da calcolare.
   • Il Modello (Prototype) è bravissimo a cucinare, ma meno bravo a scovare gli intrusi.
   • Il Classificatore per Ordine (AP) è bravo, ma...
   • Il Maestro Classico (Cross-Entropy) rimane il campione indiscusso. È quello che offre il miglior equilibrio: cucina benissimo i piatti italiani e, allo stesso tempo, è il più affidabile nel dire "Ehi, questo non è un piatto italiano!".

La Morale della Favola

Spesso pensiamo che per risolvere problemi complessi servano metodi di addestramento strani e complicati (come il Detective o il Modello). Ma questo studio ci dice che, per la maggior parte delle situazioni reali, il metodo classico e semplice (Cross-Entropy) è ancora il migliore.

È come dire: "Non serve inventare un nuovo tipo di coltello per tagliare il pane; il coltello che hai già in cucina, se usato bene, funziona meglio di tutti i gadget costosi".

In sintesi: Se vuoi costruire un'AI sicura che sappia riconoscere quando qualcosa è "strano", non preoccuparti troppo di cambiare il metodo di addestramento. Usa quello classico, è robusto, affidabile e funziona bene anche quando le cose si complicano.

Sommario tecnico

1. Il Problema

La rilevazione di dati Out-of-Distribution (OOD) è fondamentale per garantire la sicurezza e l'affidabilità dei sistemi di apprendimento automatico in applicazioni critiche (es. guida autonoma, diagnosi medica). Quando un modello incontra dati significativamente diversi da quelli su cui è stato addestrato, il suo comportamento può diventare imprevedibile.
Sebbene esistano molte tecniche per migliorare la rilevazione OOD (spesso focalizzate su post-processing o architetture specializzate), l'influenza specifica degli obiettivi di addestramento (training objectives) sul comportamento OOD rimane poco esplorata in modo sistematico. La maggior parte degli studi parte da classificatori addestrati con la classica Cross-Entropy e si concentra su tecniche successive, trascurando un confronto diretto tra diverse funzioni di perdita supervisionate standard.

2. Metodologia

Gli autori hanno condotto un confronto sistematico e controllato di quattro obiettivi di addestramento ampiamente utilizzati, rappresentando paradigmi supervisionati diversi:

1. Cross-Entropy Loss (CE): Il metodo standard per la classificazione probabilistica.
2. Triplet Loss: Un approccio basato sul metric learning che impara spazi di embedding dove esempi della stessa classe sono vicini e quelli di classi diverse sono lontani.
3. Prototype Loss: Un approccio basato sui prototipi (es. GCPL) che minimizza la distanza tra un campione e il prototipo della sua classe, favorendo la compattezza intra-classe.
4. Average Precision (AP) Loss: Un obiettivo basato sul ranking che ottimizza direttamente la precisione media, promuovendo punteggi più alti per i campioni positivi rispetto a quelli negativi.

Configurazione Sperimentale:

• Dataset: Addestramento su CIFAR-10, CIFAR-100 e ImageNet-200.
• Benchmark: Utilizzo del protocollo standardizzato OpenOOD (v1.5) per valutare sia i dati Near-OOD (simili alla distribuzione di addestramento) che Far-OOD (molto diversi).
• Architettura: ResNet-18 fissa per garantire che le differenze di performance siano attribuibili esclusivamente all'obiettivo di addestramento e non all'architettura.
• Strategie di Inferenza: Ogni obiettivo è stato valutato con la strategia di scoring OOD più naturale per il suo output (es. MSP o Entropia per CE/Prototype/AP; distanza dai vicini più prossimi per Triplet).
• Controllo: Sono stati mantenuti costanti iperparametri, strategie di aumento dei dati e pipeline di addestramento, isolando l'effetto della sola funzione di perdita.

3. Risultati Chiave

I risultati sono stati analizzati su tre metriche principali: Accuratezza In-Distribution (ID), AUROC per Near-OOD e AUROC per Far-OOD.

• Cross-Entropy Loss (CE): Si è rivelato l'obiettivo più robusto e coerente. Ha ottenuto prestazioni eccellenti nell'accuratezza ID e ha fornito le migliori o competitive prestazioni nella rilevazione OOD (sia Near che Far) su tutti i dataset, specialmente su ImageNet-200. Rimane il baseline di riferimento.
• Triplet Loss: Ha mostrato prestazioni scarse nell'accuratezza ID, specialmente su dataset con molte classi (CIFAR-100, ImageNet-200), a causa della difficoltà nel campionare triplet informative in spazi ad alta dimensionalità. Sebbene abbia mostrato buone capacità di separazione per alcuni casi Far-OOD, il costo in termini di accuratezza di classificazione lo rende poco pratico su larga scala.
• Prototype Loss: Ha eccellido nell'accuratezza ID (specialmente su CIFAR-10 e CIFAR-100), dimostrando una forte capacità di apprendere rappresentazioni compatte per classe. Tuttavia, le sue prestazioni nella rilevazione OOD, sebbene competitive, non hanno superato in modo sistematico la Cross-Entropy.
• Average Precision (AP) Loss: Ha mostrato risultati molto promettenti, raggiungendo un'accuratezza ID paragonabile alla CE e ottenendo le migliori prestazioni nella rilevazione Far-OOD su CIFAR-10. Tuttavia, su CIFAR-100 ha mostrato un calo nelle prestazioni OOD rispetto alla CE.

Analisi Qualitativa (t-SNE/UMAP):
Le visualizzazioni hanno confermato che i dati Far-OOD tendono a trovarsi in regioni distanti dai cluster ID, rendendoli più facili da rilevare. I dati Near-OOD, essendo semanticamente simili, si sovrappongono maggiormente ai cluster ID, rendendo la distinzione più difficile per tutti gli obiettivi.

4. Contributi Principali

1. Confronto Sistematico: Fornisce la prima valutazione comparativa rigorosa di quattro paradigmi supervisionati (probabilistico, metrico, basato su prototipi, basato su ranking) per la rilevazione OOD sotto protocolli standardizzati.
2. Isolamento delle Variabili: Utilizzando un backbone fisso e il benchmark OpenOOD, il lavoro isola l'impatto dell'obiettivo di addestramento, eliminando confondenti legati all'architettura o a tecniche di post-processing avanzate.
3. Guida Pratica: Offre indicazioni concrete per ricercatori e praticanti: la Cross-Entropy rimane la scelta più sicura e scalabile, mentre obiettivi specializzati (come AP o Prototype) possono offrire vantaggi specifici in determinati scenari ma con compromessi (trade-off) da considerare attentamente.

5. Significato e Implicazioni

Lo studio dimostra che, contrariamente alla speranza che obiettivi di apprendimento metrico o di ranking migliorino intrinsecamente la rilevazione OOD, la Cross-Entropy Loss rimane un baseline estremamente forte e difficile da battere in modo consistente su tutti i fronti (accuratezza e rilevazione OOD).

• Scalabilità: Gli obiettivi basati su triplette e prototipi incontrano difficoltà di scalabilità all'aumentare del numero di classi, mentre la Cross-Entropy e l'AP Loss mantengono la loro efficacia.
• Scelta dell'Obiettivo: La selezione dell'obiettivo di addestramento deve bilanciare le esigenze di accuratezza di classificazione e la necessità di rilevare dati anomali. Non esiste una soluzione "migliore" in assoluto per ogni scenario, ma la Cross-Entropy offre il miglior compromesso generale.
• Futuro della Ricerca: Il lavoro suggerisce che, prima di sviluppare nuove funzioni di perdita specifiche per l'OOD, è fondamentale comprendere i limiti e i vantaggi delle funzioni di perdita supervisionate standard, che spesso offrono prestazioni di base molto solide.

In conclusione, il paper chiarisce che la scelta dell'obiettivo di addestramento induce compromessi sistematici tra accuratezza ID e capacità di rilevazione OOD, e che la Cross-Entropy rimane la scelta più affidabile per applicazioni reali che richiedono sia alta accuratezza che robustezza.