Riepilogo Tecnico: Benchmark delle Funzioni di Punteggio di Non-Conformità nella Predizione Conformale

Enunciato del Problema

La predizione conformale (CP) offre un'alternativa rigorosa alla calibrazione dei modelli nell'apprendimento automatico per la classificazione, generando insiemi di predizione anziché predizioni di classe singola. Sebbene la CP garantisca che la classe vera sia contenuta nell'insieme di predizione con una probabilità almeno pari a $1 - \alpha$ (dove $\alpha$ è un tasso di errore pre-specificato), l'utilità pratica di questi insiemi dipende fortemente dalle loro dimensioni. Un insieme di predizione troppo grande è poco informativo.

Le dimensioni e l'utilità di questi insiemi sono determinate dalla scelta della funzione di punteggio di non-conformità. Nonostante l'esistenza di numerose funzioni di punteggio in letteratura, manca uno studio sistematico che ne esamini le proprietà, l'efficacia e l'interazione con le architetture dei modelli e lo squilibrio delle classi. Questo lavoro colma il divario nella comprensione di come diverse funzioni di punteggio si comportino attraverso vari domini conformali (spazio delle probabilità, spazio dei logit e spazio delle caratteristiche) e in diverse condizioni, inclusi dataset sbilanciati.

Metodologia

Metrica di Valutazione

Gli autori introducono una nuova metrica di valutazione, $I_1$, per valutare le funzioni di punteggio indipendentemente da una scelta arbitraria del tasso di errore $\alpha$. Le metriche tradizionali riportano la dimensione media dell'insieme di predizione a un $\alpha$ fisso, il che può essere fuorviante se $\alpha$ non è allineato con l'accuratezza del modello.
La metrica è definita come:
$$I_k = \frac{1}{1 - A_k} \int_{0}^{1 - A_k} \bar{|P|}(\alpha) \, d\alpha$$
dove $A_k$ è l'accuratezza top-$k$ del modello (specificamente $A_1$ per l'accuratezza top-1) e $\bar{|P|}(\alpha)$ è la dimensione media dell'insieme di predizione al tasso di errore $\alpha$. Questo integrale vincola la valutazione alla gamma "interessante" dei tassi di errore (da 0 al tasso di errore intrinseco del modello), fornendo un singolo numero oggettivo in cui valori più bassi indicano prestazioni migliori (insiemi di predizione più piccoli).

Configurazione Sperimentale

• Dataset: ImageNet (1000 classi), CIFAR-100 (100 classi) e CIFAR-10 (10 classi).
• Modelli: ResNet50 (principale), ResNet18 ed EfficientNet-B0.
• Domini Conformali: Lo studio valuta le funzioni di punteggio attraverso tre spazi distinti:
  1. Spazio delle Probabilità: L'output della funzione softmax ($\Delta_{n-1}$).
  2. Spazio dei Logit: I vettori di output grezzi prima della softmax ($\mathbb{R}^n$).
  3. Spazio delle Caratteristiche: I vettori di caratteristiche finali prima del livello di output lineare.
• Funzioni di Punteggio Valutate:
  • Distanza dall'Etichetta: Distanza tra la predizione e l'etichetta codificata one-hot.
  • Distanza del Margine: Distanza dal confine decisionale tra la classe vera e la classe errata più probabile.
  • Distanza dalla Media: Distanza dalla media degli esempi di calibrazione appartenenti alla stessa classe.
  • Vicino Più Vicino: Rapporto tra le distanze verso esempi della stessa classe e verso esempi di classi diverse.
  • APS/RAPS/SAPS: Insiemi di Predizione Adattivi e le loro varianti regolarizzate (metodi basati sul rango).
  • Gradiente/Gradiente Veloce: Metodi basati sulle caratteristiche che approssimano la distanza dal confine decisionale nello spazio delle caratteristiche.
• Test di Squilibrio: È stato testato un setting condizionato alla classe in cui le classi di minoranza sono state ridotte a una prevalenza del 10% per valutare quanto bene diverse funzioni di punteggio gestiscono lo squilibrio delle classi.

Risultati Chiave

Prestazioni delle Funzioni di Punteggio

I risultati del benchmark, riassunti dalla metrica $I_1$, rivelano pattern di prestazioni distinti:

• Basate sulla Distanza vs. Basate sul Rango: Le funzioni di punteggio basate sulla distanza hanno generalmente superato i metodi basati sul rango (APS, RAPS, SAPS) in termini di dimensione dell'insieme di predizione, in particolare quando si utilizza la distanza coseno.
• Domini e Metriche Ottimali:
  • La Distanza del Margine nello Spazio dei Logit utilizzando la Distanza Coseno ha ottenuto i valori $I_1$ più bassi per ImageNet sui modelli ResNet.
  • La Distanza dalla Media ha funzionato eccezionalmente bene su CIFAR-100, in particolare nello Spazio delle Caratteristiche con Distanza Coseno.
  • La Distanza dall'Etichetta nello Spazio delle Probabilità con Distanza Coseno è stata anch'essa altamente competitiva.
• Euclidea vs. Coseno: La distanza euclidea è risultata meno adatta per spazi ad alta dimensionalità (come i vettori di caratteristiche in ResNet50), mentre la distanza coseno ha mostrato prestazioni robuste, suggerendo che questi modelli organizzano le classi in cluster approssimativamente ortogonali.
• Randomizzazione in APS/RAPS: Lo studio ha rilevato che il termine randomizzato ($u$) in APS e RAPS non è strettamente necessario per le garanzie di copertura in setting calibrati. Impostare $u$ su una costante piccola (servendo come arbitro per le parità) ha spesso prodotto prestazioni migliori rispetto all'approccio randomizzato standard.
• Metodi del Gradiente: I metodi Gradiente e Gradiente Veloce sono stati computazionalmente costosi e, nel caso del Gradiente Veloce, hanno performato significativamente peggio rispetto ad altri metodi sui dataset testati.

Impatto dell'Architettura del Modello

Sebbene ResNet50 e ResNet18 abbiano mostrato un ordinamento relativo simile delle prestazioni delle funzioni di punteggio, EfficientNet-B0 ha esibito una classifica diversa. Ciò suggerisce che l'architettura del modello (ad esempio, funzioni di attivazione come ReLU vs. Swish) influenza le proprietà geometriche del dominio conformale e quindi la scelta ottimale della funzione di punteggio, potenzialmente più dell'accuratezza grezza del modello.

Squilibrio delle Classi

Nel setting sbilanciato, le classi di minoranza sono state spesso incluse negli insiemi di predizione a frequenze molto superiori alla loro vera prevalenza (ad esempio, inclusione del 27% per una classe con vera prevalenza dello 0,1%). Gli autori notano che, sebbene ciò riduca la precisione del predittore, è una riflessione "onesta" dell'incertezza sottostante del modello riguardo alle classi rare. La Distanza dalla Media nello spazio delle caratteristiche ha nuovamente mostrato la migliore capacità di minimizzare questa sovrainclusione mantenendo la copertura.

Significato e Affermazioni

Il lavoro afferma di colmare un divario di conoscenza riguardo alle proprietà e all'efficacia delle funzioni di punteggio di non-conformità. I suoi contributi principali sono:

1. Benchmark Sistematico: Fornire un confronto completo di diverse funzioni di punteggio attraverso molteplici dataset, modelli e domini conformali.
2. Metrica di Valutazione: Introdurre $I_1$ come una metrica robusta a singolo numero che tiene conto dell'accuratezza del modello ed evita la selezione arbitraria del tasso di errore.
3. Approfondimenti su Dominio e Metrica: Dimostrare che la distanza coseno è superiore alla distanza euclidea nei domini conformali ad alta dimensionalità e che lo spazio dei logit spesso supera il simplesso delle probabilità.
4. Guida Pratica: Offrire un punto di partenza per i professionisti per selezionare le funzioni di punteggio in base alla specifica architettura del modello e alle caratteristiche del dataset, piuttosto che affidarsi a un unico metodo "migliore" universale.

Gli autori concludono che nessuna singola funzione di punteggio è universalmente superiore; piuttosto, la scelta ottimale dipende dal contesto specifico del modello e dei dati. Tuttavia, il benchmark fornisce una base chiara e basata sui dati per effettuare queste selezioni.