Riepilogo Tecnico: Localized Conformal Prediction per la Classificazione di Immagini con Modelli Vision-Language

1. Definizione del Problema

La Conformal Prediction (CP) è un framework statistico ampiamente utilizzato per la quantificazione dell'incertezza nel machine learning, che offre forti garanzie di copertura marginale (ovvero, l'insieme di predizione contiene l'etichetta reale con una probabilità definita dall'utente $1-\alpha$ mediata su tutta la distribuzione dei dati). Tuttavia, un limite ben noto della CP standard è la sua incapacità di garantire la copertura condizionale per specifici sottogruppi (ad esempio, classi specifiche o regioni di feature). Ciò porta a disparità di copertura in cui alcune sottopopolazioni risultano sotto-coperte o sovra-coperte.

Sebbene la Localized Conformal Prediction (LCP) sia stata proposta per affrontare questo problema pesando gli esempi di calibrazione in base alla loro somiglianza con il campione di test, la sua applicazione è rimasta in gran parte limitata ai compiti di regressione e ai dataset sintetici. L'applicazione della LCP alla classificazione di immagini, in particolare utilizzando i Vision-Language Models (VLM), rimane ampiamente inesplorata. Una domanda critica aperta è se la scelta intuitiva di utilizzare la similarità del coseno tra le feature visive negli spazi latenti dei VLM sia sufficiente per migliorare rispetto ai baseline non locali nei compiti di classificazione.

2. Metodologia

2.1 Framework e Configurazione

Gli autori applicano il framework LCP ai compiti di classificazione utilizzando i VLM (specificamente modelli basati su CLIP con backbone ViT e CNN). Il processo prevede:

1. Calibrazione: Un set di campioni di calibrazione viene utilizzato per calcolare i punteggi conformi.
2. Scoring: Vengono valutati quattro punteggi standard di classificazione conforme:
   • TopK: Utilizza il rango della classe reale nel vettore di predizione.
   • LAC (Least Ambiguous set-valued Classifier): Utilizza $1 - \text{probabilità della classe reale}$.
   • APS (Adaptive Prediction Sets): Utilizza la somma cumulativa delle probabilità ordinate fino alla classe reale.
   • RAPS (Regularized APS): Aggiunge un termine di penalità ad APS per controllare la dimensione del set.
3. Localizzazione: Invece di utilizzare una distribuzione uniforme sui punteggi di calibrazione, la LCP costruisce una distribuzione empirica pesata basata su una funzione di localizzatore $H(f_{test}, f_i)$, che assegna un peso maggiore ai campioni di calibrazione simili al campione di test.

2.2 L'Innovazione Centrale: Trasformazione Non Lineare della Similarità del Coseno

Il paper investiga la funzione di localizzatore $H$. Nei VLM, la similarità del coseno tra gli embedding delle immagini ($f_i^T f_j$) è una misura intuitiva della similarità visiva. Gli autori testano due approcci:

1. Approccio Naive: Utilizzare la raw cosine similarity direttamente come peso del localizzatore ($H = f_i^T f_j$).
2. Approccio Proposto: Applicare una trasformazione sigmoide normalizzata alla similarità del coseno:
   $$H(f_i, f_j) = \frac{1 + \exp(-m(1-\tau))}{1 + \exp(-m(f_i^T f_j - \tau))}$$
   dove $m > 0$ controlla la pendenza e $\tau \in [0, 1]$ imposta il punto di inflessione.

Gli iperparametri $m$ e $\tau$ sono ottimizzati tramite cross-validazione a 5 pieghe (5-fold) sul set di calibrazione per minimizzare la dimensione media dell'insieme di predizione. I parametri finali sono derivati dalla mediana di $m$ e dalla media di $\tau$ attraverso i fold.

2.3 Design Sperimentale

• Dataset: Nove diversi dataset di classificazione di immagini (SUN397, Aircraft, EuroSAT, StanfordCars, Food101, Pets, Flower102, DTD, UCF101).
• Modelli: Quattro backbone VLM (ViT-B/16, ViT-L/14, RN50, RN101).
• Metriche:
  • Efficienza: Mean Set Size (MSS).
  • Validità: Coverage Gap (CovGap) e Minimum Class-Conditional Coverage (MCCC).
• Baseline: Metodi CP non locali standard utilizzando gli stessi punteggi.

3. Risultati Chiave

3.1 Mean Set Size (Efficienza)

La trasformazione non lineare proposta migliora significativamente l'efficienza rispetto sia ai baseline non locali che all'approccio localizzato naive.

• Performance: Il metodo proposto ha ottenuto una riduzione statisticamente significativa delle dimensioni medie dei set per 9 dataset su 9 attraverso 3 dei 4 backbone (ViT-B/16, ViT-L/14, RN50) rispetto al baseline non locale TopK.
• Fallimento del Naive: L'approccio naive (utilizzando la raw cosine similarity) spesso degrada le performance, aumentando significativamente le dimensioni dei set rispetto ai baseline non locali in diversi casi (ad esempio, DTD con ViT-B/16, UCF101 con RN50).
• Consistenza: Il miglioramento è stato costante tra i diversi punteggi conformi (LAC, APS, RAPS), sebbene l'entità variasse.

3.2 Metriche di Copertura (Validità)

I risultati riguardanti la validità condizionale sono stati più sfumati:

• CovGap: Gli approcci localizzati (sia quello naive che quello proposto) hanno prodotto valori di CovGap quasi identici ai baseline non locali in tutti i dataset e i backbone. Ciò suggerisce che la localizzazione da sola non è sufficiente per minimizzare il gap di copertura per la classificazione di immagini con i VLM.
• MCCC: I miglioramenti nella copertura nel caso peggiore (MCCC) sono stati inconsistenti. Sebbene il metodo proposto abbia migliorato l'MCCC in alcuni casi specifici (ad esempio, punteggio LAC su Pets con ViT-B/16), ha degradato le performance in altri (ad esempio, punteggio TopK sullo stesso dataset).

4. Contributi

Il paper apporta tre contributi primari:

1. LCP per la Classificazione: Analizza (benchmarks) la LCP per la classificazione di immagini utilizzando i VLM e dimostra che l'uso intuitivo della similarità del coseno è subottimale. Propone una semplice trasformazione sigmoide non lineare per potenziare l'efficacia del localizzatore.
2. Benchmarking Esteso: Fornisce una valutazione completa su nove diversi dataset e quattro backbone VLM, mostrando come il metodo proposto riduca costantemente le dimensioni medie degli insiemi di predizione.
3. Implementazione Open-Source: Gli autori rilasciano la prima implementazione open-source di LCP per la classificazione, progettata per essere compatibile con una vasta gamma di dataset e modelli.

5. Significato e Claim

Il paper sostiene che, sebbene la LCP sia un framework promettente per adattare gli insiemi di predizione alle proprietà distributive locali, il suo successo nei compiti di classificazione con i VLM è altamente dipendente dal design della funzione di localizzatore.

• Risultato Chiave: L'intuizione "naive" di utilizzare la raw cosine similarity nello spazio latente visivo è insufficiente e può persino essere dannosa per l'efficienza.
• Soluzione: Una semplice trasformazione non lineare e regolabile della similarità è necessaria per ottenere riduzioni statisticamente significative nelle dimensioni degli insiemi di predizione, mantenendo al contempo le garanzie di copertura marginale.
• Limitazione: Gli autori notano con modestia che, sebbene l'efficienza sia migliorata, il metodo non risolve attualmente il problema delle disparità di copertura condizionale (CovGap) per questo specifico setting, poiché il gap di copertura rimane simile ai baseline non locali.

Il lavoro mira a facilitare il dispiegamento della localizzata conformal prediction nelle applicazioni del mondo reale fornendo uno strumento open-source robusto e chiarendo i necessari passaggi di pre-processing per la classificazione basata su VLM.