Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score

Il paper propone SemiCP, un nuovo paradigma di previsione conformale semi-supervisionato che utilizza un punteggio di non-conformità basato sull'abbinamento dei vicini più prossimi (NNM) per sfruttare dati non etichettati durante la calibrazione, riducendo significativamente il divario di copertura rispetto ai metodi tradizionali quando i dati etichettati sono scarsi.

L'essenziale

Ecco una spiegazione semplice e creativa del paper, pensata per chiunque, anche senza un background tecnico.

Immagina di essere un cuoco che sta preparando un piatto per un cliente importante (il "modello di intelligenza artificiale"). Il cliente ti chiede: "Quanto sei sicuro che questo piatto sia buono?".

Il Problema: Il Cuoco Insicuro

Nell'articolo si parla di Conformal Prediction (Previsione Conformale). È come se il cuoco, invece di dire solo "È buono", dicesse: "Sono sicuro al 90% che il piatto contenga almeno uno di questi ingredienti: pomodoro, basilico o mozzarella".

• Se la lista è troppo lunga (es. "pomodoro, basilico, mozzarella, olio, sale, pepe..."), il cuoco è molto sicuro, ma la risposta è inutile perché troppo vaga.
• Se la lista è troppo corta (es. solo "pomodoro"), il cuoco rischia di sbagliare e il cliente si arrabbia.

Per fare questa lista perfetta, il cuoco ha bisogno di assaggiare molti piatti simili fatti in passato (i dati etichettati) per capire quanto spesso sbaglia.
Il problema reale: Spesso, in situazioni critiche (come la medicina o la finanza), il cuoco ha pochissimi piatti passati da assaggiare (pochi dati etichettati). Se prova a fare la lista basandosi su solo 10 assaggi, ogni volta che ripete l'esperimento, la lista cambia drasticamente: oggi è troppo lunga, domani troppo corta. È instabile.

La Soluzione: Il "Cuoco Semi-Supervisionato" (SemiCP)

Gli autori del paper hanno un'idea geniale: "E se usassimo anche i piatti che non abbiamo ancora assaggiato, ma che abbiamo solo guardato?" (i dati non etichettati).
Il problema è: come fai a sapere se un piatto che non hai assaggiato è buono o meno? Non puoi!

Qui entra in gioco il loro metodo magico chiamato SemiCP con una tecnica chiamata NNM (Abbracciamento del Vicino più Vicino).

L'Analogia del "Vicino più Vicino" (NNM)

Immagina di avere un grande magazzino pieno di piatti (i dati non etichettati) e una piccola cucina con 10 piatti già assaggiati e classificati (i dati etichettati).

1. L'errore ingenuo: Se guardi un piatto nuovo e dici: "Sembra buono, quindi è sicuro!", sbagli. Il tuo occhio (il modello) potrebbe ingannarsi.
2. Il metodo NNM: Invece di indovinare, guardi il piatto nuovo e cerchi nella tua piccola cucina il piatto più simile che hai già assaggiato.
   • Se il piatto nuovo assomiglia moltissimo a un piatto che sapevi essere "delizioso" (basso punteggio di errore), allora anche il nuovo è probabilmente delizioso.
   • Se assomiglia a un piatto che era "salato di troppo" (alto punteggio di errore), allora il nuovo potrebbe esserlo.

In pratica, il metodo NNM dice: "Non so qual è il vero sapore di questo piatto nuovo, ma so che è quasi identico a quel piatto lì che ho già assaggiato. Quindi, prendo la mia esperienza su quel piatto simile e la 'trasferisco' al nuovo, correggendo leggermente l'errore che ho fatto in passato su quel simile."

Perché è una Rivoluzione?

1. Stabilità: Prima, con pochi dati, il cuoco era nervoso e cambiava idea ogni volta. Ora, guardando migliaia di piatti simili (i dati non etichettati) e confrontandoli con i pochi che conosce, la sua "lista di ingredienti" diventa stabile. Non cambia più da un giorno all'altro.
2. Efficienza: La lista diventa più corta e precisa. Invece di dire "Contiene tutto", dice "Contiene quasi sicuramente pomodoro e basilico".
3. Gratuito: Non serve cucinare di nuovo (non serve riaddestrare il modello). Si usano solo i dati che già si hanno ma che non erano stati usati per la calibrazione.

In Sintesi

Il paper SemiCP è come dare al cuoco un libro di ricette visive (i dati non etichettati) da consultare mentre assaggia i pochi piatti che conosce davvero.
Grazie alla tecnica NNM (trovare il "cugino" più simile tra i piatti conosciuti), il cuoco riesce a fare previsioni molto più sicure e precise, anche quando ha pochissimi assaggi a disposizione.

Risultato: Meno errori, meno ansia per il cuoco e clienti più felici, perché le previsioni sono affidabili anche in situazioni di scarsità di dati.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score" in italiano.

1. Il Problema: Instabilità nella Conformal Prediction con Dati Limitati

La Conformal Prediction (CP) è un framework statistico fondamentale per la quantificazione dell'incertezza, capace di generare insiemi di previsione che garantiscono una copertura (coverage) dei dati veri con una probabilità predefinita (es. $1-\alpha$).

Il metodo standard, noto come Split Conformal Prediction, richiede un insieme di calibrazione etichettato per stimare la soglia (quantile) necessaria a costruire l'insieme di previsione. Tuttavia, in scenari reali (come diagnosi mediche o decisioni finanziarie), i dati etichettati sono spesso scarsi.

• Conseguenza: Quando l'insieme di calibrazione etichettato è piccolo, la stima del quantile diventa instabile. Questo porta a:
  • Alta variabilità: La copertura effettiva fluttua notevolmente tra diverse esecuzioni.
  • Inefficienza: Gli insiemi di previsione tendono ad essere troppo grandi (sovra-copertura) per compensare l'incertezza, riducendo l'utilità pratica del modello.
  • Mancanza di garanzie finite: I metodi precedenti che tentavano di interpolare i dati o usare p-value modificati non offrivano garanzie teoriche solide per campioni finiti.

2. Metodologia: SemiCP e il Punteggio NNM

Gli autori propongono SemiCP (Semi-Supervised Conformal Prediction), un nuovo paradigma che integra dati etichettati e dati non etichettati nel processo di calibrazione, senza richiedere l'etichettatura dei dati aggiuntivi.

Il Cuore del Metodo: Nearest Neighbor Matching (NNM)

La sfida principale è calcolare i "punteggi di non conformità" (nonconformity scores) per i dati non etichettati, poiché questi dipendono dalle etichette vere (sconosciute).

• Approccio ingenuo (Naive): Usare l'etichetta predetta dal modello ($\hat{y}$) per calcolare il punteggio. Questo fallisce perché il modello tende a essere troppo sicuro sulla sua predizione, sottostimando sistematicamente il punteggio di non conformità e portando a una copertura insufficiente.
• Soluzione SemiCP (NNM): Gli autori introducono una funzione di punteggio specifica per i dati non etichettati basata sul Nearest Neighbor Matching:
  1. Si calcola un punteggio "pseudo" per il dato non etichettato $\tilde{x}$ usando la sua etichetta predetta $\hat{y}$.
  2. Si identifica un dato etichettato $x_j$ nel set di calibrazione il cui punteggio pseudo è il più simile a quello di $\tilde{x}$.
  3. Si stima il bias (errore) locale osservando la differenza tra il punteggio vero e quello pseudo per il dato etichettato $x_j$: $\Delta(x_j) = S(x_j, y_j) - S(x_j, \hat{y}_j)$.
  4. Si corregge il punteggio pseudo del dato non etichettato aggiungendo questo bias locale:
     $$\tilde{S}_{nnm}(\tilde{x}) = S(\tilde{x}, \hat{y}) + [S(x_j, y_j) - S(x_j, \hat{y}_j)]$$

Questo approccio permette di approssimare la distribuzione reale dei punteggi di non conformità utilizzando i dati non etichettati, allineandoli ai dati etichettati più simili nello spazio dei punteggi.

Garanzie Teoriche

• Teorema 1 & 2: Gli autori dimostrano che l'inclusione di dati non etichettati riduce il gap di copertura medio (la differenza assoluta tra copertura empirica e target) con una velocità di convergenza di $O(1/\sqrt{N})$, dove $N$ è il numero di campioni non etichettati.
• Teorema 3: Sotto ipotesi di regolarità, la distribuzione cumulativa dei punteggi stimati tramite NNM converge asintoticamente alla distribuzione dei punteggi veri, garantendo che il bias introdotto sia trascurabile.

3. Contributi Chiave

1. Nuovo Paradigma (SemiCP): Il primo metodo che utilizza dati non etichettati per stabilizzare la calibrazione nella Conformal Prediction, risolvendo il problema della scarsità di dati etichettati.
2. Punteggio NNM: Un metodo innovativo e "training-free" (non richiede ri-addestramento del modello) per stimare i punteggi di non conformità sui dati non etichettati tramite matching dei vicini più prossimi nello spazio dei punteggi pseudo.
3. Analisi Teorica: Prove formali che dimostrano come l'aggiunta di dati non etichettati riduca l'instabilità e il gap di copertura, mantenendo la validità della garanzia di copertura marginale.
4. Versatilità: Il metodo è compatibile con diverse funzioni di punteggio (THR, APS, RAPS), architetture di modelli e può essere integrato in setting condizionali (es. copertura per classe o per gruppo).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset di classificazione di immagini: CIFAR-10, CIFAR-100 e ImageNet, utilizzando vari modelli (ResNet, ViT, ecc.) e scenari con dati etichettati molto limitati (es. 20-50 esempi).

• Riduzione del Gap di Copertura: SemiCP riduce drasticamente l'instabilità. Su CIFAR-10 con soli 20 dati etichettati e 4000 non etichettati, il gap di copertura medio è stato ridotto del 77% rispetto al metodo standard.
• Efficienza (Dimensione dell'Insieme): Gli insiemi di previsione generati da SemiCP sono significativamente più piccoli e compatti rispetto allo Split CP standard, avvicinandosi alle prestazioni dell'Oracolo (che ha accesso alle etichette vere di tutti i dati).
• Robustezza: Il metodo funziona bene anche con:
  • Diversi architetture di modelli (da ResNet a ViT).
  • Setting condizionali (Class-conditional e Group-conditional).
  • Integrazione con altri metodi di CP (es. ClusterCP, Interpolation).
• Confronto con Baseline: NNM supera metodi alternativi come la correzione globale del bias (Debias) o il matching casuale, dimostrando che la correzione locale basata sulla similarità dei punteggi è cruciale.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Abilita l'uso pratico della CP in scenari reali: Risolve il collo di bottiglia della necessità di grandi set di calibrazione etichettati, rendendo la quantificazione dell'incertezza affidabile anche quando i dati etichettati sono rari.
• Sfrutta l'abbondanza di dati non etichettati: Trasforma un problema (mancanza di etichette) in una risorsa, utilizzando i dati non etichettati per stabilizzare le stime statistiche senza costi aggiuntivi di annotazione.
• Fornisce garanzie solide: A differenza di approcci euristici, offre garanzie teoriche finite e convergenza provata, rendendo il metodo adatto per applicazioni ad alto rischio (sicurezza, medicina).

In sintesi, SemiCP rappresenta un avanzamento fondamentale verso la creazione di sistemi di intelligenza artificiale più affidabili e interpretabili, capaci di comunicare il proprio livello di incertezza in modo robusto anche in condizioni di scarsità di dati.