Conformal Prediction with Corrupted Labels: Uncertain Imputation and Robust Re-weighting

Questo lavoro presenta un framework robusto per la quantificazione dell'incertezza con dati di addestramento corrotti, analizzando la resilienza del metodo PCP a pesi imprecisi e introducendo l'imputazione incerta (UI) come alternativa che non richiede stime dei pesi, garantendo infine previsioni statisticamente valide attraverso un approccio triplamente robusto.

L'essenziale

Immagina di essere un meteorologo che deve prevedere se domani pioverà. Il tuo obiettivo non è solo dire "pioverà" o "non pioverà", ma dire: "C'è un 90% di probabilità che pioverà, quindi porta l'ombrello". Questo è il cuore della Conformal Prediction (Previsione Conformale): un metodo matematico per creare "scatole di sicurezza" attorno alle previsioni, garantendo che la realtà rientri in quella scatola con una certa probabilità (ad esempio, il 90%).

Tuttavia, c'è un problema enorme: i dati di addestramento sono rovinati.
Immagina che il tuo meteorologo abbia imparato a prevedere il tempo guardando un diario di bordo, ma qualcuno ha cancellato a caso alcune pagine (dati mancanti) o ha scritto "sole" quando in realtà pioveva (etichette rumorose). Se il meteorologo usa solo i dati che gli restano, le sue previsioni saranno sbagliate perché il mondo che ha visto nel diario è diverso dal mondo reale di domani.

Questo articolo propone un modo per riparare queste previsioni, anche quando i dati sono "sporchi". Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: Il Viaggio con la Mappa Sbagliata

Immagina di dover guidare da Roma a Milano. Hai una mappa (il modello di intelligenza artificiale), ma alcuni segnali stradali sono stati cancellati o modificati da un vandalo (i dati corrotti).

• Metodo "Naive" (Ingenuo): Guidi guardando solo i segnali che vedi ancora. Risultato? Ti perdi o arrivi nel posto sbagliato perché la mappa non corrisponde più alla realtà.
• Il problema: Le previsioni sono inaffidabili perché la distribuzione dei dati di addestramento (la mappa rovinata) è diversa da quella di test (la strada reale).

2. La Soluzione 1: PCP (La Bussola Privilegiata)

Gli autori introducono un concetto chiamato Privileged Information (PI) o "Informazione Privilegiata".

• L'analogia: Immagina che durante l'addestramento, il meteorologo avesse avuto accesso a una bussola segreta o a un satellite che gli diceva esattamente perché mancavano certi dati (es. "quel giorno la radio era rotta"). Questa bussola è disponibile solo quando si impara, ma non quando si deve fare la previsione reale (perché il satellite non è più lì).
• Come funziona (PCP): Il metodo PCP usa questa "bussola" per pesare i dati. Se sa che certi giorni erano "sporchi", dà meno peso a quei dati e più peso a quelli puliti, cercando di raddrizzare la mappa.
• Il rischio: Cosa succede se la bussola è un po' rotta o se stimiamo male il peso?
  • La scoperta: Gli autori scoprono che il metodo è robusto. Anche se la bussola non è perfetta (i pesi sono stimati male), il metodo funziona ancora bene, a patto che l'errore non sia troppo estremo. È come avere una bussola un po' deviatrice: se sai che punta sempre un po' a nord-ovest, puoi comunque trovare la strada.

3. La Soluzione 2: UI (L'Imputazione Incerta)

Se la bussola (PCP) non funziona bene perché non riusciamo a capire perché i dati sono rovinati, c'è un'altra strategia: Uncertain Imputation (UI).

• L'analogia: Invece di cercare di pesare i dati, proviamo a riempire i buchi della mappa, ma con una regola speciale.
  • Se manca un dato, non scriviamo un numero a caso (es. "mettiamo che piova").
  • Invece, usiamo la nostra "bussola" (che ora usiamo per prevedere il tempo) per dire: "Probabilmente pioveva, ma non ne siamo sicuri al 100%". Quindi, invece di scrivere "Piove", scriviamo "Piove, ma potrebbe anche essere nuvoloso".
• Il trucco: Aggiungiamo un po' di "caos controllato" (rumore) a questa previsione per simulare l'incertezza. In pratica, diciamo: "Non so esattamente cosa è successo, quindi la mia scatola di sicurezza sarà un po' più grande per essere sicuro di non sbagliare".
• Il risultato: Questo metodo crea previsioni che sono statisticamente valide anche se non sappiamo esattamente come correggere i pesi, purché la nostra "bussola" sia abbastanza brava a prevedere il tempo.

4. La Soluzione Finale: TriplyRobust (Il Sacchetto Magico)

Alla fine, gli autori uniscono tutto in un unico metodo chiamato TriplyRobust.

• L'analogia: Immagina di avere tre diversi esperti che ti danno consigli:
  1. L'esperto che guarda solo i dati puliti (Naive CP).
  2. L'esperto che usa la bussola per pesare i dati (PCP).
  3. L'esperto che riempie i buchi con cautela (UI).
• La strategia: Invece di scegliere un solo esperto, prendi l'unione di tutti i loro consigli. Se anche solo uno di loro ha ragione (cioè se le sue ipotesi sono vere), la tua previsione finale sarà corretta.
• È come avere una rete di sicurezza fatta di tre corde: se una si rompe, le altre due ti tengono sospeso.

In Sintesi

Questo articolo ci dice che quando i dati di addestramento sono pieni di errori o buchi, non dobbiamo disperare.

1. Possiamo usare informazioni extra (che abbiamo solo durante lo studio) per correggere la mappa (PCP).
2. Se non possiamo correggere la mappa, possiamo riempire i buchi ammettendo esplicitamente la nostra incertezza (UI).
3. Se combiniamo entrambi i metodi (più quello ingenuo), otteniamo un sistema quasi invincibile (TriplyRobust) che garantisce che le nostre previsioni siano affidabili, anche in scenari caotici.

È come dire: "Non importa quanto siano sporchi i tuoi dati, se sai come gestire l'incertezza e usare le informazioni giuste, puoi ancora fidarti delle tue previsioni".

Sommario tecnico

1. Il Problema

Il lavoro affronta la sfida della quantificazione dell'incertezza in scenari di apprendimento automatico dove i dati di addestramento presentano etichette corrotte (rumorose o mancanti).

• Contesto: I modelli moderni vengono spesso utilizzati in contesti ad alto rischio dove è cruciale fornire intervalli di previsione affidabili (es. copertura del 90%).
• Limitazione attuale: La Conformal Prediction (CP) standard garantisce una copertura valida solo sotto l'assunzione di dati scambiabili (i.i.d.). Quando le etichette sono corrotte (es. mancanti in modo non casuale, MAR), si verifica uno spostamento di distribuzione (distribution shift) tra i dati di addestramento (solo etichette osservate) e i dati di test, rendendo la CP standard inaffidabile (sottocopertura o sovracopertura).
• Sfida specifica: Esistono metodi precedenti come la Privileged Conformal Prediction (PCP) che utilizzano informazioni privilegiate (PI) disponibili solo in fase di addestramento per correggere lo spostamento tramite pesi. Tuttavia, questi metodi richiedono la conoscenza esatta dei pesi (probabilità di corruzione). In pratica, questi pesi devono essere stimati e le stime imprecise possono portare alla violazione della validità statistica.

2. Metodologia

Gli autori propongono un quadro teorico e pratico composto da tre componenti principali:

A. Analisi di Robustezza della PCP e WCP

Gli autori analizzano la robustezza della Privileged Conformal Prediction (PCP) e della Weighted Conformal Prediction (WCP) rispetto a errori nelle stime dei pesi.

• Ipotesi: Si assume che le informazioni privilegiate ($Z$) spieghino il meccanismo di corruzione ($M$), ovvero $(X, Y) \perp M | Z$.
• Risultato Teorico: Dimostrano che la PCP può mantenere una copertura valida anche con pesi imprecisi, a condizione che l'errore di stima rientri in specifici intervalli determinati dal confronto tra la CP "naive" (che usa solo dati puliti) e la CP ponderata con pesi veri. Se la CP naive sovrastima la copertura, la PCP è robusta a un ampio spettro di errori; se sottostima, l'errore deve essere contenuto in un intervallo ristretto.

B. Uncertain Imputation (UI)

Per superare la dipendenza dalla stima accurata dei pesi, gli autori introducono una nuova metodologia chiamata Uncertain Imputation (UI).

• Concetto: Invece di correggere i pesi, UI imputa le etichette corrotte utilizzando le informazioni privilegiate ($Z$) per stimare l'etichetta pulita, ma preservando l'incertezza di questa stima.
• Procedura:
  1. Si addestra un modello $\hat{g}(X, Z)$ per prevedere $Y$ usando le PI.
  2. Si calcolano i residui di $\hat{g}$ su un set di riferimento (dati con etichette pulite).
  3. Per le etichette mancanti, si imputa un valore: $\bar{Y} = \hat{g}(X, Z) + \epsilon$, dove $\epsilon$ è un errore campionato dalla distribuzione dei residui condizionata a $Z$.
  4. Si applica la CP standard sui dati imputati.
• Garanzia: Teorema 4 dimostra che, se il modello $\hat{g}$ è sufficientemente accurato e la distribuzione di $Y|X,Z$ è concentrata nell'intervallo predetto, la validità della copertura è garantita anche se i pesi non sono noti o sono stimati male.

C. Triply Robust Calibration (TriplyRobust)

Gli autori combinano tre approcci in un unico framework robusto:

1. Naive CP: Valida se il modello predittivo è perfetto (nessuno spostamento di distribuzione).
2. PCP: Valida se le probabilità di corruzione ($M|Z$) sono stimate correttamente.
3. UI: Valida se le etichette possono essere stimate bene dalle PI ($Y|Z$) preservando l'incertezza.

• Meccanismo: Il set di previsione finale è l'unione dei set generati dai tre metodi: $C_{Triply} = C_{Naive} \cup C_{PCP} \cup C_{UI}$.
• Garanzia: Il metodo garantisce la copertura nominale (es. 90%) se almeno uno dei tre insiemi di assunzioni sottostanti è soddisfatto.

3. Contributi Chiave

1. Analisi di Robustezza Teorica: Forniscono condizioni formali (Teoremi 2 e 3) su quanto gli errori di stima dei pesi possano essere grandi prima che la PCP fallisca, mostrando che in molti casi pratici la validità è mantenuta.
2. Nuovo Metodo (UI): Introducono l'Uncertain Imputation, un metodo che non richiede la stima dei pesi di correzione ma si basa sulla capacità di predire le etichette corrotte dalle PI, preservando la variabilità residua per garantire la validità statistica.
3. Framework Triplamente Robusto: Propongono una strategia di ensemble che massimizza la probabilità di ottenere una copertura valida, indipendentemente da quale delle tre fonti di informazione (modello, meccanismo di corruzione, o relazione PI-etichetta) sia affidabile.
4. Validazione Empirica: Dimostrano l'efficacia su dataset sintetici e reali (MEPS, Facebook, Bio, House), mostrando che UI e TriplyRobust superano i metodi naive e la PCP con pesi stimati in scenari difficili.

4. Risultati Sperimentali

• Robustezza dei Pesi: Gli esperimenti confermano che la PCP mantiene la copertura anche con pesi distorti, purché l'errore rientri nelle regioni teoriche identificate (specialmente quando la CP naive sovrastima la copertura).
• Superiorità di UI: In scenari dove la stima dei pesi è difficile (es. meccanismi di missingness complessi), la PCP fallisce (sottocopertura), mentre UI mantiene la copertura desiderata (90%) grazie alla corretta imputazione dell'incertezza.
• TriplyRobust: L'approccio combinato garantisce sempre la copertura nominale senza diventare eccessivamente conservativo (intervalli non troppo larghi) quando almeno una delle condizioni è soddisfatta.
• Dataset Reali: Sui dataset reali con etichette artificialmente corrotte, UI e TriplyRobust raggiungono sistematicamente il 90% di copertura, mentre la CP naive e l'imputazione naive falliscono.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Colma un divario pratico: Risolve il problema dell'applicazione della Conformal Prediction in scenari reali dove i dati sono sporchi e le informazioni privilegiate sono disponibili solo parzialmente o con rumore.
• Riduce la dipendenza da assunzioni forti: Spostando il focus dalla necessità di pesi perfetti (spesso irraggiungibili) alla preservazione dell'incertezza nell'imputazione, offre una via più robusta per la quantificazione dell'incertezza.
• Fornisce un "paracadute" statistico: Il framework TriplyRobust offre una garanzia di sicurezza per applicazioni critiche (sanità, finanza), assicurando che l'incertezza sia quantificata correttamente anche se uno dei modelli sottostanti è imperfetto.
• Implicazioni Sociali: Migliora l'affidabilità dei sistemi di IA in contesti ad alto rischio, dove la sottocopertura (falsa sicurezza) potrebbe portare a decisioni disastrose.

In sintesi, il paper propone un avanzamento teorico e pratico fondamentale per rendere la quantificazione dell'incertezza robusta alla corruzione dei dati, combinando tecniche di re-weighting e imputazione incerta in un framework unificato e garantito.