Sintesi Tecnica: Conformal Prediction Audited per la Classificazione sotto Distribuzione Shift Ignota

Definizione del Problema

Il paper affronta la sfida della quantificazione dell'incertezza per modelli di classificazione pre-addestrati ("legacy") impiegati in ambienti soggetti a shift di distribuzione ignoti. Mentre la conformal prediction standard garantisce la copertura marginale (ovvero, l'etichetta reale è contenuta nell'insieme di predizione con probabilità $1-\alpha$ mediamente sulla popolazione), tale garanzia può mascherare gravi fallimenti condizionali. Nello specifico, quando le distribuzioni di training e target differiscono, i metodi standard possono produrre insiemi di predizione eccessivamente conservativi per alcuni input, pur sottocoprendo sistematicamente altri (ad esempio, campioni dove il modello legacy è probabilmente destinato a fallire).

Gli approoli esistenti per mitigare questo problema richiedono o il riaddestramento del modello (che è dispendioso in termini di risorse e spesso subottimale con nuovi dati etichettati limitati) o si affidano ad assunzioni sulla natura dello shift di distribuzione. Gli autori osservano che, sebbene il riaddestramento sia intuitivo, può essere inefficiente quando i nuovi dati etichettati sono scarsi rispetto ai dataset storici. Inoltre, i metodi conformali standard non distinguono intrinsecamente tra campioni "facili" e "difficili" sotto shift, portando a insiemi di predizione non informativi proprio dove l'affidabilità è più necessaria.

Metodologia: Audited Conformal Prediction (ACP)

La soluzione proposta, Audited Conformal Prediction (ACP), introduce un modello di audit ausiliario per identificare gli input dove il modello legacy è probabile che fallisca, senza richiedere il riaddestramento del modello legacy o assunzioni sulla struttura dello shift.

Componenti Core

1. Il Modello di Audit ($\hat{r}$): Un classificatore binario addestrato su un piccolo sottoinsieme di dati target etichettati. Il suo compito è predire la correttezza della predizione puntuale ($f_0$) del modello legacy per un dato input $X$.

   • Addestramento: Il modello di audit è addestrato per predire l'etichetta binaria $R_i = \mathbb{1}[f_0(X_i) = Y_i]$ utilizzando feature derivate dall'input $X_i$ e segnali dal modello legacy (ad esempio, probabilità softmax, entropia, distanze di embedding).
   • Concetto di Oracle: Teoricamente, il metodo si basa su un modello di audit oracle $r^*(x) = P(f_0(X)=Y | X=x)$, che rappresenta la vera affidabilità condizionale del modello legacy.

2. Strategie di Integrazione: Il paper propone due strategie complementari per integrare il modello di audit nel framework conformale:

   • Strategia 1: ACP con Copertura Marginale (ACP-MC)

     • Meccanismo: Il modello di audit $\hat{r}$ viene utilizzato per raffinare la stima della distribuzione delle etichette condizionali del modello legacy. Per la classificazione binaria, se $f_0(x)=1$, la probabilità stimata è $(\hat{r}(x), 1-\hat{r}(x))$; altrimenti, è $(1-\hat{r}(x), \hat{r}(x))$.
     • Obiettivo: Questa distribuzione raffinata viene utilizzata per calcolare i punteggi di non conformità. Il metodo garantisce la copertura marginale standard ($1-\alpha$) migliorando empiricamente la copertura condizionale adattando la dimensione dell'insieme di predizione in base all'affidabilità stimata dell'input.

   • Strategia 2: ACP con Copertura Condizionale Audited (ACP-ACC/AEC)

     • Meccanismo: Questo approccio mira esplicitamente alla copertura gruppo-condizionale. Lo spazio delle feature viene partizionato in base all'output del modello di audit (ad esempio, raggruppando $\hat{r}(x)$ in gruppi ad alta e bassa confidenza).
     • Obiettivo: Esso impone garanzie di copertura condizionata a questi gruppi definiti dall'audit. Il paper stabilisce un teorema a campioni finiti dimostrando che, se il modello di audit stima costantemente l'affidabilità oracle, il metodo raggiunge garanzie di copertura per i veri gruppi di affidabilità, con l'errore limitato dalla discrepanza tra i gruppi di audit stimati e quelli reali.

3. Adaptive ACP (AACP): Una procedura data-driven che seleziona adattivamente tra ACP e un baseline riaddestrato. Essa suddivide i dati di calibrazione per valutare quale metodo produce una maggiore copertura condizionale sui gruppi "inaffidabili" (identificati dal modello di audit) e seleziona il vincitore.

Contributi Chiave

• Framework Novel: L'introduzione di ACP, che sfrutta un piccolo dataset target etichettato per addestrare un modello di audit che predice il fallimento del modello legacy, anziché riaddestrare il modello legacy stesso.
• Garanzie Teoriche:
  • Dimostrazione che ACP-MC mantiene le garanzie di copertura marginale.
  • Derivazione di un limite a campioni finiti per ACP-ACC, dimostrando che la copertura condizionale si avvicina alla garanzia oracle man mano che l'errore di stima del modello di audit svanisce.
• Efficienza Pratica: Il metodo evita il costo computazionale del riaddestramento completo del modello e la fame di dati associata al fine-tuning di modelli complessi, rendendolo adatto a scenari con nuovi dati etichettati limitati.
• Validazione Empirica: Esperimenti estesi su dati sintetici (coprendo concept shift, covariate shift e label noise) e dataset del mondo reale (Camelyon17 e CIFAR-10/CIFAR-10-C) dimostrano che le varianti di ACP ottengono una copertura condizionale significativamente superiore rispetto alla conformal prediction standard, AdaTS (Adaptive Temperature Scaling) e i baseline di riaddestramento, senza gonfiare la dimensione media degli insiemi di predizione.

Risultati

• Dati Sintetici: In scenari con incertezza intrinseca delle etichette (concept shift) o un aumento delle proporzioni di campioni difficili (covariate shift), i metodi standard e il riaddestramento spesso falliscono nel distinguere tra campioni facili e difficili, portando a una sottocopertura sui bin difficili. Le varianti di ACP assegnano con successo insiemi di predizione più grandi ai campioni difficili e più piccoli a quelli facili, raggiungendo una copertura condizionale quasi perfetta sui bin difficili pur mantenendo dimensioni compatte degli insiemi medi.
• Dati Reali: Su Camelyon17 (istopatologia) e CIFAR-10-C (immagini corrotte), ACP ha costantemente superato i baseline nella copertura condizionale attraverso i bin di affidabilità. Mentre il riaddestramento spesso produceva insiemi eccessivamente conservativi che fallivano nel differenziare i livelli di affidabilità, ACP ha mantenuto dimensioni degli insiemi informative.
• Trade-off: Gli esperimenti evidenziano un compromesso tra la severità delle garanzie condizionali e la dimensione dell'insieme. ACP-ACC (che impone la copertura su più gruppi sovrapposti) è il più conservativo ma offre le garanzie condizionali più forti, mentre ACP-MC offre un equilibrio con dimensioni degli insietti minori.

Significato e Claim

Il paper sostiene che ACP fornisca un approccio pratico e statisticamente fondato alla classificazione consapevole dell'incertezza sotto arbitri shift di distribuzione. La sua importanza primaria risiede nella capacità di migliorare la copertura condizionale — garantendo l'affidabilità dove conta di più — senza i requisiti di dati proibitivi del riaddestramento di modelli complessi.

Gli autori sottolineano che il loro contributo non è il design di una nuova procedura di apprendimento per il modello di audit (che può essere qualsiasi classificatore standard), ma piuttosto l'integrazione delle predizioni di audit nel framework conformale. Ciò consente una misura diretta dell'affidabilità che non richiede l'accesso ai dati di training originali o assunzioni sul meccanismo di shift.

Il paper conclude con modestia, riconoscendo che l'efficacia del metodo dipende dalla qualità del modello di audit, il che può essere una sfida in regimi con pochissimi dati. Il lavoro futuro suggerito dagli autori include estensioni più efficienti dal punto di vista dei dati (ad esempio, tramite metodi conformali di cross-validazione) e adattamenti per contesti online o streaming.