Riepilogo Tecnico: Predizione Conformale Bayesiana Empirica per Modelli di Visione e Linguaggio

Enunciato del Problema

La Predizione Conformale (CP) offre un framework senza distribuzione per generare insiemi di previsione con copertura garantita per i moderni modelli di visione e linguaggio. Tuttavia, la CP standard si basa su una singola realizzazione di un punteggio di non conformità per classificare i candidati. Questo approccio ignora l'incertezza epistemica e la variabilità del punteggio derivanti dai parametri del modello, dalla casualità dell'addestramento o dalla formulazione del prompt.

Quando più etichette o risposte candidate ricevono punteggi simili, piccole fluttuazioni possono alterare drasticamente il loro ordine di classificazione. Di conseguenza, la CP standard può includere falsi candidati ad alta varianza nell'insieme di previsione semplicemente perché una singola realizzazione rumorosa li ha resi apparentemente forti, escludendo al contempo candidati stabili che avevano un punteggio leggermente inferiore ma più coerente. Le alternative esistenti, come "media-poi-calibrazione" (CPavg), appianano questa variabilità mediando i punteggi prima della calibrazione, eliminando così le informazioni sulla stabilità della classifica di un candidato. Il problema fondamentale è che i metodi CP attuali non sfruttano la variabilità del punteggio come segnale per distinguere tra evidenza stabile e fluttuazioni guidate dal rumore, portando a insiemi conformi meno efficienti (più grandi) e meno stabili.

Metodologia: Il Framework del valore-$r$

Gli autori propongono $CPr$-value, un framework di Predizione Conformale Bayesiana Empirica che converte la variabilità del punteggio in un punteggio di non conformità informato dall'incertezza chiamato valore-$r$.

Concetto Chiave

Invece di classificare i candidati basandosi esclusivamente su un punteggio osservato $f(x)_i$, il metodo tratta la classificazione come un problema Bayesiano Empirico. Assume che ogni candidato abbia un punteggio latente non osservato $\theta_i$ (il segnale stabile) e un punteggio osservato $f(x)_i$ che è una realizzazione rumorosa di $\theta_i$. Il valore-$r$ misura la probabilità che il punteggio latente di un candidato appartenga al gruppo meglio classificato, tenendo conto sia del punteggio stimato che della sua incertezza.

Stimatori

Il framework fornisce due stimatori per il valore-$r$:

1. Parametrico (Modello Normale-Normale): Assume che i punteggi latenti seguano una distribuzione normale e che il rumore di osservazione sia Gaussiano. Ciò produce un'espressione in forma chiusa per il valore-$r$. Modella esplicitamente il compromesso tra l'entità del punteggio e la varianza, contraendo i punteggi ad alta varianza verso la media empirica.
2. Non parametrico (Campionamento dal Posteriore): Uno stimatore Monte Carlo senza assunzioni. Classifica i candidati su più campioni posteriori (ad esempio, da ensemble di modelli, MC-dropout o parafrasi del prompt) e calcola la frequenza con cui un candidato appare nelle prime $k$ posizioni. Questa frequenza funge da probabilità di coda empirica, che viene poi convertita in un valore-$r$.

Algoritmo

1. Stima della Variabilità: Generare più output del modello (ad esempio, tramite adattatori Weighted Bayesian Bootstrap per modelli di visione o parafrasi del prompt per VLM/LLM) per stimare la distribuzione dei punteggi per ogni candidato.
2. Calibrazione: Calcolare i valori-$r$ per le etichette vere in un insieme di calibrazione. Determinare la soglia $\hat{r}$ come il $\lceil(n+1)(1-\alpha)\rceil$-esimo valore-$r$ più piccolo.
3. Previsione: Per un input di test, calcolare i valori-$r$ per tutti i candidati. Includere nell'insieme di previsione i candidati con $r(x, u_j) < \hat{r}$.

Contributi Chiave

• Garanzia Teorica: Sotto l'ipotesi di scambiabilità, l'uso del valore-$r$ come punteggio di non conformità preserva la garanzia di copertura conformale target ($1-\alpha$).
• Miglioramento dell'Efficienza: Teoricamente, il valore-$r$ riduce la probabilità di inclusione di falsi candidati ad alta varianza rispetto alla CP standard e alla CPavg. Ciò porta a dimensioni attese degli insiemi di previsione più piccole, in particolare quando la variabilità è informativa.
• Framework Unificato: Il metodo unifica approcci parametrici e non parametrici, consentendo l'applicazione a diversi tipi di punteggi (logit, probabilità, punteggi di valutatori discreti) e architetture di modelli (ViT, CLIP, LLM).
• Stabilità della Classifica: Penalizzando i candidati con alta varianza del punteggio, il metodo produce classifiche più stabili, garantendo che i candidati che appaiono costantemente in cima siano prioritari rispetto a quelli con punteggi alti sporadici.

Risultati Sperimentali

Gli autori hanno valutato $CPr$-value su classificazione di immagini, Modelli di Visione-Linguaggio (VLM) e Modelli Linguistici su Grande Scala (LLM).

• Modelli di Visione (Classificazione di Immagini): Utilizzo di modelli ViT e ResNet con adattatori Weighted Bayesian Bootstrap (WBB) per approssimare la variabilità del posteriore.
  • Quando la variabilità è piccola (backbone forte, adattatori leggeri), $CPr$-value si comporta in modo simile alla CP standard, preservando la copertura e la dimensione dell'insieme.
  • Quando la variabilità è informativa, $CPr$-value produce insiemi più piccoli e stabili, spesso classificando la classe vera più in alto all'interno dell'insieme rispetto alla CP standard.
• VLM e LLM (CLIP, SigLIP, MobileCLIP, LLaMA): La variabilità è stata indotta tramite parafrasi del prompt.
  • Copertura: $CPr$-value ha mantenuto una copertura vicina al livello nominale (ad esempio, 95% per $\alpha=0.05$).
  • Dimensione dell'Insieme: Sono state osservate riduzioni significative della dimensione dell'insieme. Ad esempio, su ImageNet, $CPr$-value ha ridotto la dimensione media dell'insieme di quasi la metà rispetto alla CP standard.
  • Tendenza della Forza del Modello: I guadagni di efficienza sono stati più pronunciati per modelli con minore accuratezza e maggiore variabilità intrinseca (ad esempio, SigLIP2). All'aumentare dell'accuratezza del modello e alla diminuzione della variabilità (ad esempio, MobileCLIP2), i guadagni si sono attenuati e il metodo è naturalmente tornato a un comportamento simile alla CP, coerente con le previsioni teoriche.
  • Compiti a Risposta Aperta: Nei compiti LLM con punteggi di valutatori grossolani (ad esempio, TruthfulQA), il valore-$r$ ha успешно rotto gli pareggi tra risposte con punteggi medi identici sfruttando la stabilità del punteggio attraverso le parafrasi, fornendo una risoluzione di classificazione più fine.

Significato e Affermazioni

Il paper afferma che $CPr$-value trasforma una debolezza percepita dei grandi modelli, la loro incoerenza o variabilità, in un segnale utile per l'efficienza conformale.

• Robustezza: Fornisce un metodo per costruire insiemi di previsione non solo statisticamente validi, ma anche più efficienti filtrando candidati instabili guidati dal rumore.
• Praticità: Il framework è applicabile sia al dominio della visione che a quello del linguaggio, utilizzando tecniche esistenti per la stima dell'incertezza (adattatori, ensemble, variazioni del prompt) senza richiedere il riaddestramento dei modelli base.
• Limitazioni: Gli autori notano che l'efficacia del metodo dipende dalla qualità della stima della variabilità. Se la variabilità stimata è scarsa o trascurabile (come nei modelli altamente stabili), i benefici sono modesti. Inoltre, il metodo introduce un sovraccarico computazionale per la generazione di più campioni, sebbene ciò sia spesso fattibile tramite adattatori leggeri o inferenza parallela.

In sintesi, $CPr$-value offre un modo principiato per integrare l'incertezza epistemica nella predizione conformale, producendo insiemi di previsione più piccoli, stabili e affidabili per i moderni sistemi di intelligenza artificiale.