Conformal Calibration for Multi-Modal Regression with Missing Modalities

Sintesi Tecnica: Calibrazione Conforme per la Regressione Multi-Modale con Modalità Mancanti

Definizione del Problema
I sistemi di regressione multi-modale, che integrano diverse sorgenti di input quali dati tabulari, testo e immagini, affrontano sfide significative nel generare stime di incertezza affidabili. Sebbene la fusione di queste sorgenti migliori spesso l'accuratezza delle predizioni puntuali, i metodi standard di predizione conforme si affidano tipicamente a un singolo quantile globale per costruire intervalli di predizione. Questo approccio globale media tra diversi regimi di dati di input, non riuscendo a tenere conto delle differenze sistematiche nell'affidabilità degli intervalli quando le modalità concordano, sono in conflitto o quando specifiche modalità sono mancanti al momento del test. Di conseguenza, una singola copertura marginale può mascherare una sotto-copertura in sottogruppi difficili (ad esempio, alto disaccordo o dati mancanti) e inefficienza nei casi facili. Il documento affronta la necessità di uno strato di calibrazione che adatti la larghezza dell'intervallo in base al pattern di modalità osservato e al disaccordo tra le sorgenti, mantenendo rigorose garanzie di copertura a campioni finiti.

Metodologia
Il metodo proposto introduce uno strato di calibrazione conforme consapevole della modalità che opera attorno a un predittore base fisso e a un insieme di predittori ausiliari per ogni sorgente. Il meccanismo centrale prevede due strategie complementari guidate da un punteggio di disaccordo e dalla disponibilità delle modalità:

1. Costruzione del Punteggio di Disaccordo:
   Per ogni esempio $x$, i predittori per singola sorgente $g_k$ generano predizioni $\hat{y}_k$ dai rispettivi blocchi di sorgente $x^{(k)}$. Il punteggio di disaccordo $d(x)$ è definito come la deviazione standard di queste predizioni per singola sorgente:
   $$d(x) = \left( \frac{1}{K_x} \sum_{k \in A(x)} (g_k(x^{(k)}) - \bar{g}_{A(x)})^2 \right)^{1/2}$$
   dove $A(x)$ è l'insieme delle sorgenti disponibili. Se è disponibile una sola sorgente, $d(x)=0$.

2. Calibrazione Scalata dal Disaccordo (Approccio Continuo):
   Questo metodo rialloca la larghezza dell'intervallo continuamente in base al punteggio di disaccordo. Una funzione di scala $a_\gamma(x) = \sqrt{1 + \gamma d(x)^2}$ viene applicata ai punteggi di Conformalized Quantile Regression (CQR). Il parametro $\gamma$ è selezionato su un set di tuning e fissato prima della calibrazione.

   • Meccanismo: Il punteggio di non conformità è normalizzato: $s_i = \max\{e_i, 0\} / a_\gamma(X_i)$.
   • Effetto: Un alto disaccordo porta a un fattore di scala maggiore, allargando l'intervallo; un basso disaccordo lo restringe.
   • Garanzia: Ciò preserva la standard garanzia di copertura split-conformal marginale ($1-\alpha$) a condizione che la regola di scala sia fissata prima della calibrazione.

3. Calibrazione Mondrian (Stratificata) (Approccio Discreto):
   Questo metodo costruisce quantili di calibrazione separati per strati pre-specificati definiti o dal punteggio di disaccordo (binning) o dai regimi di disponibilità delle modalità (ad esempio, "testo mancante", "immagine mancante").

   • Meccanismo: Il set di calibrazione è partizionato in strati $h$. Per ogni strato viene calcolato un quantile distinto $\hat{q}_h$.
   • Garanzia: Questo fornisce garanzie di copertura condizionale per strato finito, a condizione che la definizione dello strato sia fissata prima della calibrazione e che gli esempi di calibrazione e di test siano congiuntamente scambiabili condizionatamente ai dati pre-calibrazione.

4. Gestione delle Modalità Mancanti:
   Il framework gestisce esplicitamente le modalità mancanti definendo "regimi" di strati. Nei test di stress, viene utilizzata una "ricalibrazione con maschera corrispondente" (mask-matched recalibration) dove gli esempi di calibrazione vengono trasformati utilizzando la stessa maschera di mancanza dei dati dei test. Ciò consente al sistema di recuperare la copertura per specifici regimi di dati mancanti senza dover inventare predizioni per le sorgenti assenti.

Contributi Chiave
Il documento presenta quattro contributi primari:

1. Definizione di un Punteggio di Disaccordo: Definisce un punteggio di disaccordo agnostico rispetto al modello derivato dalle predizioni di regressione per singola sorgente, fungendo da covariata di calibrazione costruita prima che i punteggi conformi vengano calcolati.
2. CQR Scalata dal Disaccordo: Incorpora questo punteggio in un metodo CQR split-conformal normalizzato, selezionando una scala di disaccordo della sorgente prima della calibrazione e specificando le esatte condizioni di split richieste per la validità.
3. Costruzione Mondrian: Fornisce una costruzione formale per la copertura all'interno di strati pre-specificati basati sulla disponibilità delle modalità o sui livelli di disaccordo.
4. Valutazione Esaustiva: Il metodo è valutato attraverso quattro dataset multi-modali (Swiss Real Estate, Mercari, Pawpularity, IMDB-WIKI) utilizzando vari predittori base (XGBoost punto/quantile, ensemble SEMF) e include test di stress con modalità mancanti.

Risultati Sperimentali

• Efficienza e Copertura: In 60 sessioni accoppiate (4 dataset $\times$ 3 predittori $\times$ 5 seed), il metodo scalato dal disaccordo ha eguagliato o migliorato il baseline conforme marginale in 59 casi su 60 per l'Interval Continuous Ranked Probability Score (CRPS) e in 52 casi su 60 per la larghezza dell'intervallo. La copertura empirica è rimasta vicina al target del 95% (0.949 vs 0.949).
• Regimi di Disaccordo: Il metodo riesce a restringere gli intervalli per gli esempi con basso disaccordo e ad allargarli per quelli con alto disaccordo, correggendo la sotto-copertura osservata nei bin ad alto disaccordo sotto la calibrazione marginale standard.
• Modalità Mancanti: Nei test di stress con modalità mancanti, la "ricalibrazione con maschera corrispondente" (un caso speciale della calibrazione Mondrian) ha recuperato significativamente la copertura. Nel regime più impegnativo a maschera fissa (IMDB-WIKI con solo dati tabulari), la copertura è stata recuperata di 19,5 punti percentuali (da 0.758 a 0.953), sebbene con un corrispondente aumento della larghezza dell'intervallo (125%).
• Robustezza: I risultati sono rimasti costanti attraverso diversi predittori base, inclusi alberi potenziati dal gradiente e ensemble Monte Carlo derivati da decoder SEMF.

Significato e Rivendicazioni
Il documento sostiene di fornire uno strato di affidabilità semplice e agnostico rispetto al modello per i sistemi di regressione multi-modale. La sua importanza risiede nel:

• Disaccoppiamento della Calibrazione dalla Fusione: Lo strato funziona con qualsiasi predittore base fisso (alberi, neurali, ensemble) e non richiede il riaddestramento del modello di fusione.
• Incertezza Adattiva: Va oltre un "taglia unica" quantile globale, permettendo alla stima dell'incertezza di riflettere l'affidabilità specifica del regime di input (accordo vs conflitto vs mancanza di dati).
• Garanzie Rigorose: A differenza degli aggiustamenti euristici, il metodo mantiene rigorose garanzie di copertura a campioni finiti (marginale o condizionale) aderendo a un protocollo di split rigoroso in cui tutte le scelte basate sui dati (inclusi la scala del disaccordo e le definizioni degli strati) sono fissate prima del passaggio di calibrazione.
• Utilità Pratica: Offre una soluzione pratica per modelli implementati dove la disponibilità delle modalità è dinamica, garantendo che le stime di incertezza rimangano valide anche quando la distribuzione dei dati di input cambia (ad esempio, sensori mancanti o testo corrotto).

L'autore rimane modesto, osservando che le garanzie dipendono dalla stretta separazione tra i dati di fitting, tuning e calibrazione, e che lo scalare del disaccordo tratta tutte le sorgenti allo stesso modo, potenzialmente trascurando le dipendenze cross-modali o le differenze di affidabilità delle sorgenti. Il metodo è presentato come un wrapper per migliorare i sistemi esistenti piuttosto che come una nuova architettura di fusione.