Localized conformal model selection

1. Il Problema

L'articolo affronta una sfida fondamentale nell'ambito della quantificazione dell'incertezza tramite predizione conformale (conformal prediction). Sebbene la predizione conformale offra garanzie di copertura esatta in campioni finiti e senza assunzioni distributive, le metodologie standard sono progettate per un modello predittivo fisso.

Nella pratica, gli analisti spesso dispongono di una collezione di candidati stimatori di regressione che differiscono per complessità, regolarità o ipotesi modellistiche. La selezione o la combinazione di questi modelli basata sui dati è cruciale per le prestazioni predittive. Tuttavia, utilizzare gli stessi dati sia per selezionare il modello che per costruire gli intervalli di predizione viola l'ipotesi di scambiabilità (exchangeability) alla base della validità conformale.

• Conseguenza: L'applicazione ingenua della predizione conformale dopo la selezione del modello porta a una sottocopertura sistematica (undercoverage).
• Limitazione delle soluzioni esistenti: Lavori recenti hanno risolto il problema della validità post-selezione a livello globale, ma non permettono al modello selezionato di variare nello spazio delle covariate. D'altro canto, la Localized Conformal Prediction (LCP) si adatta alla struttura locale dei dati ma assume un modello fisso, ignorando l'incertezza derivante dalla selezione del modello.

L'obiettivo del paper è colmare questo divario sviluppando un framework che sia localmente adattivo e valido dopo la selezione del modello in un setting non parametrico.

2. Metodologia: Localized Conformal Model Selection (LCP-MS)

Gli autori propongono un nuovo framework che integra la LCP con una tecnica di indicizzazione sicura (safe indexing) per ripristinare la simmetria necessaria alla validità conformale.

Concetti Chiave:

1. Predizione Conformale Localizzata (LCP): Invece di usare quantili empirici globali dei residui, la LCP costruisce intervalli di predizione pesando i residui di calibrazione in base alla loro vicinanza al punto di test $X_{n+1}$ (usando un kernel locale $H$). Questo permette di adattarsi al rumore locale e alla bontà di adattamento del modello.
2. Il Problema della Simmetria: Selezionare il modello che produce l'intervallo più corto direttamente al punto di test $X_{n+1}$ rompe la simmetria, poiché la decisione dipende dalla risposta non osservata $Y_{n+1}$.
3. Soluzione: Indicizzazione Sicura (Safe Indexing):
   • Per preservare la scambiabilità, la selezione del modello deve essere eseguita simmetricamente su tutti i punti di calibrazione, non solo sul punto di test.
   • Per ogni punto di calibrazione $i$, gli autori costruiscono intervalli di predizione "surrogato" (upper e lower) che simulano i casi estremi di non conformità e conformità perfetta della risposta non osservata $Y_{n+1}$.
   • Viene definito un insieme di indici sicuri $K_i(\gamma)$ che contiene tutti i modelli il cui intervallo "migliore" (caso ideale) non è più lungo dell'intervallo "peggiore" (caso pessimo) del modello concorrente più breve.
   • Per costruzione, questo insieme garantisce di contenere il modello oracolo (il modello che minimizza la lunghezza attesa dell'intervallo conformale).

Procedura Algoritmica:

1. Si definiscono intervalli surrogati $C^+$ e $C^-$ per ogni modello candidato su ogni punto di calibrazione.
2. Si costruisce l'insieme sicuro $K_i(\gamma)$ per ogni punto.
3. Si determinano i livelli di copertura empirici ammissibili ($\hat{\gamma}_L$ e $\hat{\gamma}_U$) valutando la copertura su tutti i punti di calibrazione utilizzando gli intervalli surrogati.
4. L'intervallo di predizione finale per $Y_{n+1}$ è l'unione degli intervalli conformali localizzati più brevi selezionati all'interno di questo range di livelli di copertura ammissibili.

3. Contributi Chiave

• Primo Framework Unificato: Questo è il primo framework di inferenza conformale che raggiunge simultaneamente adattabilità locale e validità post-selezione in un setting completamente non parametrico.
• Ripristino della Scambiabilità: L'idea innovativa di eseguire la selezione del modello simmetricamente su tutti i punti di dati (tramite intervalli surrogati) risolve il problema della rottura della scambiabilità causata dalla selezione data-dipendente.
• Garanzie Teoriche: Viene dimostrato (Teorema 1) che la procedura proposta soddisfa la copertura marginale esatta in campioni finiti: $P(Y_{n+1} \in C_{LCP-MS}) \geq 1 - \alpha$.
• Adattabilità Spaziale: Il metodo seleziona automaticamente modelli più complessi (es. bandwidth piccoli) nelle regioni ad alta oscillazione e modelli più semplici (es. bandwidth grandi) nelle regioni lisce.

4. Risultati delle Simulazioni

Gli autori hanno testato il metodo in due scenari principali, confrontando l'ensemble LCP-MS con il "miglior modello singolo" scelto a posteriori (best single).

• Scenario Parametrico (Segnali Oscillanti):
  • Modello: Funzione sinusoidale a tratti con frequenza e ampiezza variabili.
  • Risultato: In condizioni di basso rumore ($\sigma=0.1$), LCP-MS produce intervalli significativamente più corti rispetto al miglior modello singolo (riduzione dell'15-20%). In alto rumore, le prestazioni sono simili.
• Scenario Non Parametrico (Curvatura Variabile):
  • Modello: $Y = \sin(X^3) + \epsilon$.
  • Risultato: LCP-MS ha mostrato riduzioni sostanziali nella lunghezza degli intervalli (25-35% più corti) rispetto al miglior modello singolo, mantenendo la copertura nominale.
  • Analisi Visiva (Figura 1): L'ensemble seleziona dinamicamente bandwidth diverse: bandwidth piccole (modelli complessi) nelle zone ad alta curvatura e bandwidth grandi (modelli semplici) nelle zone lisce. Nessun singolo stimatore a bandwidth fissa può competere con questa adattabilità.

5. Significato e Implicazioni

• Efficienza Statistica: Il lavoro dimostra che è possibile ottenere intervalli di predizione più stretti e informativi senza sacrificare la garanzia di copertura, adattandosi alla complessità locale dei dati.
• Robustezza: Il metodo è robusto rispetto alla scelta del modello sottostante, poiché l'ensemble si adatta automaticamente alla struttura locale senza bisogno di conoscere a priori la migliore complessità del modello.
• Limitazioni e Futuro: La garanzia rimane marginale (non condizionata) e il costo computazionale è superiore a causa della costruzione "leave-one-out" e della valutazione su più modelli (sebbene parallelizzabile). Tuttavia, l'idea di indicizzazione sicura basata sulla simmetria potrebbe essere estesa ad altri contesti di conformal prediction adattiva.

In sintesi, il paper propone una soluzione elegante al dilemma tra selezione del modello e validità conformale, permettendo agli statistici di sfruttare la potenza di ensemble di modelli complessi mantenendo garanzie di copertura rigorose e adattive.