Riepilogo Tecnico: Previsione Conformale Online tramite Ottimizzazione Online

Enunciato del Problema

La previsione conformale offre un quadro concettuale fondato per la quantificazione dell'incertezza con garanzie di copertura su campioni finiti. Sebbene recenti avanzamenti abbiano esteso questi metodi a contesti online e sequenziali, gli approcci esistenti operano tipicamente a un singolo livello di copertura ($1-\alpha$). Quando sono richiesti simultaneamente molteplici livelli di copertura — uno scenario comune in applicazioni come le previsioni meteorologiche, la previsione macroeconomica e la gestione del rischio, dove gli utenti hanno tolleranze al rischio eterogenee — i metodi online standard devono essere eseguiti in modo indipendente per ciascun $\alpha$.

Questa esecuzione indipendente porta a una limitazione critica: gli insiemi di previsione risultanti non sono garantiti come annidati. In termini pratici, un insieme di previsione per un livello di confidenza più alto (ad esempio, 99%) dovrebbe essere un soprainsieme dell'insieme per un livello di confidenza più basso (ad esempio, 90%). Senza questa proprietà di annidamento, le stime dell'incertezza possono risultare incoerenti e difficili da interpretare. Inoltre, la stima indipendente non sfrutta i guadagni di efficienza statistica noti dalla regressione quantile congiunta, dove l'imposizione di vincoli di non incrocio consente la condivisione di informazioni tra i quantili.

Il documento affronta la sfida di sviluppare metodi di previsione conformale online che producano simultaneamente insiemi di previsione annidati su una gamma di livelli di copertura, mantenendo garanzie di copertura a lungo termine, anche in presenza di sequenze di dati non stazionarie o avversarie.

Metodologia

Gli autori propongono due nuovi algoritmi basati su una prospettiva di ottimizzazione online. Inquadrano il problema dell'aggiornamento delle soglie conformali come un compito di apprendimento online, dove l'obiettivo è minimizzare una funzione di perdita congiunta imponendo vincoli di monotonia sulle soglie.

1. Formulazione del Problema

Sia $s_t$ un punteggio di non conformità limitato al tempo $t$. Per una sequenza di livelli di mancata copertura $0 = \alpha_0 < \alpha_1 < \dots < \alpha_K < \alpha_{K+1} = 1$, l'obiettivo è stimare le soglie $q_{t,i}$ tali che gli insiemi di previsione $C^i_t = \{y : s_t(x,y) \le q_{t,i}\}$ siano annidati ($C^{i+1}_t \subseteq C^i_t$). Ciò richiede che le soglie siano monotone decrescenti: $q_{t,1} \ge q_{t,2} \ge \dots \ge q_{t,K}$.

Gli aggiornamenti online standard (ad esempio, l'Inferenza Conformale Adattiva) trattano ciascun quantile in modo indipendente:
$$q_{t+1,i} = q_{t,i} - \eta_t (\alpha_i - \text{err}_{t,i})$$
dove $\text{err}_{t,i}$ è l'indicatore di mancata copertura. Questo approccio manca di accoppiamento tra i livelli e non garantisce la monotonia.

2. Algoritmi Proposti

Il documento introduce due metodi che modificano la regola di aggiornamento per imporre la monotonia tramite tecniche di ottimizzazione online:

A. Discesa del Gradiente Esponenziale (EG)

Questo metodo sfrutta l'algoritmo del Gradiente Esponenziale applicato a uno spazio dei parametri trasformato.

• Parametrizzazione: Invece di aggiornare direttamente le soglie, l'algoritmo aggiorna i gap normalizzati tra quantili consecutivi ($w_{t,i}$) su un semplice troncato. Questo cambio di variabili ($q_{t,i} = B \sum_{j=i}^K w_{t,j}$) garantisce intrinsecamente che, se i pesi sono non negativi, i quantili siano ordinati.
• Regola di Aggiornamento: L'algoritmo minimizza una funzione di perdita congiunta $g_t(\bar{w})$ utilizzando aggiornamenti EG. Il gradiente per ciascuna coordinata aggrega le discrepanze di mancata copertura su tutti i livelli di quantile rilevanti, inducendo un accoppiamento globale.
• Meccanismo: Quando il metodo è eccessivamente conservativo o sottocopre, il termine di errore cumulativo aggiusta i gap su tutta la curva dei quantili simultaneamente. Ciò permette al metodo di "prendere forza" tra i livelli, coordinando gli aggiustamenti per preservare naturalmente l'annidamento.

B. Discesa del Gradiente Proiettato (PG)

Questo metodo utilizza la discesa del Gradiente Proiettato con un insieme di vincoli specifico.

• Regola di Aggiornamento: L'algoritmo esegue prima aggiornamenti del gradiente indipendenti sul vettore dei quantili $\bar{q}_t$ basati sulla funzione di perdita congiunta.
• Proiezione: Il vettore risultante viene quindi proiettato sull'insieme convesso delle sequenze decrescenti ($Q = \{\bar{q} : B \ge q_1 \ge \dots \ge q_K \ge 0\}$).
• Meccanismo: Questa proiezione è implementata utilizzando l'Algoritmo Pool Adjacent Violators (PAVA). A differenza di EG, PG opera tramite correzione locale: aggiorna i quantili in modo indipendente e poi li aggiusta minimamente per ripristinare il vincolo di ordinamento. Non ridistribuisce intrinsecamente le informazioni tra i livelli durante il passo del gradiente.

3. Garanzie Teoriche

Gli autori stabiliscono limiti teorici per entrambi i metodi:

• Copertura: Entrambi i metodi forniscono garanzie di copertura a lungo termine, assicurando che il tasso empirico di mancata copertura converga al target $\alpha_i$ per tutti i livelli.
• Rimpianto ed Errore: Il documento deriva limiti sul rimpianto dinamico e sulla deviazione dei quantili stimati dai quantili veri ($\|\bar{q}_t - \bar{q}^*_t\|_2$). Questi limiti dipendono dalla variazione dinamica dei quantili veri ($V_T$) e dalla dimensione del passo $\eta$. Il limite del metodo EG suggerisce un'efficienza migliorata grazie all'accoppiamento strutturato, mentre PG garantisce la fattibilità (annidamento) a ogni passo temporale.

Contributi Chiave

1. Nuova Formulazione: Introduzione di un quadro di previsione conformale online che produce insiemi di previsione annidati su molteplici livelli di copertura, abilitando una quantificazione dell'incertezza calibrata su tutto lo spettro del rischio.
2. Innovazione Algoritmica: Proposta di due algoritmi online (EG e PG) basati sull'ottimizzazione convessa che stimano congiuntamente le soglie conformali imponendo rigorosamente la monotonia.
3. Garanzie Teoriche: Stabilimento di garanzie di copertura a lungo termine per tutti i livelli insieme a prove che assicurano insiemi di previsione annidati a ogni passo temporale.
4. Validazione Empirica: Dimostrazione che questi metodi raggiungono una copertura stabile, insiemi strettamente annidati e un'efficienza statistica migliorata rispetto alle baseline indipendenti a singolo livello.

Risultati Sperimentali

I metodi sono stati valutati su dataset sintetici e reali.

Dati Sintetici

• Configurazione: Un ambiente non stazionario in cui le distribuzioni dei punteggi evolvono tramite un cammino casuale riflesso latente.
• Risultati: Il metodo del Gradiente Esponenziale (EG) ha raggiunto un errore di tracciamento $\ell_1$ inferiore rispetto al tracciatore di quantili indipendente e al metodo del Gradiente Proiettato. Ciò supporta l'ipotesi che la condivisione di informazioni tra i quantili migliori l'efficienza statistica nel tracciare distribuzioni variabili nel tempo. Il metodo PG ha performato in modo simile al tracciatore indipendente, indicando guadagni limitati dall'ottimizzazione congiunta in questo specifico contesto rispetto a EG.

Dati Reali (Inflazione USA)

• Configurazione: Previsione dell'inflazione dell'Indice dei Prezzi al Consumo (CPI) degli Stati Uniti utilizzando un modello AR(3) con finestre scorrevoli.
• Risultati:
  • Calibrazione: Tutti i metodi sono convergenti verso un basso errore di calibrazione. Tuttavia, il tracciatore di quantili non vincolato ha esibito un comportamento oscillatorio (sovracorrezione), mentre i metodi proposti vincolati hanno mostrato traiettorie più stabili.
  • Annidamento e Liscezza: I metodi di base (tracciatore indipendente e proiezione a posteriori) hanno prodotto bande di previsione con distorsioni occasionali e regioni non annidate. Al contrario, i metodi proposti (specialmente EG) hanno prodotto insiemi di previsione più lisci e coerenti che hanno preservato rigorosamente la struttura annidata.
  • Interpretabilità: L'aggiornamento EG ha prodotto bande di previsione più lisce coordinando i quantili adiacenti attraverso discrepanze cumulative, riducendo cambiamenti bruschi tra i livelli.

Significato e Affermazioni

Il documento afferma che il suo significato principale risiede nell'affrontare l'incoerenza delle stime dell'incertezza in contesti online multilivello. Imponendo vincoli strutturali (monotonia) tramite ottimizzazione online, i metodi proposti forniscono uno spettro di rischio coerente.

Le affermazioni chiave includono:

• Efficienza Statistica: La stima congiunta migliora l'efficienza condividendo informazioni tra i quantili, un beneficio dimostrato esplicitamente dalle prestazioni superiori di tracciamento del metodo EG.
• Interpretabilità: Gli insiemi di previsione annidati risultanti sono essenziali per contesti decisionali in cui gli stakeholder richiedono stime dell'incertezza coerenti tra diverse tolleranze al rischio (ad esempio, pianificatori di emergenza vs. responsabili politici).
• Stabilità: L'imposizione congiunta della monotonia con gli aggiornamenti stabilizza la dinamica di apprendimento, prevenendo le oscillazioni erratiche osservate nei tracciatori non vincolati.
• Contesto più Ampio: Il lavoro colma il divario tra robustezza avversaria (garanzie in scenari peggiori) ed efficienza statistica (tracciamento di distribuzioni variabili nel tempo), inquadrando la previsione conformale online come un problema di tracciamento di quantili variabili nel tempo con analisi del rimpianto dinamico.

Gli autori notano che il lavoro futuro potrebbe esplorare tassi di apprendimento adattivi per migliorare ulteriormente le prestazioni in ambienti non stazionari, ma il contributo attuale si concentra sui benefici strutturali della stima congiunta in regimi a dimensione di passo fissa.