Riepilogo Tecnico: RareCP – Recupero Consapevole del Regime per la Previsione Conformale Efficiente

Enunciato del Problema

Le previsioni delle serie temporali richiedono una quantificazione affidabile dell'incertezza (UQ) per un processo decisionale consapevole del rischio. Sebbene la Previsione Conformale (CP) offra un framework agnostico rispetto al modello con garanzie di copertura su campioni finiti sotto l'assunzione di scambiabilità, tale assunzione è fondamentalmente violata dalla natura sequenziale dei dati delle serie temporali. Le adattazioni esistenti per gestire la dipendenza temporale e il drift rientrano generalmente in due categorie: (1) metodi di mancata copertura adattiva che regolano il tasso di copertura target nel tempo e (2) approcci CP ponderati che assegnano pesi di calibrazione in base alla rilevanza del campione.

Gli autori sostengono che questi metodi esistenti non riescono a separare esplicitamente due fonti centrali di non stazionarietà negli errori di previsione:

1. Distribuzioni degli errori che derivano gradualmente: Dove le similarità dei residui evolvono man mano che cambia il processo sottostante.
2. Regimi di errore distinti coesistenti: Dove le distribuzioni dei residui passano tra contesti distinti invece di variare gradualmente lungo una singola traiettoria.

I metodi standard reagiscono spesso a questi problemi inflazionando uniformemente gli intervalli o affidandosi a una ponderazione della similarità fissa, portando a inefficienza (intervalli eccessivamente ampi) o a una copertura scarsa durante i cambi di regime.

Metodologia: RareCP

RareCP (Recupero Consapevole del Regime per la Previsione Conformale) viene introdotto come un adattatore agnostico rispetto al backbone per modelli di previsione fissi. Calibra gli intervalli di previsione recuperando residui firmati passati da regimi di errore localmente rilevanti. L'architettura è composta da tre componenti principali:

1. Calibrazione dei Residui Firmati Locali

A differenza dei metodi che utilizzano residui assoluti, RareCP calibra residui firmati ($r_i = y_i - \hat{y}_i$). Ciò consente alle code inferiore e superiore dell'intervallo di previsione di adattarsi separatamente, abilitando intervalli asimmetrici. Dato un contesto di query $a_t$, RareCP forma una funzione di distribuzione cumulativa empirica (CDF) ponderata dei residui, $\hat{F}_t(\rho)$, ed estrae i quantili per definire l'intervallo $C_t = [\hat{y}_t + Q_t(\alpha/2), \hat{y}_t + Q_t(1-\alpha/2)]$.

2. Recupero Top-$k$ Consapevole del Regime

Per affrontare la "struttura di regime" degli errori, RareCP impiega un meccanismo di recupero a Mixture of Experts (MoE):

• Esperti Condizionati da Hypernetwork: Vengono addestrati diversi esperti di recupero a bassa capacità. Ogni esperto utilizza una hypernetwork che prende il contesto di query corrente ($a_t$) e un descrittore del dataset ($\eta_d$, contenente ID del dataset e statistiche) per produrre una mappa di recupero affine. Ciò consente alla metrica di similarità di essere specifica sia per il passo temporale corrente che per il dataset.
• Similarità Cosine-Attention: Gli esperti normalizzano le loro chiavi e query mappate sulla sfera unitaria, utilizzando la similarità del coseno per recuperare i $k$ residui di calibrazione più rilevanti.
• Recupero Sparsificato: Limitando il supporto ai $k$ vicini più prossimi, il metodo impone la località, riducendo la massa assegnata a regimi irrilevanti.
• Miscelazione delle Porte (Gate Mixing): Una rete di porte leggera produce pesi sul simplesso per miscelare le CDF locali costruite da ciascun esperto. Ciò consente al sistema di passare dinamicamente tra regimi di errore raggruppati.

3. Addestramento e Ottimizzazione

• Obiettivo: Il modello è addestrato per minimizzare un rilassamento liscio del punteggio dell'intervallo di Winkler.
• Ancoraggio del Docente: Per impedire che le mappe di recupero apprese collassino o diventino instabili, ogni hypernetwork studente è ancorata a una mappa docente leggera e pre-adattata tramite una perdita di distillazione nello spazio dei parametri.
• Leave-One-Out (LOO): L'addestramento utilizza episodi di calibrazione LOO in cui l'obiettivo della query è escluso dall'insieme di recupero, rispecchiando lo scenario al momento del test.
• Correzione della Copertura: Al momento del test, RareCP si integra con l'Inferenza Conformale Adattiva (ACI) per regolare il livello di mancata copertura target $\alpha_t$ online, correggendo il drift.

Contributi Chiave

1. Prestazioni Competitive con i Backbone: RareCP dimostra che la previsione conformale, quando dotata di questo meccanismo di recupero, è competitiva con gli intervalli di previsione basati su quantili nativi dei modelli fondazione (FM) delle serie temporali all'avanguardia, pur rimanendo applicabile a qualsiasi previsore puntuale (incluso ARIMA) privo di UQ nativa.
2. Trade-off Efficienza-Copertura tramite Recupero: Il documento introduce il recupero sparsificato dei residui per la calibrazione conformale. Analizza il trade-off controllato da $K_n$ (il numero di residui recuperati): un $K_n$ più piccolo migliora l'efficienza concentrandosi sul comportamento locale, mentre un $K_n$ più grande supporta la consistenza asintotica.
3. Architettura per Bias Strutturali: L'architettura di recupero lineare a cosine-attention proposta è progettata esplicitamente per gestire similarità in deriva temporale e regimi di errore raggruppati, evitando la necessità di pesi di calibrazione non vincolati.

Risultati Sperimentali

Gli autori hanno valutato RareCP sul benchmark GIFT-Eval, che copre 10 dataset principali (Bench10) e un'intera suite di 22 dataset (Bench22) nei settori energia, trasporti, clima e finanza.

• Baseline: I confronti includevano metodi CP standard (SplitCP, ACI, HopCPT, ResCP, KOWCPI) e testate di UQ native di modelli fondazione (TiRex, Chronos, Moirai, TimesFM, ecc.).
• Prestazioni: RareCP ha ottenuto il punteggio Winkler normalizzato medio (nWink) più basso su tutti e quattro i backbone testati (TiRex, TimesFM-2.5, TabPFN-TS, ARIMA) su Bench10. Su Bench22, è rimasto competitivo, superando solo ACI su un backbone specifico.
• Scalabilità: I guadagni di prestazioni sono aumentati con flussi di calibrazione più ampi (test su 100k e serie complete), suggerendo che strutture di regime più ricche beneficiano maggiormente della calibrazione basata sul recupero rispetto alla levigatura uniforme.
• Ablazioni: Lo studio ha confermato che ogni componente contribuisce alle prestazioni:
  • La similarità densa appresa ha migliorato il nWink di circa il 13,9%.
  • L'aggiunta del recupero hard top-$k$ ha aggiunto circa il 4,6%.
  • Il condizionamento della hypernetwork ha aggiunto circa l'1,7%.
  • Le miscele di regime (MoE) hanno aggiunto circa il 2,1%.
  • L'ancoraggio del docente e la correzione ACI hanno fornito guadagni minori ma costanti.
• Copertura: RareCP ha mantenuto una copertura empirica vicina all'obiettivo (80%) sulla maggior parte dei dataset, mentre alcune baseline (ad es. KOWCPI) hanno ottenuto intervalli stretti a scapito di una sottocopertura significativa.

Significato e Limitazioni

Significato:
Il documento ipotizza che la calibrazione conformale per le serie temporali tragga vantaggio dalla modellazione separata del drift e della struttura dei regimi dei residui. RareCP fornisce un meccanismo basato sul recupero per migliorare l'efficienza degli intervalli senza sacrificare le garanzie di copertura, colmando efficacemente il divario tra la flessibilità del deep learning e il rigore della previsione conformale. È il primo metodo ad ammortizzare i parametri della regola di ponderazione conformale utilizzando una hypernetwork con distillazione docente-studente nello spazio dei parametri.

Limitazioni:

• Portata Teorica: L'analisi teorica assume un contesto pulito in cui la regola di recupero è fissata prima della calibrazione o appresa da dati distinti dai residui di calibrazione. Non risolve completamente il trade-off su campioni finiti tra l'apprendimento di una regola di recupero forte e la riserva di dati per la calibrazione.
• Drift Eterogeneo: Sebbene efficace su Bench10, la copertura è stata più debole sulla partizione più eterogenea Bench22, indicando che il drift sparsificato o improvviso rimane una sfida.
• Costo Computazionale: RareCP ha un costo di addestramento offline più elevato rispetto a baseline conformali più semplici a causa dell'addestramento delle hypernetwork e del processo di ancoraggio del docente.

Gli autori concludono che il lavoro futuro dovrebbe esplorare divisioni apprendimento-calibrazione su scale più ampie e ridurre i costi di addestramento tramite embedding in cache o recupero approssimativo, preservando al contempo il principio fondamentale di calibrare gli intervalli utilizzando residui dallo stesso regime di errore locale.