Conformal Prediction for Hierarchical Data

Sintesi Tecnica: Predizione Conformale per Dati Gerarchici

Enunciazione del Problema
Il lavoro affronta la sfida di costruire regioni di predizione valide per dati multivariati che presentano una struttura gerarchica, dove certi componenti sono combinazioni lineari di altri (ad esempio, somme regionali che si aggregano in totali nazionali). Sebbene la predizione conformale (CP) standard offra garanzie di copertura per campioni finiti per dati multivariati, essa spesso ignora i vincoli strutturali intrinseci ai dati gerarchici. Al contrario, le tecniche di riconciliazione delle previsioni sfruttano questi vincoli lineari per migliorare la coerenza delle previsioni puntuali, ma hanno storicamente faticato a estendere questi benefici alla previsione probabilistica con una quantificazione rigorosa dell'incertezza. Il problema centrale consiste nel combinare queste due procedure post-hoc per produrre regioni di predizione che siano sia statisticamente valide (garantendo la copertura) sia efficienti (minimizzando la dimensione della regione), rispettando al contempo i vincoli di coerenza gerarchica.

Metodologia
Gli autori propongono un framework che integra la Predizione Conformale Split (SCP) con la Riconciliazione delle Previsioni tramite un passo di proiezione. La metodologia opera sotto un'assunzione di i.i.d. per i dati e i punteggi di non conformità, introducendo specifiche assunzioni distribuzionali per l'analisi dell'efficienza.

1. Contesto Gerarchico: I dati $y \in \mathbb{R}^m$ soddisfano $y = H y_{1:n}$, dove $H$ è una matrice strutturale nota che mappa i livelli più disaggregati ($n$) ai livelli aggregati ($m$). I vettori che soddisfano $u = H u_{1:n}$ sono definiti "coerenti".
2. Due Obiettivi di Copertura:
   • Copertura Congiunta: Garantire che il vettore vero $y_{T+1}$ cada all'interno di un insieme di predizione multivariato $C(x_{T+1})$ con probabilità $1-\alpha$.
   • Copertura Componente-per-Componente: Garantire che ogni singolo componente $y_{T+1,i}$ cada all'interno del suo intervallo specifico $C_i(x_{T+1})$ con probabilità $1-\alpha$. Questo è identificato come un obiettivo più naturale per dati gerarchici, dove i componenti sono spesso analizzati individualmente.
3. Procedura Proposta (SCP Riconciliata):
   • Per la Copertura Congiunta: Gli autori adattano l'approccio ellissoidale SCP (Johnstone & Cox, 2021; Messoudi et al., 2022). Introducono una matrice di proiezione $P_A$ (ortogonale nella norma $A$) sullo spazio coerente $\text{Im}(H)$. Il regressore è modificato in $\hat{\mu} = P_A \hat{\mu}_{base}$, e i punteggi di non conformità sono calcolati basandosi sulla distanza tra le osservazioni e queste previsioni proiettate.
   • Per la Copertura Componente-per-Componente: Gli autori utilizzano punteggi di non conformità con segno ($s_t = y_t - \hat{\mu}_t$). A differenza dei residui assoluti, i residui con segno preservano la proprietà di coerenza lineare ($s_t = P s_t$ se $\hat{\mu}_t$ è proiettato). La procedura applica la SCP componente-per-componente a questi punteggi con segno dopo aver proiettato le previsioni di base sullo spazio coerente.
4. Analisi dell'Efficienza:
   • L'efficienza teorica è analizzata sotto l'assunzione che i residui seguano una distribuzione ellittica.
   • Per un vettore di pesi $w$ fisso, gli autori dimostrano che proiettare le previsioni utilizzando una specifica matrice $P_w$ (derivata da $H$ e $w$) riduce la somma attesa delle lunghezze al quadrato degli intervalli rispetto alle previsioni non proiettate.
   • Viene derivato un risultato "oracolo" più forte assumendo che la matrice di covarianza $\Sigma$ dei punteggi sia nota. Utilizzando la proiezione Minima Traccia (MinT) ($P_{\Sigma^{-1}}$), il metodo ottiene miglioramenti uniformi di efficienza rispetto a qualsiasi altra matrice di proiezione.

Contributi Chiave

1. Sintesi Innovativa: Questo lavoro è il primo a combinare formalmente la predizione conformale e la riconciliazione delle previsioni per costruire regioni di predizione valide ed efficienti per dati gerarchici.
2. Garanzie di Copertura Componente-per-Componente: Il lavoro introduce e analizza un criterio di copertura componente-per-componente, che è più rilevante per le applicazioni gerarchiche rispetto alla copertura congiunta. Dimostra che la SCP riconciliata proposta (Algoritmo 5) mantiene queste garanzie.
3. Dimostrazioni di Efficienza:
   • Copertura Congiunta: Gli autori dimostrano che le regioni di predizione ellissoidali riconciliate sono uniformemente più piccole (in misura di Lebesgue) rispetto alle regioni ellissoidali standard, a condizione che la matrice di proiezione sia scelta correttamente.
   • Copertura Componente-per-Componente: Sotto assunzioni di distribuzione ellittica, il lavoro stabilisce che gli intervalli di predizione riconciliati sono più efficienti (lunghezze attese al quadrato minori) rispetto agli intervalli standard componente-per-componente. Ciò è ottenuto collegando la minimizzazione delle lunghezze degli intervalli ai problemi di minimizzazione della traccia centrali nella letteratura sulla riconciliazione delle previsioni (in particolare, l'approccio MinT).
4. Innovazione Tecnica: Gli autori colmano il divario tra i due campi utilizzando punteggi di non conformità con segno per gestire la mancanza di assunzioni di non distorsione tipicamente richieste nella riconciliazione delle previsioni, sfruttando al contempo le disuguaglianze di traccia per dimostrare guadagni di efficienza nel contesto conformale.

Risultati
I risultati teorici sono validati attraverso esperimenti estesi su dati gerarchici sintetici con complessità variabili (fino a 1.801 nodi).

• Copertura: Tutti gli algoritmi proposti raggiungono con successo i livelli di copertura target (90%) sia per gli obiettivi congiunti che per quelli componente-per-componente in tutte le configurazioni.
• Efficienza (Congiunta): Il metodo ellissoidale riconciliato (Algoritmo 2) produce costantemente volumi di predizione più piccoli rispetto alla linea di base (Algoritmo 1).
• Efficienza (Componente-per-Componente):
  • La strategia di riconciliazione Minimi Quadrati Ponderati (WLS) (utilizzando stime di covarianza diagonali) supera costantemente la linea di base (Diretta) e altri metodi (OLS, Combi), riducendo le lunghezze totali degli intervalli dal 15% al 65%.
  • La strategia MinT (utilizzando la matrice di covarianza completa) performa meglio per gerarchie piccole ma diventa inaffidabile per gerarchie grandi (Configurazioni 5 e 6) a causa di potenziali problemi di singolarità nella stima della matrice di covarianza.
  • I metodi Combi e OLS mostrano prestazioni miste, con OLS che è robusto ma meno efficiente di WLS.

Significato e Affermazioni
Il lavoro afferma di fornire una base teorica per migliorare la quantificazione dell'incertezza in contesti gerarchici. Dimostrando che i vincoli strutturali possono essere sfruttati post-hoc per ridurre le regioni di predizione senza sacrificare la copertura, il lavoro offre un'alternativa pratica alla modellazione gerarchica computazionalmente costosa durante la fase di addestramento.

Gli autori sono modesti riguardo alla portata delle loro garanzie teoriche, notando che l'analisi si basa su un framework i.i.d. e su assunzioni di distribuzione ellittica. Affermano esplicitamente che le serie temporali gerarchiche reali spesso violano l'assunzione di i.i.d. sui punteggi di non conformità. Di conseguenza, il lavoro posiziona i suoi risultati come un passo fondazionale, suggerendo che il lavoro futuro dovrebbe estendere questi principi a dati non scambiabili (ad esempio, tramite inferenza conformale adattiva) e gerarchie dinamiche. Il significato principale risiede nell'istituire che la "riconciliazione" non è solo uno strumento per le previsioni puntuali, ma un meccanismo valido per migliorare l'efficienza degli insiemi di predizione privi di distribuzione.