eCP: Equivariant Conformal Prediction with pre-trained models

1. Il Problema

La Predizione Conformale (CP) è un metodo post-hoc (dopo l'addestramento), privo di assunzioni sulla distribuzione dei dati, che fornisce garanzie formali di copertura per la quantificazione dell'incertezza in modelli di machine learning. Tuttavia, presenta un limite critico noto come inefficienza:

• In scenari a lungo termine (long-horizon), come la previsione di traiettorie, le regioni di incertezza (insiemi di predizione) tendono a diventare eccessivamente grandi.
• Questo rende le garanzie statistiche poco informative per la pianificazione e il controllo, specialmente a livelli di confidenza elevati.
• I metodi standard trattano ogni campione di dati in isolamento, ignorando le strutture di simmetria geometrica (es. traslazioni, rotazioni, riflessioni) spesso presenti nei dati reali e sfruttate implicitamente o esplicitamente durante l'addestramento dei modelli. Di conseguenza, trasformazioni simmetriche dello stesso input possono ricevere punteggi di "non-conformità" diversi, aumentando la variabilità inutile.

2. Metodologia: eCP (Equivariant Conformal Prediction)

Gli autori propongono eCP, una procedura post-hoc generale che infonde informazioni geometriche nella CP senza richiedere il ri-addestramento del modello o modifiche architetturali.

Concetti Chiave:

• Gruppi di Simmetria: Si assume l'esistenza di un gruppo di simmetria $G$ (es. rotazioni piane) che agisce sullo spazio degli input e delle etichette.
• Simmetrizzazione del Punteggio di Non-Conformità: Invece di calcolare il punteggio di non-conformità $s(f(x), y)$ su un singolo input, eCP calcola la media del punteggio su tutto l'orbita del gruppo generata dall'input.
  • Per un modello pre-addestrato $f_\theta$, si definisce un predittore equivariante "proiettato" $f^G_\theta$ tramite media di gruppo:
    $$f^G_\theta(x) = \mathbb{E}_{g \sim G} [\psi_g \circ f_\theta \circ \phi_{g^{-1}}(x)]$$
  • Il punteggio di non-conformità simmetrizzato è la media dei punteggi ottenuti applicando le trasformazioni del gruppo all'input e all'output.
• Algoritmo:
  1. Si prende un modello pre-addestrato $f_\theta$.
  2. Per ogni campione di calibrazione, si calcola il punteggio di non-conformità medio sull'orbita del gruppo (mediante integrazione esatta per gruppi finiti o campionamento Monte Carlo per gruppi continui come $SO(2)$).
  3. Si costruisce l'insieme di predizione utilizzando il quantile di questi punteggi simmetrizzati.

Fondamenti Teorici:

• Validità: Il metodo mantiene le garanzie di copertura finite-sample (validità) sotto l'assunzione di scambiabilità rispetto al gruppo di simmetria ($G$-exchangeability).
• Contrazione della Distribuzione: Il contributo teorico principale è la dimostrazione che i punteggi di non-conformità simmetrizzati sono contratti nell'ordine convesso crescente ($\preceq_{icx}$) rispetto ai punteggi originali.
  • Questo implica che la distribuzione dei punteggi ha code più leggere (miglior comportamento esponenziale) e una varianza ridotta.
  • Di conseguenza, i quantili di calibrazione (che determinano la dimensione dell'insieme di predizione) si contraggono in valore atteso, portando a insiemi di predizione più stretti.

3. Contributi Principali

1. Proposta di eCP: Un metodo post-hoc che integra le simmetrie di gruppo nella predizione conformale tramite simmetrizzazione dei punteggi, applicabile a qualsiasi modello pre-addestrato.
2. Analisi Teorica Rigorosa: Dimostrazione che la media di gruppo contrae i punteggi di non-conformità nell'ordine convesso crescente, garantendo migliori limiti di coda esponenziale (Chernoff, Hoeffding) e una contrazione dei quantili attesi.
3. Validazione Empirica: Dimostrazione che eCP riduce significativamente l'incertezza in compiti di previsione di traiettorie a lungo termine, mantenendo le garanzie di copertura formali, specialmente a livelli di confidenza elevati dove la CP standard è troppo conservativa.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sulla previsione di traiettorie di pedoni (dataset ETH-UCY, Stanford Drone Dataset, SportVU NBA), un dominio caratterizzato da forti simmetrie geometriche e accumulo di incertezza.

• Modelli Testati: SocialVAE (modello stocastico) e TUTR (predittore deterministico basato su Transformer). Nessun ri-addestramento è stato effettuato.
• Gruppi di Simmetria: Sono stati testati gruppi di rotazione piana di crescente ricchezza: $C_4$ (rotazioni discrete di 90°), $C_8$ e $SO(2)$ (rotazioni continue).
• Metriche:
  • Quantile di Calibrazione ($Q_{0.05}$): Misura la dimensione dell'insieme di predizione al 95% di confidenza (più basso è meglio).
  • Copertura Empirica (Cov95%): Percentuale di traiettorie reali contenute nell'insieme (target: 95%).
• Risultati Chiave:
  • Riduzione dell'Incertezza: eCP riduce il quantile di calibrazione di circa il 28% in media rispetto alla CP standard, mantenendo la copertura vicina al 95%.
  • Effetto del Gruppo: Le prestazioni migliorano all'aumentare della ricchezza del gruppo di simmetria ($SO(2) > C_8 > C_4$).
  • Robustezza: I benefici sono consistenti sia per modelli stocastici che deterministici.
  • Livelli di Confidenza: I guadagni sono massimi a livelli di confidenza molto elevati (es. 99%), dove la CP standard produce regioni di incertezza enormi e inutilizzabili.

5. Significato e Implicazioni

Il lavoro di eCP colma il divario tra l'induzione geometrica (simmetrie note nel problema) e la quantificazione dell'incertezza post-hoc.

• Efficienza senza Costo di Addestramento: Permette di ottenere insiemi di predizione più informativi e compatti senza dover ri-addestrare modelli complessi o progettare architetture equivarianti specifiche.
• Sicurezza nella Robotica: In contesti di pianificazione sicura (es. veicoli autonomi, robotica), regioni di incertezza più strette permettono manovre più aggressive e sicure, riducendo la conservatività eccessiva senza sacrificare le garanzie di sicurezza formali.
• Generalità: Il metodo è applicabile a qualsiasi modello pre-addestrato che mostri, anche solo approssimativamente, simmetrie indotte dai dati o dall'architettura.

In sintesi, eCP dimostra che sfruttare esplicitamente le simmetrie geometriche presenti nei dati può trasformare la quantificazione dell'incertezza da uno strumento puramente conservativo a uno strumento pratico e ad alta efficienza per sistemi autonomi.