Sintesi Tecnica: Soglia Sensibile alla Rilevanza nella Conformal Prediction Online per Serie Temporali

Definizione del Problema

Le applicazioni di machine learning in domini sensibili (salute, finanza, ecc.) richiedono sempre più una robusta quantificazione dell'incertezza. Sebbene la Conformal Prediction (CP) offra garanzie di copertura indipendenti dalla distribuzione, la sua formulazione classica si basa sull'assunto di scambiabilità dei dati, che è frequentemente violato nelle serie temporali a causa di shift di distribuzione.

Per affrontare questo problema, sono stati sviluppati metodi di Online Conformal Prediction (OCP) che aggiornano dinamicamente gli intervalli di previsione basandosi sugli errori osservati. Tuttavia, gli esistenti metodi OCP all'avanguardia (come PID ed ECI) tipicamente si affidano a una valutazione binaria delle prestazioni di previsione: se la verità di base (ground truth) cade all'interno o all'esterno dell'intervallo di previsione. Questo approccio binario scarta informazioni preziose riguardanti l'entità dell'errore quando la verità di base è fuori dall'intervallo, o il grado di sicurezza quando è all'interno. Di conseguenza, questi metodi possono produrre intervalli di previsione eccessivamente conservativi (ampi) o soffrire di aggiustamenti della soglia troppo bruschi, portando a output poco informativi.

Metodologia

Il documento propone un framework di Soglia Sensibile alla Rilevanza (Relevance-Aware Thresholding) che sostituisce l'indicatore binario di errore con una funzione continua che quantifica la "rilevanza" di un intervallo di previsione.

Concetto Core

Invece della funzione indicatrice $1\{Y_t \notin \hat{C}_t\}$, gli autori introducono una famiglia di funzioni personalizzabili, $f_{\omega, v, \mu_t}(s_t - q_t)$, che mappano la distanza tra la verità di base ($Y_t$) e i limiti di previsione in un valore compreso in $[0, 1]$.

• Input: La quantità $s_t - q_t$, dove $s_t$ è il punteggio di non conformità (distanza dalla previsione alla verità di base) e $q_t$ è l'attuale soglia.
• Comportamento:
  • Se la verità di base è molto al di fuori dell'intervallo ($s_t - q_t \gg 0$), la funzione si avvicina a 1, segnalando la necessità di aumentare significativamente la soglia per il passo successivo.
  • Se la verità di base è molto all'interno dell'intervallo ($s_t - q_t \ll 0$), la funzione si avvicina a 0, segnalando che la soglia può essere diminuita per stringere l'intervallo.
  • Se la verità di base è vicino al confine, la funzione transita fluidamente attorno al livello di mancata copertura target $\alpha$.

Design della Funzione

La famiglia di funzioni proposta è definita come:
$$f_{\omega,v,\mu_t}(s_t - q_t) = \sum_{i=1}^l \omega_i \cdot \sigma\left( \frac{v_i}{\mu_t} \cdot (s_t - q_t) - \ln\left(\frac{1-\alpha}{\alpha}\right) \right)$$
dove:

• $\sigma$ è la funzione sigmoide.
• $\mu_t$ è un fattore di scala dinamico (media degli errori assoluti recenti) che garantisce l'indipendenza dalla scala.
• $\omega$ e $v$ sono parametri che permettono ai Decision Maker (DM) di regolare la forma della funzione (ad esempio, creando plateau per specifici range di errore) in base all'esperienza nel dominio.

Integrazione in OCP

Gli autori integrano queste funzioni in due algoritmi OCP prominenti:

1. PID (Proportional-Integral-Derivative): L'indicatore binario nella regola di aggiornamento è sostituito dalla funzione di rilevanza in varie configurazioni (sostituzione completa, saturazione solo, o solo termine di errore).
2. ECI (Error-Correcting Inference): Il termine di smoothing che coinvolge il gradiente di una funzione viene modificato per utilizzare il gradiente della proposta funzione di rilevanza.

L'analisi teorica (Teoremi 1–3) dimostra che, sotto specifiche condizioni riguardanti le funzioni di saturazione e i tassi di apprendimento, questi aggiornamenti preservano la garanzia di copertura a lungo termine (validità).

Contributi Chiave

1. Framework Sensibile alla Rilevanza: Introduzione di un approccio generale per sfruttare la distanza tra la verità di base e i limiti dell'intervallo, andando oltre il monitoraggio binario dell'errore in OCP.
2. Famiglia di Funzioni Personalizzabili: Un insieme di funzioni parametrizzate che consentono ai DM di adattare il meccanismo di penalità/ricompensa per gli errori di previsione, accogliendo vincoli di dominio e preferenze specifiche.
3. Miglioramenti Algoritmici: Modifica di metodi OCP all'avanguardia (PID ed ECI) per incorporare queste funzioni, con prove teoriche che garantiscono il mantenimento della validità (copertura).
4. Validazione Empirica: Dimostrazione che i metodi modificati raggiungono intervalli di previsione più stretti (migliore efficienza) mantenendo o migliorando la validità della copertura rispetto ai metodi originali.

Risultati Sperimentali

Gli autori hanno valutato i metodi PID ed ECI modificati su dataset reali: prezzi azionari di Amazon, Google e Microsoft, e dati di temperatura di Delhi.

• Risultati PID: Sul dataset Amazon, il PID modificato ha ridotto la larghezza media dell'intervallo da 32,42 a 29,36 (regressore AR) mantenendo la copertura del 90%. Sui dati azionari di Google, il PID modificato ha ridotto significativamente la larghezza media (ad esempio, da 43,75 a 34,96 per AR) mantenendo la copertura.
• Risultati ECI: Il metodo ECI originale ha faticato a raggiungere il target di copertura del 90% nella configurazione sperimentale degli autori (raggiungendo circa il 78-83%). L'ECI modificato ha raggiunto con successo il target del 90% su tutti i dataset. Sebbene l'ECI modificato abbia prodotto intervalli leggermente più ampi dell'originale in alcuni casi, l'intervallo più stretto del metodo originale era considerato inaffidabile a causa della sottocopertura. In confronto diretto con i risultati riportati nel paper originale di ECI, il metodo modificato ha mostrato prestazioni competitive o superiori, in particolare sul dataset della temperatura dove ha superato l'originale in tutte le metriche.
• Stabilità: L'uso delle funzioni di rilevanza ha portato ad aggiustamenti della soglia più fluidi, prevenendo i cambiamenti bruschi spesso visti nei metodi di aggiornamento binario.

Significato e Rivendicazioni

Il paper sostiene che, passando da una visione dell'errore binaria a una visiona basata sulla rilevanza, i metodi OCP possono produrre intervalli di previsione più informativi (più stretti) senza sacrificare il requisito critico della validità della copertura. Ciò è particolarmente significativo per le applicazioni di serie temporali dove gli shift di distribuzione sono comuni e i decisori richiedono una quantificazione dell'incertezza robusta.

Gli autori sottolineano che questo lavoro contribuisce allo sviluppo di un'IA affidabile per applicazioni sensibili. Notano che l'approccio consente l'incorporazione delle preferenze del Decision Maker attraverso la parametrizzazione delle funzioni di rilevanza, colmando il divario tra garanzie statistiche e necessità pratiche del processo decisionale. Il paper conclude con modestia, suggerendo che il lavoro futuro dovrebbe concentrarsi sull'ottimizzazione degli iperparametri e sull'investigazione ulteriore dell'impatto del parametro di scala $\mu_t$.