Learning Transferable Predictability Representations

Sintesi Tecnica: Apprendimento di Rappresentazioni di Prevedibilità Trasferibili

Formulazione del Problema

Il paper affronta la sfida di assegnare un punteggio scalare a una breve finestra di traiettoria che rifletta la sua posizione su un continuum ordinato di regimi di prevedibilità. Mentre i metodi esistenti discriminano efficacemente tra dinamiche deterministiche e stocastiche all'interno di un singolo sistema, essi non riescono a produrre punteggi con interpretazioni numeriche coerenti tra sistemi diversi.

Gli autori formalizzano questo problema come una stima ordinale su una "scala di prevedibilità" a cinque livelli ($L_0$ a $L_4$):

1. $L_0$ (Deterministico Stabile): Punti fissi o cicli limite ($\lambda_{max} \le 0$).
2. $L_1$ (Debolmente Caotico): Deterministico con piccola instabilità positiva ($0 < \lambda_{max}\tau \ll 1$).
3. $L_2$ (Fortemente Caotico): Deterministico con rapida divergenza ($\lambda_{max}\tau \gg 0$).
4. $L_3$ (Stocastico Strutturato): Surrogati che preservano le statistiche lineari (es. spettro di potenza) ma interrompono la geometria non lineare.
5. $L_4$ (Stocastico Non Strutturato): Rumore i.i.d.

Una barriera strutturale critica identificata è la libertà di gauge: la supervisione ordinale da sola determina l'ordinamento dei punteggi, ma lascia la coordinata numerica non fissata rispetto a una riparametrizzazione monotona. Di conseguenza, i punteggi addestrati su un sistema non sono direttamente confrontabili con quelli di un altro, anche se il ranking ordinale è corretto. Il paper sostiene che il trasferimento cross-system richieda il fissaggio di questa ambiguità di coordinata, poiché gli scenari zero-shot mancano di dati del sistema target per una ricalibrazione post-hoc.

Metodologia: La Gauge-Fixed Ordinal Network (GON)

La soluzione proposta, GON, è un modello convoluzionale temporale progettato per apprendere una coordinata di punteggio condivisa tra i sistemi. Essa comprende tre componenti chiave:

1. Pre-processing 2-Jet:
   Invece di utilizzare le coordinate grezze dello stato (che portano con sé la scala e le unità specifiche del sistema), la GON opera su caratteristiche 2-jet: posizione ($x$), velocità ($\dot{x}$) e accelerazione ($\ddot{x}$). Queste caratteristiche, stimate tramite filtraggio Savitzky–Golay e differenze finite centrali, espongono la geometria locale della traiettoria. Questa rappresentazione è preservata dai flussi deterministici regolari ma interrotta dalle procedure di surrogati stocastici, rendendola ideale per distinguere la struttura deterministica dal rumore strutturato.

2. Architettura:
   Il modello utilizza una Rete Convoluzionale Temporale (TCN) con blocchi residui dilatati per codificare l'input 2-jet in una sequenza nascosta. Un pooling medio multi-scala aggrega questa in un vettore, che viene poi mappato in un punteggio scalare tramite un MLP a due strati. Gli output sono tagliati usando una funzione tangente iperbolica per allinearli al range target.

3. Obiettivo Ordinale a Gauge Fissata (Gauge-Fixed Ordinal Objective):
   Per risolvere la libertà di gauge, l'obiettivo di addestramento assegna target di ancoraggio fissi alle medie dei punteggi di ogni livello della scala: $\{t_k\} = \{-4, -2, 0, +2, +4\}$. La funzione di perdita ($\mathcal{L}$) consiste di:

   • Termine di Ancoraggio: Penalizza la deviazione delle medie dei punteggi per livello ($\mu_k$) dai loro target ($t_k$).
   • Termine di Varianza: Penalizza l'eccessiva dispersione intra-livello ($\sigma_k$), incoraggiando un raggruppamento stretto attorno agli ancoraggi.

   Questo obiettivo "ancora-e-varianza" fissa la coordinata del punteggio, garantendo che un valore numerico specifico corrisponda a un regime di prevedibilità specifico attraverso diversi sistemi.

Setup Sperimentale

• Dati di Addestramento: 12 sistemi ODE caotici dissipativi tridimensionali (es. Lorenz-63, Rössler, Chen) che coprono una gamma di geometrie di attrattore.
• Dati di Test: Cinque sistemi completamente tenuti fuori dal training (es. Thomas, Tigan, pendolo forzato) senza alcun dato utilizzato durante l'addestramento.
• Metriche di Valutazione:
  • Pendenza di Monotonicità ($\beta$): Misura la coerenza ordinale globale delle medie dei livelli.
  • $\beta$ Normalizzata per Scala ($\beta_{norm}$): Utilizzata per il confronto tra metodi.
  • Drift dell'Ancoraggio ($\delta_{anchor}$): Misura quanto strettamente le medie apprese corrispondano ai target di ancoraggio.
  • AUROC a Coppie: Valuta la discriminazione a specifici confini (es. $L_2 \to L_3$).

Risultati Chiave

1. Trasferimento Zero-Shot:

   • La GON raggiunge una pendenza di monotonicità normalizzata per scala di $\beta_{norm} = 0.559$ sui sistemi tenuti fuori, superando tutti i baseline supervisionati (che si attestano intorno a 0.46–0.48).
   • Il trasferimento è più forte al confine stocastico ($L_2 \to L_3$ e $L_3 \to L_4$), dove le procedure di surrogato interrompono la geometria non lineare. I confini del lato deterministico ($L_0 \to L_2$) mostrano una separazione più debole, suggerendo che le distinzioni caotiche fini siano più specifiche del sistema.
   • La calibrazione in-distribution è eccellente, con un mean anchor drift $\delta_{anchor} = 0.0097$.

2. Efficienza di Adattamento:

   • Partire da un checkpoint pre-addestrato di GON supera significativamente l'addestramento da zero, anche con pochissime finestre etichettate ($k=5$).
   • Il fine-tuning completo (pre_all) batte costantemente l'inizializzazione casuale, mentre il congelamento dell'encoder (pre_head) migliora la discriminazione ma fallisce nel recuperare la struttura ordinale globale ($\beta$).
   • La profondità di adattamento correla con la prossimità geometrica: i sistemi con campi vettoriali simili al set di addestramento si adattano immediatamente, mentre quelli con strutture non viste (es. forzatura sinusoidale) richiedono più dati e possono fallire nel risolvere i confini più fini.

3. Studi di Ablazione:

   • Ancoraggio vs Margine: Sostituire l'obiettivo di ancoraggio con una perdita di margine (che impone la separazione ma non le coordinate fisse) preserva la discriminazione in-distribution ma causa un aumento del drift dell'ancoraggio da 0.005 a 2.556 e riduce il $\beta$ di trasferimento del 47%. Ciò conferma che la stabilità della coordinata, non solo la coerenza ordinale, è necessaria per il trasferimento.
   • Caratteristiche 2-Jet: L'uso di caratteristiche 2-jet coerenti migliora significativamente il trasferimento ($\beta = 1.504$) rispetto agli stati grezzi ($\beta = 1.132$) o alle derivate rimescolate. Questo evidenzia l'importanza della struttura geometrica rispetto alla mera dimensionalità.

Significatività e Rivendicazioni

Il paper afferma di aver identificato il fissaggio del gauge come l'ingrediente mancante per i punteggi di prevedibilità ordinale trasferibili. Il contributo centrale è dimostrare che l'assegnazione di una coordinata numerica stabile ai livelli ordinali è una condizione necessaria per la comparabilità tra sistemi.

• Insight Teorico: Il lavoro stabilisce che la discriminazione a coppie e il punteggio ordinale globalmente coerente sono proprietà distinte; una coordinata stabile è necessaria per colmare il divario durante il trasferimento.
• Utilità Pratica: Il framework consente la valutazione della prevedibilità, la selezione del modello e le diagnosi di early-warning in sistemi naturali e ingegnerizzati senza calibrazione specifica del sistema.
• Limitazioni: Gli autori notano che il benchmark è attualmente limitato a sistemi ODE dissipativi a bassa dimensione. Estensioni a sistemi ad alta dimensione, conservativi o segnali del mondo reale rimangono un lavoro futuro. Il metodo opera su dati sintetici e non comporta dati personali o prevedibili impatti sociali negativi.

In conclusione, il paper sostiene che l'apprendimento di una coordinata di prevedibilità ordinale trasferibile tramite il fissaggio del gauge permette confronti significativi tra regimi di prevedibilità di sistemi dinamici eterogenei, una capacità precedentemente irraggiungibile con gli approveri di regressione o classificazione ordinale standard.