Sintesi Tecnica: Phys-JEPA

Problematica

La previsione di serie temporali multivariate in sistemi fisici (ad esempio, reti energetiche, trasporti, meteorologia) richiede modelli in grado di prevedere variabili temporali accoppiate preservando al contempo un'evoluzione significativa degli stati. Sebbene i modelli di previsione deep eccellano nel catturare complesse correlazioni statistiche, i loro stati predittivi latenti sono spesso ottimizzati esclusivamente per l'accuratezza, risultando in dinamiche latenti difficili da interpretare e debolmente vincolate dalle leggi fisiche.

Gli approoli basati sulla fisica esistenti impongono tipicamente vincoli solo al livello del decodificatore di output (ad esempio, penalizzando le previsioni che violano le leggi di conservazione). Gli autori sostengono che questo sia insufficiente per la previsione a lungo orizzonte perché lascia lo stato predittivo latente — la fonte da cui vengono generate le traiettorie future — fisicamente non strutturato. Di conseguenza, un modello può produrre previsioni a breve termine plausibili, ma apprendere transizioni interne instabili o non fisiche che accumulano errore nel tempo.

Metodologia: Phys-JEPA

Il documento propone Phys-JEPA (Physics-Informed Joint-Embedding Predictive Architecture), un framework che sposta la regolarizzazione fisica dallo spazio di output allo spazio dello stato predittivo latente.

Architettura Core

Phys-JEPA estende il paradigma della Joint-Embedding Predictive Architecture (JEPA), che apprende a prevedere rappresentazioni future piuttosto che ricostruire osservazioni grezze. Il modello è composto da:

1. Encoder di Contesto ($E_c$): Mappa una finestra temporale storica in uno stato latente corrente $z_t$.
2. Predittore Latente ($P$): Prevede il futuro stato latente $\hat{z}_{t+H}$ direttamente nello spazio delle rappresentazioni.
3. Decodificatore ($D$): Mappa lo stato latente predetto nella traiettoria futura $\hat{x}_{t+1:t+H}$.
4. Target Encoder ($E_y$): Mappa la finestra futura effettiva nella rappresentazione target $z^*_{t+H}$ (utilizzata con stop-gradient per l'allineamento JEPA).

Decomposizione Fisica del Latente

L'innovazione centrale è la decomposizione dello stato latente $z_t$ in due componenti distinte:

• Componente Fisica ($z^{phy}_t$): Codifica variabili con significato fisico diretto.
• Componente Residua ($z^{res}_t$): Cattura fattori non risolti e variazioni statistiche non esplicitamente coperte dalla proiezione fisica.

Un leggero Proiettore Fisico ($G$) mappa la componente latente fisica nello spazio delle variabili fisiche osservate ($q_t$).

Funzioni di Perdita (Loss)

L'obiettivo di addestramento combina le perdite di previsione standard con vincoli specifici sulla branca fisica latente:

1. Obiettivo JEPA ($L_{JEPA}$): Allinea lo stato latente predetto con la rappresentazione latente target per apprendere caratteristiche predittive senza la ricostruzione a livello di pixel.
2. Perdita di Previsione ($L_{forecast}$): MSE standard tra le previsioni decodificate e la verità di base (ground truth).
3. Perdita di Stato Fisico Latente Statico ($L_{state}$): Assicura che lo stato fisico latente corrisponda alle variabili fisiche osservate sia al tempo corrente che a quello futuro:
   $$L_{state} = \|G(z^{phy}_t) - q_t\|^2_2 + \|G(\hat{z}^{phy}_{t+H}) - q_{t+H}\|^2_2$$
4. Perdita di Transizione Fisica Latente Dinamica ($L_{dyn}$): Assicura che il cambiamento nello stato fisico latente corrisponda al cambiamento fisico osservato:
   $$L_{dyn} = \|[G(\hat{z}^{phy}_{t+H}) - G(z^{phy}_t)] - [q_{t+H} - q_t]\|^2_2$$
5. Regolarizzazione Residua ($L_{SIGReg}$): Applicata solo alla componente residua per prevenire il collasso della rappresentazione (assicurando la struttura di varianza e covarianza) senza imporre prior isotropici sulla componente fisica strutturata.

La perdita totale è una somma pesata: $L = L_{forecast} + \alpha L_{JE_PA} + \beta L_{SIGReg} + \lambda_s L_{state} + \lambda_d L_{dyn}$.

Contributi Chiave

1. Modello del Mondo Latente per la Previsione Fisica: Il documento introduce un metodo in cui la coerenza fisica è imposta sullo stato predittivo latente e sulle sue transizioni, piuttosto che solo sugli output decodificati. Questo organizza il modello del mondo interno affinché sia fisicamente interpretabile.
2. Decomposizione Fisico-Residua: Un'architettura innovativa che separa gli stati latenti in componenti fisiche e residue, permettendo una supervisione fisica esplicita pur preservando la flessibilità per le dinamiche non esplicite.
3. Vincoli di Doppia Coerenza: La formulazione utilizza sia l'allineamento dello stato statico (ancoraggio degli stati alle variabili) che l'allineamento della transizione dinamica (ancoraggio dei cambiamenti di stato alle leggi fisiche), affrontando i limiti dell'uso di uno solo di questi vincoli in isolamento.

Risultati Sperimentali

Gli autori hanno valutato Phys-JEPA su tre benchmark: Jena Climate (meteorologico), Electricity (carico di rete) e Traffic (occupazione stradale).

• Jena Climate (Descrittori Fisici Forti):
  • Phys-JEPA ha ridotto l'MSE aggregato da 0.12482 a 0.12273 e l'MSE della temperatura da 0.01892 a 0.01831 all'orizzonte $H=24$.
  • Miglioramenti sono stati osservati nella maggior parte delle variabili termodinamiche e della pressione del vapore, validando l'approccio quando le variabili hanno un significato meteorologico diretto.
• Traffic (Descrittori di Dominio Deboli):
  • Il modello Phys-JEPA completo (Statico + Dinamico) ha superato costantemente il baseline supervisionato in tutti gli orizzonti ($H=24$ a $H=192$).
  • All'orizzonte $H=192$, l'MSE aggregato è migliorato da 0.800784 a 0.773873.
• Electricity (Descrittori di Dominio Deboli):
  • I risultati dipendevano dall'orizzonte. La coerenza solo statica ha performato meglio agli orizzonti brevi ($H=24, 48$), mentre il Phys-JEPA completo ha ottenuto i risultati migliori all'orizzonte più lungo ($H=192$).
  • Ciò suggerisce che la coerenza della transizione dinamica è benefica per l'evoluzione a lungo raggio, ma può essere restrittiva se il descrittore fisico è troppo grossolano per le dinamiche a breve termine.
• Approfondimenti dall'Ablation Study:
  • La fisica a livello di output (penalizzazione delle previsioni decodificate) è risultata meno efficace rispetto alla regolarizzazione latente in questi contesti.
  • Le diagnostiche latenti (rank effettivo e rank della covarianza) hanno confermato che le perdite fisiche rimodellano la geometria della rappresentazione latente piuttosto che agire come meri penalizzatori di output.

Significato e Rivendicazioni

Il paper sostiene che spostare l'apprendimento informato dalla fisica dallo spazio di output allo spazio dello stato predittivo latente sia una strada promettente verso modelli del mondo temporali interpretabili e fisicamente coerenti.

• Interpretabilità: Attraverso la decomposizione degli stati latenti, il modello apprende rappresentazioni in cui le variabili fisiche e le loro transizioni sono esplicitamente strutturate.
• Stabilità: Vincolare la transizione latente aiuta a prevenire l'accumulo di errore nella previsione a lungo orizzonte, affrontando una debolezza chiave dei modelli statistici deep puri.
• Limitazioni e Lavori Futuri: Gli autori notano con modestia che i risultati attuali si basano su esperimenti con singolo seed e su descrittori "di dominio debole" per Electricity e Traffic (che non sono equazioni governanti esatte). Essi sottolineano che il pieno potenziale del metodo dovrebbe essere valutato su sistemi con vincoli fisici espliciti più forti, dove le leggi di transizione possono essere direttamente verificate. Il lavoro è presentato come una validazione iniziale della formulazione della fisica latente piuttosto che come un benchmark definitivo contro tutte le moderne architetture di previsione.