Technische Samenvatting: Phys-JEPA

Probleemstelling

Multivariaat tijdreeksvoorspellen in fysieke systemen (bijv. energienetten, transport, meteorologie) vereist modellen die gekoppelde temporele variabelen voorspellen terwijl ze een betekenisvolle staatsevolutie behouden. Hoewel diepe voorspellingsmodellen uitblinken in het vastleggen van complexe statistische correlaties, zijn hun verborgen voorspellende toestanden vaak uitsluitend geoptimaliseerd voor nauwkeurigheid, wat resulteert in latente dynamiek die moeilijk te interpreteren is en zwak wordt beperkt door natuurkundige wetten.

Bestaande natuurkunde-geïnformeerde benaderingen leggen doorgaans alleen beperkingen op op het niveau van de gedecodeerde output (bijv. door voorspellingen te bestraffen die de behoudswetten schenden). De auteurs stellen dat dit onvoldoende is voor langetermijnvoorspellingen, omdat dit het interne latente voorspellende staat — de bron waaruit toekomstige trajecten worden gegenereerd — fysiek ongestructureerd laat. Bijgevolg kan een model plausibele kortetermijnvoorspellingen produceren, terwijl het instabiele of niet-fysische interne transities leert die fouten over de tijd accumuleren.

Methodologie: Phys-JEPA

Het artikel stelt Phys-JEPA (Physics-Informed Joint-Embedding Predictive Architecture) voor, een raamwerk dat de fysieke regularisatie verplaatst van de outputruimte naar de latente voorspellende staatruimte.

Kernarchitectuur

Phys-JEPA breidt het Joint-Embedding Predictive Architecture (JEPA) paradigma uit, dat leert om toekomstige representaties te voorspellen in plaats van ruwe observaties te reconstrueren. Het model bestaat uit:

1. Context Encoder ($E_c$): Brengt een historische tijdvenster in kaart naar een huidige latente staat $z_t$.
2. Latent Predictor ($P$): Voorspelt de toekomstige latente staat $\hat{z}_{t+H}$ direct in de representatieruimte.
3. Decoder ($D$): Brengt de voorspelde latente staat in kaart naar het toekomstige traject $\hat{x}_{t+1:t+H}$.
4. Target Encoder ($E_y$): Brengt het werkelijke toekomstige venster in kaart naar een doelrepresentatie $z^*_{t+H}$ (gebruikt met stop-gradient voor JEPA-uitlijning).

Fysica-geïnformeerde Latente Decompositie

De centrale innovatie is de decompositie van de latente staat $z_t$ in twee afzonderlijke componenten:

• Fysische Component ($z^{phy}_t$): Codeert variabelen met directe fysieke betekenis.
• Residuele Component ($z^{res}_t$): Legt onopgeloste factoren en statistische variaties vast die niet expliciet door de fysieke projectie worden gedekt.

Een lichtgewicht Physics Projector ($G$) brengt de fysische latente component in kaart naar de ruimte van geobserveerde fysieke variabelen ($q_t$).

Verliesfuncties

De trainingsdoelstelling combineert standaard voorspellingsverliezen met specifieke beperkingen op de latente fysische tak:

1. JEPA Doelstelling ($L_{JEPA}$): Stemt de voorspelde latente staat af op de doelrepresentatie om voorspellende kenmerken te leren zonder pixel-niveau reconstructie.
2. Voorspellingsverlies ($L_{forecast}$): Standaard MSE tussen gedecodeerde voorspellingen en de grondwaarheid.
3. Statische Latente Fysische Staat Verlies ($L_{state}$): Zorgt ervoor dat de fysische latente staat overeenkomt met geobserveerde fysieke variabelen op zowel het huidige als de toekomstige tijdstappen:
   $$L_{state} = \|G(z^{phy}_t) - q_t\|^2_2 + \|G(\hat{z}^{phy}_{t+H}) - q_{t+H}\|^2_2$$
4. Dynamische Latente Fysische Transitie Verlies ($L_{dyn}$): Zorgt ervoor dat de verandering in de fysische latente staat overeenkomt met de geobserveerde fysieke verandering:
   $$L_{dyn} = \|[G(\hat{z}^{phy}_{t+H}) - G(z^{phy}_t)] - [q_{t+H} - q_t]\|^2_2$$
5. Residuele Regularisatie ($L_{SIGReg}$): Toegepast op alleen de residuele component om representatie-instorting te voorkomen (het waarborgen van variantie en covariantiestructuur) zonder isotrope priors op te leggen aan de gestructureerde fysische component.

De totale loss is een gewogen som: $L = L_{forecast} + \alpha L_{JEPA} + \beta L_{SIGReg} + \lambda_s L_{state} + \lambda_d L_{dyn}$.

Belangrijkste Bijdragen

1. Latente Wereldmodel voor Fysische Voorspelling: Het artikel introduceert een methode waarbij fysieke consistentie wordt afgedwongen op de voorspellende latente staat en de transities ervan, in plaats van enkel op gedecodeerde outputs. Dit organiseert het interne wereldmodel om fysiek interpreteerbaar te zijn.
2. Fysisch–Residuele Decompositie: Een nieuwe architectuur die latente toestanden scheidt in fysische en residuele componenten, waardoor expliciete fysische supervisie mogelijk is terwijl flexibiliteit voor niet-expliciete dynamiek behouden blijft.
3. Duale Consistentiebeperkingen: De formulering maakt gebruik van zowel statische staat-uitlijning (het verankeren van staten aan variabelen) als dynamische transitie-uitlijning (het verankeren van staatveranderingen aan natuurkundige wetten), waarmee de beperkingen van het gebruik van één van beide beperkingen in isolatie worden geadresseerd.

Experimentele Resultaten

De auteurs hebben Phys-JEPA geëvalueerd op drie benchmarks: Jena Climate (meteorologisch), Electricity (netbelasting) en Traffic (wegbezetting).

• Jena Climate (Sterke Fysische Beschrijvers):
  • Phys-JEPA verminderde de geaggregeerde MSE van 0,12482 naar 0,12273 en de temperatuur MSE van 0,01892 naar 0,01831 bij horizon $H=24$.
  • Verbeteringen werden waargenomen bij de meeste thermodynamische en dampdrukvariabelen, wat de aanpak valideert wanneer variabelen een directe meteorologische betekenis hebben.
• Traffic (Zwakke Domein-beschrijvers):
  • Volledige Phys-JEPA (Statisch + Dynamisch) presteerde consistent beter dan de gesuperviseerde baseline over alle horizonten ($H=24$ tot $H=192$).
  • Bij $H=192$ verbeterde de geaggregeerde MSE van 0,800784 naar 0,773873.
• Electricity (Zwakke Domein-beschrijvers):
  • De resultaten waren horizon-afhankelijk. Alleen-statische consistentie presteerde het best bij korte horizonten ($H=24, 48$), terwijl volledige Phys-JEPA de beste resultaten behaalde bij de langste horizon ($H=192$).
  • Dit suggereert dat dynamische transitie-consistentie gunstig is voor langetermijnontwikkeling, maar restrictief kan zijn als de fysische beschrijver te grofmazig is voor kortetermijndynamiek.
• Ablatie-inzichten:
  • Output-niveau fysica (het bestraffen van gedecodeerde voorspellingen) bleek zwakker dan latente regularisatie in deze settings.
  • Latente diagnostiek (effectieve rang en covariantierang) bevestigde dat de fysische verliezen de geometrie van de latente representatie hervormen, in plaats van enkel als output-straffen te fungeren.

Betekenis en Claims

Het artikel claimt dat het verplaatsen van natuurkunde-geïnformeerd leren van de outputruimte naar de latente voorspellende staatruimte een veelbelovende route is naar interpreteerbare en fysiek consistente temporele wereldmodellen.

• Interpreteerbaarheid: Door de latente toestanden te decomponeren, leert het model representaties waarbij fysische variabelen en hun transities expliciet gestructureerd zijn.
• Stabiliteit: Het beperken van de latente transitie helpt om foutaccumulatie in langetermijnvoorspellingen te voorkomen, wat een sleutelzwakte is van puur statistische diepe voorspellers.
• Beperkingen en Toekomstig Werk: De auteurs merken bescheiden op dat de huidige resultaten steunen op experimenten met een enkele seed en "zwakke-domein" beschrijvers (die geen exacte leidende vergelijkingen zijn) voor Electricity en Traffic. Ze benadrukken dat het volledige potentieel van de methode moet worden geëvalueerd op systemen met sterkere, expliciete fysische beperkingen waar transitiewetten direct geverifieerd kunnen worden. Het werk wordt gepresenteerd als een initiële validatie van de latente-fysica formulering, eerder dan een definitieve benchmark tegen alle moderne voorspellingsarchitecturen.