Technische Samenvatting: Het ontsluiten van temporele generalisatie in Hamiltonian Video Dynamics Modellen

Probleemstelling

Huidige wereldmodellen opereren voornamelijk op discrete-tijdstappen met een vaste stapgrootte die in hun architectuur is ingebakken. Hoewel deze modellen effectief zijn op hun trainingsresolutie, missen ze mechanismen om te generaliseren over variabele temporele resoluties. Deze beperking belemmert toepassingen die hiërarchische planning vereisen (grove en fijne tijdschalen), sim-to-real transfer (waar simulatie- en controlesnelheden verschillen), en wetenschappelijke engines die dynamica op meerdere tijdschalen moeten opvragen.

Hoewel Neural ODE's een continu-tijd alternatief bieden door dynamica te parametriseren als een vectorveld, missen ze vaak fysieke inductieve biases, wat leidt tot instabiliteit in langetermijn-rollouts door schendingen van behoudswetten. Hamiltonian Generative Networks (HGN) pakken dit aan door voorspellingen te funderen in een continu-tijd energiefunctie, wat theoretisch frame-rate onafhankelijkheid mogelijk maakt. In de praktijk falen HGN's echter in het handhaven van temporele generalisatie in niet-conserveerde (extern geforceerde, gedempte) omgevingen wanneer ze worden geëvalueerd bij stapgroottes die groter zijn dan die tijdens de training, de zogenaamde extrapolatie. De specifieven faalmodi en de oplossingen hiervoor in dergelijke settings zijn nog niet systematisch gekarakteriseerd.

Methodologie

De auteurs breiden de Hamiltonian Generative Network (HGN) architectuur uit om gedrag in extern geforceerde, gedempte omgevingen aan te kunnen via een Port-Hamiltonian structuur. Het model bestaat uit:

1. Encoder/Decoder: Een convolutionele encoder brengt pixelframes in kaart naar een latente fase-ruimte toestand $(q, p)$ (positie en impuls). Een decoder reconstrueert afbeeldingen vanuit de positiecoördinaten $q$.
2. Port-Hamiltonian Predictor: De dynamica wordt beheerst door de vergelijkingen:
   $$\dot{q} = \frac{\partial H}{\partial p}, \quad \dot{p} = -\frac{\partial H}{\partial q} - \gamma \frac{\partial H}{\partial p} + G(a)$$
   Waarbij $H(q, p)$ een geleerde scheidbare Hamiltonian is, $\gamma$ een geleerde dempingscoëfficiënt is, en $G(a)$ een geleerde actie-kracht kaart is.
3. Integrator: Er wordt een gemodificeerde symplectische leapfrog integrator gebruikt, die demping en forcering symmetrisch in momentum half-stappen vouwt.

Om te diagnosticeren waarom generalisatie faalt bij grotere stapgroottes (extrapolatie), introduceren de auteurs een inference-time substepping protocol. Dit houdt in dat een enkele evaluatiestap $\Delta t$ wordt opgesplitst in $N$ kleinere integratiestappen ($\Delta t/N$), waarbij de totale actie-impuls behouden blijft. Dit stelt de auteurs in staat om onderscheid te maken tussen representatieve fouten (het leren van een slecht continu vectorveld) en numerieke fouten (truncatiefout door onder-opgeloste integratie).

Belangrijkste Bijdragen en Faalanalyse

De paper identificeert twee duidelijke faalmodi die optreden wanneer HGN's worden gerold bij stapgroottes die de trainingsregime overschrijden, samen met gerichte oplossingen voor elk:

1. Latente Magnitude Groei (Energie-explosie)

• Oorzaak: In ongecontroleerde settings is de actie-kracht kaart $G(a)$ niet begrensd. Bij grote stapgroottes schiet de numerieke solver door, en de ongecontroleerde krachtkaart injecteert energie langs instabiele faseruimte-richtingen. Dit leidt tot exponentiële groei in de latente magnitude en hoogfrequente artefacten in de gedecodeerde video.
• Oplossing: De auteurs passen spectrale normalisatie toe op de actie-kracht kaart $G(a)$, waardoor de norm ervan wordt begrensd tot 1. Dit beperkt de energie-injectie per stap, wat amplitude-explosie over het geteste bereik van stapgroottes voorkomt.

2. Fase Drift Accumulatie (Temporele Misalignement)

• Oorzaak: Zelfs wanneer de energie-explosie wordt beperkt, driften voorspellingen bij grote stapgroottes uit de fase met de grondwaarheid. Dit manifesteert zich als globale truncatiefout-accumulatie door een onder-opgeloste integrator, in plaats van een falen van de geleerde Hamiltonian representatie zelf.
• Oplossing: De auteurs maken gebruik van inference-time substepping. Door het aantal integratiestappen $N$ binnen een enkel observatie-interval te verhogen, wordt de effectieve integratiestapgrootte verkleind. Wanneer de effectieve stapgrootte de trainingsschaal benadert, wordt de fase-drift geëlimineerd en wordt de temporele uitlijning hersteld.

Resultaten

De auteurs evalueren hun "bounded port-HGN" op een gedempte, geforceerde massa-veer oscillator gerenderd als 64x64 RGB-video. Het model wordt getraind bij een stapgrootte van $\Delta t = 0.4$ en geëvalueerd bij diverse stapgroottes variërend van 0.05 tot 1.5.

• Interpolatie: Het model generaliseert succesvol naar stapgroottes kleiner dan de training ($\Delta t < 0.4$) dankzij de inherente eigenschappen van de symplectische integrator, die elke doelstap zonder hertraining verfijnt.
• Extrapolatie:
  • Zonder de aanpassingen faalt het baseline model bij $\Delta t > 0.4$ door zowel amplitude-explosie als fase-drift.
  • Het toepassen van spectrale normalisatie elimineert de amplitude-explosie, maar laat de fase-drift intact.
  • Het toepassen van substepping (bijv. $N=4$) op het spectraal genormaliseerde model herstelt hoogwaardige voorspellingen (gemeten via MAE, PSNR, SSIM en LPIPS), zelfs bij stapgroottes die aanzienlijk groter zijn dan de training (bijv. $\Delta t = 1.5$).
  • De resultaten tonen aan dat het geleerde vectorveld geldig is; het falen was puur numeriek, voortkomend uit de mismatch tussen de integratiestapgrootte en de stabiliteitseisen van de solver.

Betekenis en Claims

De paper claimt dat het onvermogen van Hamiltonian video-modellen om te generaliseren naar variabele temporele resoluties geen fundamentele beperking is van de geleerde continu-tijd representatie, maar een gevolg van specifieke numerieke instabiliteiten in niet-conserveerde settings.

Door spectrale normalisatie van de forcering te combineren met inference-time substepping, demonstreren de auteurs dat een enkel model dat getraind is op één frame-rate, stabiel dynamica kan voorspellen bij zowel fijnere als grovere temporele resoluties. Dit biedt een praktisch recept om temporele generalisatie mogelijk te maken in continu-tijd video-generatie, waardoor deze modellen op willekeurige frame-rates bevraagd kunnen worden zonder hertraining. Het werk benadrukt dat voor een succesvolle inzetbaarheid in hiërarchische planning of sim-to-real transfer, men zowel de energie-injectie beperkingen als de numerieke resolutie van de integrator moet adresseren.