Technische Samenvatting: FlowMo-WM

Probleemstelling

Standaard actie-geconditioneerde visuele wereldmodellen gaan er vaak van uit dat toekomstige beweging primair wordt bepaald door directe controle-inputs. Echter, in realistische scenario's met aquatische oppervlaktevaartuigen en drijvende objecten wordt de toekomstige staat aanzienlijk beïnvloed door objectmomentum (traagheid) en verborgen omgevingsdrift (bijv. waterstromingen, wind) die niet direct observeerbaar zijn vanuit een enkel visueel frame.

Huidige benaderingen hebben moeite in deze settings omdat:

1. Partiële Observeerbaarheid: Een enkele afbeelding onthult de pose, maar niet de volledige staat (snelheid, momentum of stromingspatroon) die nodig is om de toekomstige evolutie te voorspellen.
2. Verborgen Dynamiek: Drift en momentum zijn latente variabelen die afgeleid moeten worden uit de geschiedenis van acties en observaties, terwijl veel bestaande modellen de controleerbare dynamiek niet expliciet scheiden van exogene omgevingsvariaties.
3. Foutaccumulatie op Lange Termijn: Kleine fouten in het schatten van verborgen momentum of drift stapelen zich in de loop van de tijd op, wat leidt tot significante onnauwkeurigheden in langetermijnplanning en -voorspelling, zelfs als kortetermijnvoorspellingen accuraat lijken.

Methodologie: FlowMo-WM

De auteurs stellen FlowMo-WM voor, een end-to-end trainbaar visueel latent wereldmodel dat ontworpen is om object-gecentreerde beweging en verborgen omgevingsdrift af te leiden zonder directe supervisie van flowvelden of snelheidssensoren.

Architectuur

Het model factoriseert de beeld-actiegeschiedenis in twee afzonderlijke temporele takken:

1. Korte Geschiedenis Staat ($z_t$): Een latente staat afgeleid van de meest recente $K_z=8$ beeld-actie paren. Deze tak vangt object-gecentreerde beweging op, inclusief pose, snelheid-achtige beweging, actuatorvertraging en recente controle-respons.
2. Lange Geschiedenis Context ($c_t$): Een latente context afgeleid van een langere, gestapelde geschiedenis (32 stappen met een stride van 4). Deze tak vat langzaam variërende exogene invloeden samen, specifelijk de verborgen omgevingsdrift die wordt afgeleid uit de geaccumuleerde discrepanties tussen de bevalen en de geobserveerde beweging.

Latente Transitie en Residuele Ontwerp

De kerninnovatie ligt in de latente transitiefunctie, die een zero-context residuele transitie gebruikt om basisdynamiek te scheiden van drifteffecten:
$$z_{t+1} = z_t + F_\theta(z_t, a_t) + R_\theta(z_t, a_t, c_t) - R_\theta(z_t, a_t, 0)$$

• $F_\theta$: Modelleert de actie-geconditioneerde basisdynamiek.
• $R_\theta$: Modelleert de context-afhankelijke drifteffecten.
• Zero-Context Subtractie: Door $R_\theta(z_t, a_t, 0)$ af te trekken, zorgt het model ervoor dat wanneer de context op nul wordt gezet, de bijdrage van de drift exact wordt verwijderd. Dit maakt zuivere ablatie-studies mogelijk waarbij de driftcomponent geïsoleerd kan worden zonder de basis transitielogica te wijzigen.

Training en Inputs

• Inputs: Het model ontvangt alleen schone top-down RGB-beelden (geconcateneerd met coördinatenkaarten) en actiegeschiedenissen. Het ontvangt geen flowvectoren, snelheidsdoelstellingen, stroomsensoren of geprivilegieerde simulatorstaten.
• Targets: Het model voorspelt toekomstige genormaliseerde poses ($x, y, \cos\theta, \sin\theta$) in plaats van toekomstige beelden te reconstrueren.
• Verliesfunctie: De training minimaliseert een 60-stappen pose-rollout verlies, gecombineerd met huidige pose-reconstructie en motion-delta verliezen.

Belangrijkste Bijdragen

1. Formulering: Een visuele wereldmodellering-formulering waarbij objectmomentum en omgevingstransport worden afgeleid uitsluitend uit beeld-actiegeschiedenis, zonder expliciete flow-labels.
2. Factorisatie: Een nieuwe korte/lange temporele factorisatie-architectuur gekoppeld aan een zero-context residuele transitie, die effectief controleerbare dynamiek scheidt van langzaam variërende omgevingsdrift.
3. Evaluatie: Uitgebreide evaluatie in door stroming beïnvloede aquatische oppervlaktevaartuig-taken, inclusief open-loop voorspelling, sampling-gebaseerde planning, predictie-tijd context-ablaties en representatie-analyse via bevroren lineaire probes.

Experimentele Resultaten

Het model werd geëvalueerd in een 2D aquatische simulator met gerandomiseerde voertuigmorfologieën (twin-thruster en driehoekige boten), fysieke parameters en tien diverse flowveld-families (bijv. uniform, vortex, shear, turbulent).

Voorspellingsnauwkeurigheid

• Prestaties op Lange Termijn: FlowMo-WM presteert aanzienlijk beter dan parameter-gematchte baselines (LeWorldModel, PlaNet/RSSM, TD-MPC2) in langetermijnvoorspelling.
  • Bij horizon 20: FlowMo-WM bereikte een positiefout van 0,151 versus 0,223 voor de dichtstbijzijnde baseline (TD-MPC2).
  • Bij horizon 60: FlowMo-WM bereikte 0,344 versus 0,426 voor de dichtstbijzijnde baseline (PlaNet/RSSM).
  • Dit vertegenwoordigt ongeveer 32% en 19% lagere positiefout, respectievelijk.
• Context Ablaties:
  • Zeroing Context: Het verwijderen van de afgeleide context ($c_t=0$) verhoogde de fouten drastisch (pos@60 steeg naar 0,840), wat bevestigt dat de context cruciaal is voor stabiliteit onder drift.
  • Shuffling Context: Het gebruik van context van een ander monster verslechterde de prestaties verder (pos@60 steeg naar 1,100), wat bewijst dat het model vertrouwt op de specifieke afgeleide context in plaats van op generieke latente capaciteit.

Planning Prestaties

• Succespercentage: In downstream planning-taken (doelen bereiken, stationair blijven, waypoints) behaalde FlowMo-WM een succespercentage van 98,5% over alle episodes, waarmee het andere geleerde wereldmodellen (91,0%–93,1%) overtrof.
• Efficiëntie: De FlowMo-WM planners vereisten minder energie en minder stappen om doelen te bereiken vergeleken met baselines, met name in uitdagende stromingscondities.
• Robuustheid: De driehoekige boot (meer geacteerd) was minder gevoelig voor stromingsvariaties dan de ondergeacteerde twin-thruster boot, maar FlowMo-WM behield hoge prestaties voor beide morfologieën.

Representatie Analyse

• Momentum Decoding: Bevroren lineaire probes toonden aan dat momentum lineair decodeerbaar is uit de gecombineerde latente staat ($R^2 = 0,667$), ondanks dat snelheid nooit een trainingsdoel was.
• Drift Encoding: Lokale flow en drift waren niet triviaal lineair decodeerbaar, wat suggereert dat de context-tak een taak-bruikbare latente code opslaat voor voorspelling in plaats van een directe fysieke vector van de stroming.

Betekenis en Claims

Het artikel claimt dat FlowMo-WM een specifieke faalmodus van actie-geconditioneerde visuele wereldmodellen aanpakt: het onvermogen om rekening te houden met verborgen momentum en omgevingsdrift.

• Beperkte Omvang: De auteurs geven expliciet aan dat de huidige experimenten beperkt zijn tot schone, top-down gerenderde observaties in een 2D-simulator. Ze erkennen dat het uitbreiden naar echte video de afhandeling van viewpoint-veranderingen, rommel, segmentatie-onzekerheid en 3D-verstoringen vereist.
• Generalisatiebeperkingen: Het model wordt niet verwacht te slagen als de omgevingsstroming de controle-autoriteit van het voertuig overstijgt of als de stromingskenmerken buiten de trainingsdistributie vallen.
• Kerninzicht: De resultaten suggereren dat voor open fysieke omgevingen, visuele wereldmodellen niet alleen de bevalen controle moeten representeren, maar ook hoe objecten blijven bewegen door traagheid en hoe onwaargenomen omgevingen hen transporteren. De afgeleide omgevingscontext is functioneel noodzakelijk voor stabiele langetermijnvoorspelling in dergelijke omgevingen.