Technische Samenvatting: Het begrijpen en mitigeren van de Video-Actie Generalisatiekloof via de Temporele Ratio

1. Probleemstelling

Generatieve video-fundamentmodellen (VFM's) bezitten sterke compositorische priors afgeleid van internet-schaal data, wat hen in staat stelt om temporele coherentie, objectinteracties en fysieke plausibiliteit te begrijpen. Echter, wanneer deze modellen worden aangepast voor robotische controle als World-Action Models (WAM's) of Video-Action Models (VAM's), verliezen ze vaak deze compositorische generalisatievaardigheden na het finetunen op robotische actiedata. De auteurs noemen deze discrepantie de Video-Action Generalization (VAG) gap.

Bestaande policies falen vaak bij compositorische generalisatie (bijv. het recombineren van geziene objecten en receptakels in ongeziene taaksequenties) omdat ze overfitten op visuele correlaties in de trainingsdata in plaats van de onderliggende generatieve priors te benutten. Hoewel standaard ontwerpkeuzes voor VAM's (zoals joint training versus twee-fasen training, of variërende ruisniveaus) zijn verkend, leveren deze een gefragmenteerd prestatie Landschap op zonder een duidelijke emergente verklaring voor waarom bepaalde configuraties slagen of falen in Out-of-Distribution (OOD) scenario's.

2. Methodologie

2.1 Systematische Design Space Analyse

De auteurs evalueerden systematisch een klasse van VAM's die gebruikmaken van latente kenmerken uit pre-trained video-fundamentmodellen (specifiek Cosmos-Predict 2.5-2B) en een latente inverse-dynamica actie-kop leren via flow matching. Ze onderzochten de design space over twee primaire assen:

• Configuraties tijdens de training: Het vergelijken van parameter-efficiënte adaptatie (LoRA) tegenover volledige finetuning, en joint training (het gelijktijdig optimaliseren van video- en actieverlies) tegenover twee-fasen training (het eerst finetunen van de backbone, en vervolgens de backbone bevriezen voor de training van de actie-kop).
• Parameters tijdens de inferentie: Het variëren van het video-ruisniveau ($\sigma_v$) waarbij kenmerken worden geëxtraheerd en de voorspellingshorizon ($T$).

De analyse toonde aan dat hoewel In-Distribution (ID) prestaties vaak verzadigd waren, de OOD-prestaties zeer gevoelig waren voor deze keuzes, terwijl geen enkele configuratie consistent de kloof kon dichten.

2.2 De Temporele Ratio (TR)

Om de faalmodi te verklaren, introduceerden de auteurs de Temporele Ratio (TR), een op aandacht gebaseerde metriek die kwantificeert hoe sterk de actie-kop vertrouwt op voorspelde toekomstige latente rollouts ten opzichte van de verankerde huidige frame.

• Definitie: TR wordt berekend als de ratio van de aandachtsmassa toegewezen door de actie-kop aan toekomstige frame-tokens ($V_+$) versus huidige frame-tokens ($V_0$):
  $$TR = \frac{\sum_{q \in A} \sum_{v \in V_+} A^\ell(q,v)}{\sum_{q \in A} \sum_{v \in V_0} A^\ell(q,v)}$$
  waarbij $A$ de actie-tokens representeert en $\ell$ een specifieke laag in de actie-kop is.
• Fysieke Interpretatie: In de video-denoising formulering wordt het eerste frame ($t=0$) geïnjecteerd als een schone, hoog-getrouwe observatie-anker bij elke stap. Toekomstige frames worden gedenoised vanuit ruisige latents en representeren de "verbeelde" evolutie van het model. Een hoge TR geeft aan dat de policy plant op basis van deze verbeelde toekomsten; een lage TR geeft aan dat de policy reageert op de onmiddellijke observatie.

2.3 Belangrijke Observaties over TR

• Voorspellende Kracht: TR fungeert als een directe voorspeller van de compositorische generalisatiecapaciteit. Modellen met een hogere TR tijdens de planningsfasen correleren met een betere OOD-succesrate.
• Taakfase Dynamiek: TR is niet statisch; het fluctueert op basis van de taakfase. Het stijgt tijdens "planningsfasen" (bijv. het selecteren van een object of receptacle) waar de policy taal en doelen moet koppelen aan toekomstige toestanden. Het daalt tijdens "precieze manipulatiefasen" (bijv. grijpen of plaatsen) waar de policy zich moet verankeren aan het huidige frame voor nauwkeurigheid.
• Diagnose van Faalmodi: De VAG-kloof komt vaak voort uit een mismatch: de video-backbone kan een correcte compositorische toekomst voorspellen, maar de actie-kop negeert deze (lage TR) en volgt een gememoriseerd ID-traject. Omgekeerd kan de actie-kop een gehallucineerde toekomst volgen als de TR hoog is maar de videovoorspelling slecht is.

2.4 TR-Adaptieve Guidance

Gebaseerd op deze bevindingen, stellen de auteurs een inferentie-tijd adaptieve guidance methode voor die de compositorische video-conditioneringssignalen dynamisch versterkt precies wanneer de policy vertrouwt op toekomstige rollouts.

• Mechanisme: De methode berekent twee counterfactuele guidance-richtingen:
  1. Taal Guidance: Isoleert instructie-afhankelijke actie-snelheid door conditionele versus null-tekst video-kenmerken te vergelijken.
  2. Plan Guidance: Isoleert langetermijn-temporele structuur door standaard horizon-kenmerken versus uitgebreide horizon-kenmerken te vergelijken.
• Adaptieve Schaling: De sterkte van deze guidance-signalen ($w_{lang}, w_{plan}$) wordt dynamisch geschaald op basis van de huidige TR. Het gewicht neemt toe wanneer de TR boven een episode-baseline stijgt (wat een planningsfase aangeeft) en wordt begrensd om over-guidance te voorkomen. Dit stelt het model in staat om compositorisch redeneren te benutten tijdens de planning, terwijl de guidance wordt versoepeld om lokale precisie tijdens manipulatie te behouden.

3. Belangrijkste Resultaten

3.1 Simulatie (LIBERO Benchmark)

Geëvalueerd op de LIBERO suites (Spatial, Object, Goal, Long) en hun compositorische OOD tegenhangers:

• Baseline Prestaties: Voorgaande WAM's en VAM's vertoonden verzadigde ID-prestaties (>95%) maar stortten in bij OOD-scenario's (vaak <15% succes).
• Design Space Bevindingen: Joint training met LoRA en intermediaire video-ruisniveaus ($\sigma_v \approx 0.883$) leverde de beste ongeleide OOD-prestaties op (55,7% gemiddelde).
• Impact van TR-Adaptieve Guidance: De voorgestelde methode verbeterde de gemiddelde OOD-succesrate naar 59,4%, een meer dan 5x verbetering ten opzichte van voorgaande VAM-baselines, terwijl de ID-prestaties vergelijkbaar bleven met de beste ongeleide modellen. Flat guidance (zonder TR-adaptatie) degradeerde de ID-prestaties, wat de noodzaak van fase-bewuste guidance bevestigt.

3.2 Real-World Evaluatie (Bimanual YAM)

Geëvalueerd op een bimanuele robot die 24 multi-taak scenario's uitvoert (borden, snacks, flessen, etc.) met compositorische OOD test-scènes:

• Prestaties: De voorgestelde VAM presteerde beter dan de baselines ($\pi_0$, $\pi_0.5$, Cosmos-Policy).
• Effectiviteit van Guidance: Adaptieve guidance verhoogde de gemiddelde succesrate van 71,7% (ongeleid) naar 83,3%.
• Falen van Standaard Benaderingen: Het extraheren van kenmerken bij de volledig ruisige stap ($\sigma_v=1.0$), zoals gedaan in voorgaande VAM's, resulteerde in bijna nul succes op real-world taken, wat het belang van gestructureerde, gedeeltelijk gedenoised latents benadrukt.

4. Betekenis en Claims

Het artikel claimt dat de VAG-kloof niet louter het gevolg is van onvoldoende data of modelcapaciteit, maar een mechanisch probleem is met betrekking tot hoe de actie-kop informatie routeert tussen de huidige observatie en voorspelde toekomsten.

• Diagnostisch Instrument: De Temporele Ratio biedt een runtime, interpreteerbare metriek om te diagnosticeren of een policy effectief gebruik maakt van zijn generatieve video-priors.
• Mechanisme voor Verbetering: Het werk demonstreert dat compositorische generalisatie een dubbele conditie vereist: (1) de video-backbone moet een nuttige toekomst voorspellen, en (2) de actie-kop moet die toekomst actief gebruiken tijdens de planningsfasen.
• Praktische Mitigatie: TR-Adaptieve Guidance biedt een praktische, inferentie-tijd interventie die dit intrinsieke aandachtspatroon benut om de OOD-generalisatie te verbeteren zonder het model te hertrainen of lokale manipulatie-precisie op te offeren.

De auteurs concluderen dat hun framework het gedrag van VAM's verheldert en een pad biedt om de OOD-generalisatiekloof in robotische controle te mitigeren, hoewel zij de beperkingen met betrekking tot de fysieke plausibiliteit van het onderliggende videomodel en de extra inferentie-kosten erkennen.