Technische Samenvatting: Is de Toekomst Compatibel? Diagnose van Dynamische Consistentie in Wereldactie-modellen

Probleemstelling

Vision-language-action (VLA)-modellen zijn opgekomen als een schaalbaar paradigma voor robotbesturing, waarbij visuele waarnemingen en taalinstrucies direct worden gemapt naar uitvoerbare acties. Echter faalt directe actievoorspelling vaak om expliciet de toekomstige gevolgen van een actie weer te geven, waardoor het onduidelijk blijft of een voorspelde fysieke overgang haalbaar is of in lijn ligt met het beoogde taakresultaat.

Wereldactie-modellen (WAM's) lossen dit op door VLA-modellen uit te breiden om toekomstige waarnemingen en acties gezamenlijk te voorspellen. Hoewel WAM's visueel plausibele toekomstbeelden kunnen genereren, blijft hun betrouwbaarheid onderbelicht. Specifiek is het onduidelijk of een gegenereerde toekomst slechts visueel realistisch is, of dat deze dynamisch compatibel is met de actieserie die het pretendeert te modelleren. Het artikel identificeert actie-toestand consistentie—de afstemming tussen voorspelde acties en de geïnduceerde toestandsveranderingen—als een ontbrekende betrouwbaarheidsas voor WAM's. Een mismatch suggereert een falen van actie-conditionering, waarbij het model visueel plausibele maar dynamisch incompatibele toekomstbeelden kan produceren, waardoor contact of objectbeweging verkeerd wordt weergegeven.

Methodologie

Definiëren van Actie-Toestand Consistentie

De auteurs definiëren actie-toestand consistentie als een scalair maatstaf voor de mate waarin voorspelde toekomstige waarnemingen overeenkomen met echte waarnemingen verkregen door de voorspelde acties uit te voeren. Voor een trajecttijdstip $t$ en een horizon $\Delta$ wordt de consistentiescore $c_t$ berekend als:
$$c_t(o_{t+\Delta}, \hat{o}_{t+\Delta}) = \exp(-\alpha \cdot d(o_{t+\Delta}, \hat{o}_{t+\Delta}))$$
waarbij $\hat{o}$ de voorspelde waarneming is, $o$ de echte waarneming, $\alpha$ een schalingsterm is, en $d(\cdot, \cdot)$ een afstandsfunctie is. De auteurs gebruiken de Gemiddelde Kwikwelfout (MSE) in de latente ruimte (voorafgaand aan VAE-decodering) om gevoeligheid voor pixelniveau-variaties te vermijden en structurele overeenstemming in de voor beslissingen relevante kenmerkruimte te waarborgen.

Modellen en Datasets

De studie evalueert twee representatieve WAM-formuleringen over twee datasets:

1. Gezamenlijke-Voorspelling Modellen: Vertegenwoordigd door Cosmos-Policy (voorgetraind op RoboCasa). Deze modellen parametriseren de volledige gezamenlijke verdeling $p(o_{t+1:t+\Delta}, a_{t+1:t+\Delta} | \dots)$, waarbij waarnemingen en acties gelijktijdig worden gegenereerd.
2. Inverse-Dynamica Modellen: Vertegenwoordigd door LingBot-VA (voorgetraind op RoboTwin 2.0). Deze modellen ontleden de gezamenlijke verdeling, voorspellen eerst toekomstige toestanden en leiden vervolgens de benodigde acties af om deze te realiseren.

Analyseassen

De auteurs onderzoeken actie-toestand consistentie langs drie dimensies:

1. Ontstaan en Scheidbaarheid: Of consistentiescores systematisch geslaagde en mislukte rollouts scheiden.
2. Grensvoorwaarden: Het identificeren van faalmodi waar consistentie onbetrouwbaar wordt, specifiek het fenomeen van achtergrondinstorting.
3. Afstemming met Nut: Of consistentietrends de geleerde waardevoorspellingen nabootsen, wat suggereert dat het levensvatbaar is als een waardeloos signaal.

Selectiestrategieën tijdens Testtijd

Om consistentie te benutten voor besluitvorming zonder expliciete waardehoofden, stelt het artikel twee strategieën voor:

• Consistentie-Verkenning: Voert elk van $N$ kandidaattakken in de omgeving uit en selecteert die met de hoogste consistentiescore tegenover de waargenomen toestand. Dit dient als een prestatie-maatstaf voor de bovengrens.
• Consistentie-Consensus: Een inzetbare, waardeloze strategie die omgevingsresetten vermijdt. Het aggregeert $N$ voorspelde toekomstbeelden tot een consensusgemiddelde ($\bar{o}_{t+\Delta}$) en selecteert de tak waarvan het voorspelde toekomstbeeld het meest consistent is met dit consensusgemiddelde. Dit rust op de aanname dat het consensusgemiddelde de ware toekomst beter benadert dan individuele steekproeven.

Belangrijkste Bijdragen

1. Karakterisering van Actie-Toestand Consistentie: De studie toont aan dat actie-toestand consistentie meetbaar is voor zowel gezamenlijke-voorspelling als inverse-dynamica WAM's en sterk geassocieerd is met taaksucces. Een eenvoudige classifier met genormaliseerde consistentiescores voorspelt geslaagde versus mislukte rollouts met Area Under the Curve (AUC)-scores van 0,77 (Cosmos-Policy) en 0,88 (LingBot-VA).
2. Identificatie van Achtergrondinstorting: De auteurs identificeren een specifieke faalmodus genaamd achtergrondinstorting, waarbij trajecten met mislukkingen door lage dynamica misleidend consistent worden. In deze gevallen voorspelt het model een statische achtergrond of minimale beweging, wat triviaal eenvoudig te voorspellen is, wat leidt tot hoge consistentiescores ondanks taakfalen. Dit correleert met lage grootte van latente overgangen ($\Delta z_t$).
3. Waardeloze Selectie tijdens Testtijd: Het artikel stelt vast dat consistentie vergelijkbare succes-mislukking trends volgt als geleerde waardevoorspellingen. Bijgevolg kan het dienen als een waardeloos rangschikkingsignaal voor selectie tijdens testtijd. De voorgestelde Consistentie-Consensus strategie verbetert de successpercentages zonder extra beloningsmodellering of training te vereisen.

Experimentele Resultaten

RoboCasa (Gezamenlijke-Voorspelling)

Met Cosmos-Policy op 24 keukenmanipulatietaken:

• Basislijn: 66,6% successpercentage.
• Consistentie-Consensus: Verbeterde successpercentage naar 67,3%, bijna gelijkend op de prestatie van op waarde gebaseerde selectie (67,4%).
• Consistentie-Verkenning: Bereikte het hoogste successpercentage van 68,0%, dienend als een bovengrens.

RoboTwin 2.0 (Inverse-Dynamica)

Met LingBot-VA op meer dan 50 bimanuele manipulatietaken:

• Basislijn: 90,2% successpercentage.
• Consistentie-Consensus: Verbeterde successpercentage naar 93,0%.
• Dit resultaat bevestigt dat consistentie-gestuurde selectie generaliseert buiten gezamenlijke-voorspelling modellen naar inverse-dynamica formuleringen.

Schaling met Kandidaten

Het verhogen van het aantal bemonsterde kandidaten ($N$) van 1 tot 8 verbeterde consistent de successpercentages voor beide modellen, wat aangeeft dat consistentie een effectief signaal biedt voor schaling tijdens testtijd.

Betekenis en Claims

Het artikel claimt dat actie-toestand consistentie een dubbele rol vervult:

1. Diagnostisch Hulpmiddel: Het is een betrouwbare maatstaf voor het evalueren van de interne betrouwbaarheid van WAM's, onderscheidend tussen visueel plausibele maar dynamisch incoherente toekomstbeelden en die welke actie-geconditioneerde overgangen trouw weergeven.
2. Praktisch Signaal: Het biedt een model-onafhankelijk, waardeloos mechanisme voor het sturen van besluitvorming tijdens testtijd. Dit is bijzonder significant voor WAM's die geen expliciete waardehoofden hebben of waar beloningssignalen schaars zijn.

De auteurs benadrukken dat hoewel consistentie een krachtig signaal is, het niet onfeilbaar is. De identificatie van achtergrondinstorting belicht een grensvoorwaarde waar consistentie misleidend kan zijn. Het artikel suggereert dat toekomstige WAM's niet alleen acties of toekomstbeelden moeten voorspellen, maar ook expliciet moeten blootleggen of hun verbeelde toekomstbeelden dynamisch compatibel zijn met de acties die worden overwogen, waardoor robots in staat worden gesteld na te denken over de betrouwbaarheid van hun voorspelde uitkomsten voordat ze handelen.