Technische Samenvatting: Kent een VLA de basis überhaupt? Het meten van het behoud van gezond verstand en wereldkennis in Vision–Language–Action-modellen

Probleemstelling

Embodied Vision–Language–Action (VLA) modellen worden doorgaans geconstrueerd door krachtige vooraf getrainde Vision-Language Models (VLM's) te finetunen op robotica-data. Hoewel deze modellen vaak worden gepresenteerd als open-world-generaliseerbaar, blijft het onduidelijk hoeveel algemeen begrip en feitelijke kennis zij behouden na adaptatie naar controle-taken. Huidige evaluatieparadigma's zijn overwegend "manipulatie-gecentreerd" en richten zich op taaksuccesratio's in navigatie of objectmanipulatie (bijv. LIBERO, CALVIN). Deze benchmarks verwarren kennisgebreken met fouten in lage-niveau motorische controle, perceptie of langetermijnplanning. Bijgevolg is er geen principiële methode om te bepalen of een VLA catastrofaal de wereldkennis van zijn bron-VLM is vergeten, of dat fouten op kennisgevoelige taken simpelweg te wijten zijn aan een gebrekkige generalisatie van de controle-policies.

Methodologie: Act2Answer

Om de ambiguïteit tussen kennisverlies en controlefout aan te pakken, introduceren de auteurs Act2Answer, een lichtgewicht evaluatieprotocol dat de kennisbenchmarks van VLM's aanpast voor VLA-modellen door agenten te laten antwoorden via actie in plaats van tekstgeneratie.

Kernprotocol

• Actie-gebaseerde Selectie: In plaats van tekst te genereren, wordt elke vraag omgezet in een korte, gesimuleerde tafel-episode. De agent ontvangt een instructie in natuurlijke taal en moet een enkele, eenvoudige plaatsingsactie uitvoeren (het verplaatsen van een kubus) om het juiste antwoord te selecteren tussen kandidaat-afbeeldingen die op een tafel zijn geplaatst.
• Verminderde Confounding: Door de taak te beperken tot een enkele, kortlopende actie, minimaliseert het protocol de invloed van complexe motorische controle, langetermijnplanning en omgevingsdynamiek, waardoor het vermogen van de agent om kennis te gebruiken voor besluitvorming wordt geïsoleerd.
• Soft Success Rate (SR): Prestaties worden gemeten met een "Soft Success Rate", die rekening houdt met een tolerantiegebied rond het doelantwoord. Deze metriek onderscheidt tussen:
  1. Instructie-/Perceptiefout: De agent plaatst het object buiten de grenzen of kiest consistent de verkeerde optie (SR < 0.5 - $\Delta$).
  2. Geen Betrouwbare Bruikbare Kennis: De agent voert de actie uit maar slaagt er niet in de juiste optie te selecteren, waarbij de prestaties nabij willekeurige kans liggen (0.5 - $\Delta$ $\le$ SR $\le$ 0.5 + $\Delta$).
  3. Bewijs van Bruikbare Kennis: De agent slaagt erin interne kennis te gebruiken om de actie-selectie te sturen richting het juiste doel (SR > 0.5 + $\Delta$).

Datacuratie

De auteurs hebben een testsuite samengesteld van 1.720 unieke binaire vragen over 12 kenniscategorieën, afgeleid van bestaande VLM-benchmarks (MLLM-CompBench, IconQA, MMBench, OK-VQA, VL-Think). Deze categorieën zijn gegroepeerd in zeven brede domeinen:

• Fysiek: Attributen, toestanden, kleur, vorm, symmetrie.
• Temporeel: Tijd, tellen.
• Kwantitatief: Tellen, grootte.
• Biologisch: Onderscheid tussen levende organismen.
• Sociaal: Emotie, intentie.
• Normatief: Verkeersregels, publieke informatie.
• Cultureel: Erkenning van beroemdheden.

Layerwise Intent Probing

Om te onderzoeken waar kennis behouden blijft of verloren gaat binnen de modelarchitectuur, maken de auteurs gebruik van layerwise intent probing. Lineaire classificators worden getraind op de verborgen toestanden (hidden states) van elke transformer-laag (zowel de VLM-backbone als de Action Expert) om het juiste antwoord te voorspellen. Dit maakt het mogelijk om te kwantificeren hoe antwoord-relevante informatie wordt verdeeld en of deze afneemt naarmate het door de semantische representatie naar de actiegeneratie beweegt.

Belangrijkste Bijdragen

1. Act2Answer Benchmark Suite: Een gecontroleerd protocol dat VLM-kennis-taken omzet in embodied actie-selectie-episoden, wat directe probing van kennisgevoelig gedrag mogelijk maakt zonder afhankelijk te zijn van tekstdecodering.
2. Systematische Kennis-taxonomie: Een gecureerde dataset die 12 categorieën over 7 domeinen beslaat, wat een fijnmazige foutanalyse van common sense en wereldkennis in embodied agents faciliteert.
3. Grootschalige Empirische Studie: Een evaluatie van 7 moderne VLA-modellen (waaronder $\pi_0$, OpenVLA, Magma, SpatialVLA) tegenover 9 sterke VLM-baselines, waarbij de prestaties systematisch over kennisdomeinen worden gerangschikt.
4. Architecturale Analyse: Introductie van layerwise intent probing om de locatie van antwoord-relevante informatie te bepalen, wat de interne dynamiek van kennisbehoud versus actiegeneratie onthult.

Resultaten

De studie toont een aanzienlijk verschil tussen de VLM-capaciteiten en hun VLA-tegenhangers aan:

• Perceptueel versus Semantisch Gat: VLA-modellen presteren sterk op eenvoudige perceptuele categorieën (bijv. Kleur, Vorm), maar vertonen substantiële prestatiedalingen op rijkere semantische categorieën (bijv. Emotie, Toestand, Tellen, Symmetrie). Veel VLA-modellen presteren op of nabij willekeurige kans bij deze complexe taken.
• De VLM-VLA Kloof: Wanneer vergeleken met hun bron-VLM's in een actievrije setting, vertonen VLA-modellen een prestatiedaling van ongeveer 20–40 procentpunten over de meeste kennisdomeinen. Dit suggereert dat finetuning voor controle de toegankelijkheid van wereldkennis aanzienlijk verslechtert.
• Rol van VQA Co-training: Modellen die getraind zijn met gezamenlijke visie-taal en robotica-supervisie (bijv. Magma, Xiaomi-Robotics-R0) vertonen een beter behoud van kennis en betere prestaties op kennisgevoelige taken vergeleken met modellen die primair op robotica-data zijn getraind (bijv. OpenVLA, $\pi_0$).
• Interne Representatie Bottleneck: Probing-resultaten wijzen erop dat antwoord-relevante informatie vaak aanwezig is in de tussenliggende lagen van de VLM-backbone, maar aanzienlijk afneemt in de hogere lagen en de Action Expert. Dit suggereert een bottleneck waar het model semantische informatie intern behoudt, maar er niet in slaagt dit te vertalen naar de juiste actie-selectie.
• Impact van Fine-tuning: Aanvullende downstream fine-tuning (SFT of RL) op pick-and-place datasets verbeterde de kennisgevoelige prestaties niet consistent en leidde in sommige gevallen (bijv. Toestand, Kleur) zelfs tot verdere degradatie, wat wijst op een bias naar taakspecifieke optimalisatie ten koste van algemene kennis.

Betekenis en Claims

Het artikel betoogt dat het huidige paradigma van simpelweg VLM's finetunen op robotica-data onvoldoende is voor het creëren van werkelijk algemene embodied agents. Ho Hoewel deze modellen het vermogen behouden om te handelen op basis van oppervlakkige perceptuele signalen, verliezen ze vaak het vermogen om complexe semantische toestanden te onderscheiden (bijv. een "vuile" versus een "schone" beker, of een "verdrietig" versus een "neutraal" mens).

De auteurs stellen dat Act2Answer een noodzakelijk diagnostisch instrument biedt om deze "kenniserosie" te meten. De bevindingen suggereren dat toekomstige architecturen en trainingsdoelstellingen expliciet prioriteit moeten geven aan de afstemming van de semantische begrip van de backbone met de geleerde motorische policies. Zonder een dergelijke afstemming zullen embodied agents beperkt blijven in hun nut voor alledaagse omgevingen waar de juiste actie afhangt van rijk common sense en wereldkennis, en niet alleen van lage-niveau controle. Het artikel concludeert dat het voorkomen van de erosie van wereldkennis een openstaand probleem blijft, dat strategieën vereist zoals multi-task learning, representatiebehoud of de architecturale ontkoppeling van kennis en controlecomponenten.