💻 computer science

Position: Vision-Language-Action Models Cannot Be Verified to Perform Physical Reasoning

Dit position paper betoogt dat huidige evaluatieprotocollen voor Vision-Language-Action (VLA)-modellen er niet in slagen een onderscheid te maken tussen semantische overeenstemming en werkelijk fysiek redeneren, wat claims van fysieke generalisatie onverifieerbaar maakt en oproept tot nieuwe experimentele ontwerpen die deze afzonderlijke capaciteiten causaal kunnen isoleren.

Oorspronkelijke auteurs: Taozhao Chen, Ian Manchester, Huaming Chen

Gepubliceerd 2026-07-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Taozhao Chen, Ian Manchester, Huaming Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Slimme Chef" die niet kan koken

Stel je een zeer slimme chef voor die elk kookboek heeft gelezen, elke kookshow heeft bekeken en miljoenen voedselbeschrijvingen op het internet heeft onthouden. Deze chef weet precies hoe een "pittige tomatensoep" eruitziet, hoe hij ruikt en wat het recept zegt.

Stel je nu voor dat je deze chef vraagt om de soep daadwerkelijk te maken in een echte keuken.

Dit artikel stelt dat we deze chef momenteel een voldoende geven, simpelweg omdat hij de soep perfect kan beschrijven of de juiste ingrediënten kan aanwijzen. We nemen aan dat hij, omdat hij de woorden en de plaatjes zo goed kent, ook wel weet hoe hij de zware pan moet hanteren, de hitte moet aanpassen en moet roeren zonder zijn hand te branden.

De auteurs zeggen: "We hebben nog niet echt getest of hij kan koken. We hebben alleen getest of hij kan praten over koken."

Het Probleem: Het verwarren van "Weten" met "Doen"

Het artikel richt zich op een type robotbrein dat een Vision-Language-Action (VLA) model wordt genoemd. Deze robots gebruiken een massaal "Vision-Language Model" (VLM)—het deel dat getraind is op internetfoto's en tekst—om hen te vertellen wat ze moeten doen.

De auteurs verdelen het brein van de robot in twee delen:

De Semantische Kaart (Het "Wat"): Dit is het deel dat objecten herkent. Het ziet een rode bal en weet: "Dat is een bal. De instructie zegt 'pak de bal op'." Dit deel is erg goed in het begrijpen van taal en plaatjes.
De Fysieke Beslissing (Het "Hoe"): Dit is het deel dat uitzoekt hoe de bal te pakken. Is hij glad? Is hij zwaar? Als ik hem te hard vastpak, breekt hij dan? Dit vereist begrip van fysica, gewicht en wrijving.

De Fout: Het artikel beweert dat huidige robots gebouwd zijn op een verborgen aanname: "Als de robot de afbeelding en de woorden perfect begrijpt, zal hij automatisch weten hoe hij zijn arm correct moet bewegen."

De auteurs zeggen dat deze aanname onbewezen is. Alleen omdat een robot een "zware, gladde beker" op een foto kan identificeneren, betekent dat nog niet dat hij weet hoeveel kracht hij moet gebruiken om hem op te tillen zonder hem te laten vallen.

Waarom kunnen we het verschil niet zien? (Het "Scorekaart"-probleem)

Op dit moment testen we deze robots door ze een taak te geven (zoals "zet de beker op tafel") en te kijken of ze slagen. Als de beker op tafel staat, geven we ze een score van "Geslaagd".

Het artikel stelt dat deze scorekaart kapot is, omdat het ons niet vertelt waarom de robot slaagde.

Scenario A: De robot begreep de woorden, begreep de fysica en deed het geweldig. (Echt succes).
Scenario B: De robot raadde de juiste actie omdat hij dezelfde opstelling zag in zijn trainingsdata, zelfs als hij de fysica niet begreep. (Gelukstreffer).
Scenario C: De robot begreep de woorden perfect, maar slaagde er niet in de beker op te pakken omdat hij te zwaar was. (Fysieke fout).

De Analogie: Stel je een student voor die een wiskundetoets maakt. Als ze het juiste antwoord geven, nemen we aan dat ze de wiskunde kennen. Maar wat als ze gewoon het antwoord uit het model hebben geleerd? Of wat als ze hebben gegokt?
Huidige robottests zijn als een test waarbij we alleen naar het eindantwoord kijken. We controleren niet of ze daadwerkelijk de wiskunde (fysica) hebben gedaan of alleen het patroon hebben gematcht (semantisch gokken).

De "Narratieve Drift" (Het Verhaal dat de Dans ontsprong)

Het artikel beschrijft een fenomeen genaamd "Narratieve Drift".

Eerste Robot: "We hebben een robot gemaakt die internetkennis gebruikt om armen aan te sturen. Het werkt een beetje!"
Tweede Robot: "We hebben een grotere gemaakt! Hij werkt beter! Het moet komen doordat de internetkennis beter wordt in fysica."
Derde Robot: "We hebben een nóg grotere gemaakt! Hij is geweldig! Hij moet een genie zijn in fysica!"

De auteurs zeggen dat dit een verhaal is dat we onszelf blijven vertellen. Elke keer dat een robot een iets hogere score haalt, nemen we aan dat dit komt omdat de robot slimmer wordt in fysica. Maar de auteurs stellen dat we de fysica nooit echt hebben geïsoleerd om dit te bewijzen. We bleven er alleen maar vanuit gaan dat de "internetkennis" (de VLM) het zware werk deed, ook al leren internetfoto's je niet hoe zwaar een baksteen voelt.

De Drie Niveaus van Verwarring

Het artikel legt uit waarom we niet kunnen zien wat er gebeurt aan de hand via drie niveaus:

Niveau 1 (Het Resultaat): We zien een succes, maar we weten niet of het kwam doordat de robot de taak begreep of dat hij gewoon de juiste beweging gokte.
Niveau 2 (De Bron): We weten niet of de robot heeft geleerd van zijn "internetlezen" (VLM) of van zijn "robottraining" (fysieke oefening). Ze zijn door elkaar gemengd.
Niveau 3 (Het Brein): We weten niet of de robot daadwerkelijk wat van zijn slimme "internetredeneervaardigheden" is verloren toen we hem leerden hoe hij zijn arm moet bewegen. Misschien vergat hij hoe hij "nee" moest zeggen tegen onmogelijke taken omdat we hem dwongenten gewoon dingen te "doen".

De Oplossing: Een Betere Test

De auteurs zeggen niet dat deze robots nutteloos zijn. Ze zeggen alleen dat we moeten stoppen met gissen. Ze stellen een nieuwe manier voor om ze te testen:

De "Gecontroleerde Variatie" Test:
In plaats van de robot alleen een taak te geven en te kijken of hij wint, moeten we één ding tegelijk veranderen:

Test het "Wat": Houd de fysieke wereld exact hetzelfde, maar verander de woorden of de plaatjes. Weet de robot nog steeds wat hij moet doen? (Dit test het taalgedeelte).
Test het "Hoe": Houd de woorden en plaatjes exact hetzelfde, maar verander de fysica (bijv. maak het object zwaarder, of de tafel gladder). Slaagt de robot nog steeds? (Dit test het fysieke gedeelte).

Als we dit doen, kunnen we eindelijk zeggen: "Oké, de robot is geweldig in het begrijpen van woorden, maar hij faalt wanneer de fysica verandert." Of: "De robot is geweldig in fysica, maar raakt in de war door nieuwe woorden."

De Kernboodschap

Het artikel is een oproep om te stoppen met aannemen dat weten over de wereld (vanuit het internet) hetzelfde is als begrijpen hoe je in de wereld beweegt (fysica).

Momenteel prijzen we robots omdat ze goed zijn in het "praten over" taken, terwijl we ervan uitgaan dat ze ook goed zijn in het "uitvoeren van" taken. De auteurs willen dat we betere tests bouwen die deze twee vaardigheden scheiden, zodat we echt kunnen uitzoeken of robots leren om fysieke actoren te zijn of gewoon heel goed zijn in patroonherkenning.

Kortom: Neem niet aan dat een robot een zware doos kan optillen alleen omdat hij het woord "zwaar" kent. We moeten testen of hij hem daadwerkelijk kan optillen.

Technische Samenvatting: Vision-Language-Action Modellen Kunnen Niet Worden Geverifieerd voor Fysiek Redeneren

Probleemstelling
Het artikel adresseert een fundamentele, maar nog niet geverifieerde aanname die ten grondslag ligt aan recent Vision-Language-Action (VLA) onderzoek: dat semantische generalisatie, geleerd van internetschaal vision-language pretraining, voldoende is om fysieke actiebeslissingen in robotische systemen te ondersteunen. Hoewel VLA-systemen (bijv. RT-2, OpenVLA, $\pi^0$ ) verbeterde succespercentages op manipulatie-benchmarks hebben getoond, betogen de auteurs dat huidige evaluatieprotocollen niet kunnen onderscheiden of deze winsten voortkomen uit werkelijk fysiek redeneren of louter uit verbeterde semantische matching en distributionele overlap. Bijgevolg ontbreekt het het vakgebied aan de mogelijkheid om prestatieverbeteringen causaal toe te schrijven aan ofwel semantische capaciteiten ofwel fysieke executie-generalisatie.

Methodologie en Structureel Argument
Het artikel maakt gebruik van een theoretische en structurele analyse in plaats van nieuwe empirische experimenten. De kernmethodologie omvat:

Decompositie van VLA-policies: De auteurs deconstrueren een VLA-policy formeel in twee afzonderlijke componenten:
- Semantische Mapping ( $z_{sem}$ ): De transformatie van visuele observaties en taalinstructies naar taakrelevante abstracties (objectidentiteit, ruimtelijke relaties, doelen) afgeleid van statische beeld-tekstdata.
- Fysieke Actiebeslissing: De selectie van acties geconditioneerd op de fysieke context ( $z_{phys}$ ), zoals massa, wrijving en contactgeometrie, die niet herstelbaar zijn uit statische visuele data.
Formalisering van de "Semantische Sufficiëntie Aanname": Het artikel stelt dat huidige architecturen impliciet aannemen dat $\pi(a_t | z_{sem}, z_{phys}) \approx \pi(a_t | z_{sem})$ . De auteurs betogen dat dit structureel onrechtvaardig is omdat de supervisiesignalen voor VLM-pretraining (statische beeld-tekstparen) de interactie-uitkomsten (kracht, weerstand, dynamica) die nodig zijn om $z_{phys}$ te leren, expliciet uitsluiten.
Analyse van Identificeerbaarheid: De auteurs identificeren drie niveaus van niet-identificeerbaarheid in huidige evaluatieprotocollen:
- Attributie Niet-Identificeerbaarheid: Succespercentages van taken vervagen semantische grondingfouten met fysieke executiefouten.
- Bron Niet-Identificeerbaarheid: Prestatiewinsten kunnen niet worden herleid naar VLM-pretraining, robotinteractiedata, of hun interactie, omdat definities van "out-of-distribution" (OOD) vaak blootstelling aan VLM-pretraining negeren.
- Representatie-Niveau Niet-Identificeerbaarheid: Benchmarks sluiten onhaalbare of onveilige instructies uit, waardoor het onmogelijk wordt om te detecteren of fine-tuning gepreïnteerde capaciteiten zoals haalbaarheidsoordeel degradeert.

Belangrijkste Bijdragen

Identificatie van "Narrative Drift": Het artikel introduceert het concept van narrative drift, waarbij opeenvolgende systemen eerdere interpretaties van prestatiewinsten overnemen en versterken (bijv. het toeschrijven van scaling laws aan fysiek redeneren) zonder de onderliggende causale mechanismen te isoleren.
Structurele Kritiek op Evaluatie: Het toont aan dat huidige benchmarks structureel ongeschikt zijn om de semantische sufficiëntie aanname te testen, omdat ze een gebrek hebben aan gecontroleerde variaties die semantische inhoud scheiden van fysieke configuratie.
Herformulering van de Rol van VLM's: De auteurs stellen voor dat VLM-backbones moeten worden beschouwd als semantische interfaces voor het gronding van taal en perceptie, in plaats van impliciete bronnen van fysieke competentie. Ze suggereren dat fysiek redeneren mogelijk onderscheidende representationele capaciteiten vereist die worden ontwikkeld door interactie, niet alleen door semantische pretraining.

Resultaten en Observaties
Het artikel presenteert geen nieuwe experimentele resultaten, maar synthetiseert bestaande literatuur om een consistente empirische signatuur te onthullen:

Misattributie van Falen: Wanneer VLA-systemen falen onder nieuwe fysieke condities (bijv. het hanteren van objecten met verschillende massa's of wrijving), worden deze fouten consequent toegeschreven aan engineeringfactoren (bijv. onvoldoende datacoverage, modelschaal of spuriose correlaties) in plaats aan het falen van de semantische sufficiëntie aanname.
Ambiguïteit van Succes: Hoge succespercentages bij taken zijn consistent met meerdere verklaringen, waaronder werkelijke fysieke generalisatie, verbeterde semantische matching of een toegenomen overlap tussen trainings- en testdistributies.
Systemische Gevolgen: Het onvermogen om deze factoren te onderscheiden leidt tot verkeerde allocatie van onderzoeksbronnen (bijv. het schalen van modellen wanneer de bottleneck fysieke interactie is), vals vertrouwen in inzetbaarheid en hardnekkige misdiagnose van architecturale beperkingen.

Betekenis en Claims
Het artikel stelt dat de betekenis ervan ligt in het verhelderen van de voorwaarden waaronder claims van fysieke generalisatie zinvol geëvalueerd kunnen worden. Het stelt expliciet dat het doel niet is om de rol van VLMs in robotica te weerleggen, maar om aan te tonen dat de aanname van semantische sufficiëntie niet onafhankelijk is geverifieerd.

Methodologische Verschuiving: De auteurs betogen dat vooruitgang in fysieke executie-generalisatie evaluatieontwerpen vereist die gecontroleerde variatie introduceren om semantische en fysieke generalisatie afzonderlijk te meten.
Architecturale Implicaties: Ze stellen een verschuiving voor in de ontwerpfilosofie: in plaats van aan te nemen dat fysieke capaciteit voortkomt uit semantische representaties, moeten systemen worden ontworpen met expliciet gescheiden componenten voor semantische gronding en fysieke staatmodellering.
Empirische Vraag: De bijdrage van VLM-gebaseerde representaties aan fysieke prestaties moet worden behandeld als een empirische vraag die getest moet worden via causale attributie, in plaats van een veronderstelde premisse.

Het artikel concludeert dat zonder evaluatieprotocollen die in staat zijn signalen te leveren die identificeerbaar zijn voor kerncapaciteiten, impliciete aannames het risico lopen te verankeren als de facto premissen, wat de werkelijke weg naar algemene belichaamde intelligentie kan vertroebelen.