Technische Samenvatting: HumanCLAW

Probleemstelling

Het evalueren of Vision-Language Models (VLM's) beschikken over "actie-intelligentie"—het vermogen om moment voor moment te beslissen wat een fysiek lichaam moet doen—is uitdagend omdat de uitkomsten van acties besluitvorming koppelen aan lage-niveau motorische controle. In bestaande evaluaties zijn fouten vaak ambigu: het is moeilijk te onderscheiden of een VLM een slechte strategische keuze maakte of dat de motorische controller faalde in het uitvoeren van het commando (bijv. het verliezen van evenwicht). Omgekeerd verstrengelen end-to-end Vision-Language-Action (VLA) modellen redeneren met specifieke controlebeleid, wat het moeilijk maakt om de algemene redeneerprestaties van de generalist te isoleren. Bovendien abstraheren veel agent-benchmarks fysieke beweging weg door commando's uit te voeren via vooraf gedefinieerde scripts of simulators die fysieke consequenties zoals zwaartekracht en botsingen negeren.

Het artikel stelt dat huidige VLM's een gebrek hebben aan belichaamde zelfbewustzijn: het vermogen om een online schatting bij te houden van de eigen lichaamstoestand, de relatie tot de scène en de fysieke gevolgen van de eigen acties. Om de evaluatiekloof te adresseren, introduceren de auteurs HumanCLAW, een framework dat de besluitvorming over acties ontkoppelt van de uitvoering op laag niveau, terwijl fysieke consequenties behouden blijven.

Methodologie

1. Het HumanCLAW-framework

HumanCLAW creëert een gesloten lus, sub-seconde interactiecyclus waarbij een standaard VLM fungeert als een bevroren besluitvormer in een fysieke wereld. Het systeem werkt als volgt:

• Input: Bij elk tijdstap ontvangt de VLM een egocentrische RGB-observatie, een tekstuele geschiedenis van eerdere beslissingen en een instructie op hoog niveau (bijv. "zoek een bank en ga erop zitten").
• Reasoning Harness: De VLM wordt geleid door een contextuele redeneerstructuur die de output structureert in:
  1. Ego-Perceptie: Het expliciet beschrijven van zichtbare objecten, afstanden en obstakels.
  2. Mid-Level Planning: Het afleiden van een tijdelijk doel (bijv. "nader de bank") dat enkele seconden geldig is.
  3. Low-Level Skill Selection: Het kiezen van een atomaire vaardigheid (bijv. lopen, draaien, zitten) met continue parameters.
  4. Verificatie: Een vaardigheidsspecifieke verifieerder controleert of de voorgestelde actie ruimtelijk veilig is (bijv. niet tegen een muur aan lopen) voordat deze wordt uitgevoerd.
• Skill-Conditioned Motion Generation: Het atomaire vaardigheidscommando van de VLM wordt doorgegeven aan een bewegingsgenerator. Deze generator gebruikt een Motion Base DiT (Diffusion Transformer) getraind op AMASS-data om een kinematisch continue prior te bieden. Een plug-and-play ControlNet-adapter, specifiek voor de gekozen vaardigheid, injecteert de vaardigheidsparameters (bijv. staplengte, draaihoek) om het commando te realiseren als een 0,5-seconde chunk van full-body beweging.
• Locomotion-Decoupled Physical Simulation: De bewegingschunk wordt uitgevoerd in een "half-physics" simulator (gebouwd op AI Habitat en Bullet). Het menselijk lichaam wordt aangestuurd door kinematische snelheden afgeleid van de gegenereerde beweging, niet door gesimuleerde gewrichtskoppelkrachten (torques). Dit ontwerp zorgt ervoor dat de agent niet faalt door verlies van evenwicht of motorische trackingfouten, maar nog steeds fysiek interageert met de wereld (botsingen, zwaartekracht, verplaatsing van objecten).

2. HumanCLAW-Bench

De auteurs construeren een benchmark bestaande uit 1.218 langdurige, egocentrische episodes over 41 binnenruimtes (afgeleid van HSSD).

• Taak: "Vinden-navigeren-interageren." De agent moet een doelobject vinden, erheen navigeren en ermee interageren (specifiek: erop zitten voor meubels zoals banken/bedden/toiletten, of enkel navigeren voor andere objecten).
• Moeilijkheidsgraad Stratificatie: Episodes worden gecategoriseerd als Easy, Medium en Hard op basis van geodetische afstand, navigatiekeuzes (bochten/kamers) en obstakelenditeit.
• Metrieken: Evaluatie omvat succespercentages per fase (Vinden, Navigeren, Interageren), lichaamsbewustzijn (botsingsfrequentie), omgevingsverstoring (objectverplaatsing), actiekwaliteit (bewegingsjerk) en computationele kosten.

Belangrijkste Bijdragen

1. HumanCLAW Framework: Een gecontroleerde setting waarin een standaard VLM vrij handelt in een fysieke wereld. De beslissing is ontkoppeld van de motorische uitvoering, waardoor fouten strikt kunnen worden toegeschreven aan de besluitvormende intelligentie van de actor.
2. HumanCLAW-Bench: Een dataset van 1.218 progressieve episodes die langdurige, closed-loop whole-body besluitvorming testen met gestaffelde metrieken.
3. Uitgebreide Evaluatie: Een uitgebreide analyse van negen state-of-the-art VLM's, waarbij belichaamd zelfbewustzijn wordt geïdentificeerd als de primaire bottleneck in plaats van perceptie of motorische controle.

Experimentele Resultaten

De auteurs testten negen vooraanstaande VLM's (inclusclusief GPT-5.5, Gemini-3.1, Claude-4.8 en diverse open-source modellen) op de benchmark.

• Lage Succespercentages: Geen enkel model loste de benchmark betrouwbaar op. Het beste model, Gemini-3.1, behaalde een volledig taaksuccespercentage (Vinden $\to$ Navigeren $\to$ Interageren) van slechts 16,8%.
• Perceptie vs. Actie: Perceptie is niet de bottleneck. Zodra een doel objectief zichtbaar is in het egocentrische beeld, herkennen de modellen dit met hoge nauwkeurigheid (binnen 5 procentpunten van zichtbaarheid). De fout vindt plaats in de overgang van zien naar handelen.
• Navigatie Bottleneck: De "landing rate" (de ratio van het bereiken van een gevonden doel ten opzichte van het vinden ervan) is laag. De primaire foutmodus is egocentrische zelflokalisatie: agenten falen in het weten waar hun lichaam zich bevindt ten opzichte van het doel. Ze stoppen ofwel voortijdig terwijl ze nog ver weg zijn, of navigeren door nadat ze al zijn aangekomen.
• Interactiefouten: Zelfs wanneer agenten het doel bereiken, is 81% van de interactiefouten te wijten aan fouten in de lichaamspositionering (bijv. zitten op ijle lucht of op het verkeerde object), in plaats van een falen in de beslissing om te gaan zitten.
• Lichaamsbewustzijn: Agenten falen consistent in het waarnemen van hun eigen lichaamsdelen. Botsingen concentreren zich op ledematen (benen/voeten en armen/handen) die de agent niet "in de gaten houdt", terwijl het hoofd zelangzaam botst. De agenten gedragen zich als "geesten": vloeiend in het beschrijven van de wereld, maar onwetend over hun eigen fysieke aanwezigheid.
• Ablatie-bevindingen:
  • Verificatie is cruciaal: Het verwijderen van de skill verifier zorgde ervoor dat de navigatiesucces instortte van 27% naar 2%.
  • Mid-level reasoning is essentieel: Het verwijderen van de mid-level planning stap zorgde ervoor dat de interactiesucces daalde naar 0%, omdat agenten niet in staat waren de meerstapsroutine vol te houden die nodig is om te gaan zitten.
  • Geschiedenislengte: Langere tekstgeschiedenis levert afnemende meeropbrengsten op; een compacte geschiedenis is voldoende.
  • Visuele geschiedenis: Het toevoegen van te veel eerdere frames verslechtert de prestaties, wat suggereert dat het model een bottleneck heeft in het redeneren over het huidige beeld.

Betekenis en Claims

Het artikel claimt dat HumanCLAW een fundamentele kloof in huidige VLM's blootlegt: ze beschikken over sterke ruimtelijke redenering voor statische scènes, maar missen belichaamd zelfbewustzijn. Ze kunnen de wereld beschrijven, maar kunnen niet betrouwbaar hun eigen lichaamstoestand volgen, bepalen of ze een doel hebben bereikt, of de fysieke gevolgen van hun bewegingen voorzien.

De auteurs stellen dat deze beperking voortkomt uit het trainingsparadigma van VLM's (Visual Question Answering), dat modellen leert pixels te beschrijven maar niet om het lichaam te "voelen" of fysieke gevolgen te voorspellen. Zij postuleren dat generaliseerbare actie-intelligentie voortkomt uit redeneren in plaats van het fitten van actiedata. Door de besluitvormer bevroren te houden en de motorische laag een vaste prior te laten, demonstreert HumanCLAW dat huidige redeneercapaciteiten nog niet reiken tot het fysieke lichaam. De benchmark dient als een stresstest voor de volgende generatie agenten, waarbij wordt benadrukt dat vooruitgang vereist dat modellen proprioceptie-achtige redenering en ruimtelijke zelflokalisatie integreren, in plaats van simpelweg de perceptie te verbeteren of meer trajectdata te verzamelen.