Technische Samenvatting: Het heroverwegen van Embodied Chain-of-Thought voor Generaliseerbare Robotmanipulatie

Probleemstelling

Vision-Language-Action (VLA) modellen zijn een veelbelovend paradigma geworden voor generaliseerbare robotbesturing door het overdragen van semantische priors van grootschalige Vision-Language Models (VLM's) naar belichaamde besluitvorming. Echter, verbeterde perceptie en een bredere semantische dekking garanderen niet inherent betere actiegeneratie. VLA-modellen hebben vaak moeite met complexe, out-of-distribution scenario's die deliberatie vereisen voorafgaand aan de uitvoering.

Hoewel eerdere Embodied Chain-of-Thought (ECoT) methoden hebben geprobeerd dit gat te overbruggen door expliciete redeneersporen te superviseren, blijven verschillende kritieke problemen onopgelost:

1. Vorm en Integratie: Het is onduidelijk welke vormen van belichaamd redeneren (bijv. scène-begrip, ruimtelijke gronding, trajectvoorspelling) daadwerkelijk effectieve actiegeneratie faciliteren versus vormen die enkel verbale overhead toevoegen.
2. Interactie met Beleid: Vroege ECoT-formuleringen modelleren redeneren als een autoregressief prefix voor actiegeneratie. Dit ontwerp is broos; lange redeneersporen verhogen de latentie, en fouten in het redeneerprefix stapelen zich op tijdens inferentie, wat de daaropvolgende actietokens negatief beïnvloedt.
3. Schaalbaarheid: Het schaalgedrag van CoT-data is onduidelijk. Grootschalige belichaamde CoT-datasets zijn schaars vanwege de hoge kosten van annotatie, en het is onbekend of het schalen van redeneersupervisie sterkere actiegeneratie oplevert of ruis introduceert die het leren belemmert.
4. CoT-Contaminatie: In grootschalige automatisch gelabelde datasets kunnen ruisgevoelige labels (bijv. instabiele bounding boxes, drijvende end-effector coördinaten) inconsistente supervisie opleggen aan semantisch vergelijkbare observaties, wat adaptatie hindert.

Methodologie: ERVLA

De auteurs stellen ERVLA voor (Embodied Reasoning Vision-Language-Action), een model dat is ontworpen om effectief gebruik te maken van linguïstisch redeneren voor generaliseerbare robotmanipulatie zonder te vertrouwen op verplichte CoT tijdens de testtijd.

1. Grootschalige Embodied CoT Corpus

De auteurs hebben de grootste belichaamde CoT-corpus tot nu toe samengesteld, bestaande uit:

• 978.743 trajecten
• 226,3 miljoen samples
• 2.592,5 uur aan data
• Bronnen omvatten Bridge, Fractal, Droid, MolmoAct en AgiBot datasets.

De data is gestructureerd in een hiërarchisch schema dat redeneren onderverdeelt in vier categorieën:

• Understanding (Begrip): Taakdoelen en intentie.
• Grounding (Gronding): Ruimtelijke uitlijning met visuele entiteiten (bijv. object bounding boxes, grijperposities).
• Planning (Planning): Subtaakdecompositie en voortgangsbewaking.
• Acting (Actie): Actie-georiënteerde bewegingsbeschrijvingen en toekomstige punt-trajecten.

2. Modelarchitectuur

ERVLA integreert een Vision-Language Reasoning module met een Diffusion-gebaseerde Action module:

• Backbone: Een VLM (specifiek Qwen3-VL-4B) verwerkt visuele observaties en tekstinstructies. In tegen tegenstelling tot "ThinkAct"-stijlen die planning en actie scheiden, injecteert ERVLA actie-gevoelige supervisie direct in de VLM.
• Action Head: Een Diffusion Transformer (DiT) genereert continue robotacties via flow matching.
• Knowledge Truncation (Kennis-truncatie): De DiT conditioneert alleen op de key-value (KV) cache van het semantische prefix (redenering) van de VLM, exclusief toegevoegde control-query tokens. Dit voorkomt dat het actiemodel synthetische shortcuts exploiteert en vermindert interferentie van trainingsspecifieke tokenpatronen.
• Auxiliary Action Queries (Auxiliaire Actie-queries): De VLM wordt getraind met een hulp-actie-regressieverlies via query tokens. Dit stuurt de backbone aan om actie-relevante semantiek te begrijpen, in plaats van enkel tekst te produceren.

3. Trainingsstrategie: CoT-Dropout

Een centrale innovatie is de CoT-dropout strategie. Tijdens de training wordt het model blootgesteld aan samples met expliciete CoT-supervisie en samples zonder deze (waar de CoT-span leeg is) met een bepaalde waarschijnlijkheid ($p_{cot}$).

• Doel: Dit stelt het model in staat om rijke redeneersporen te gebruiken tijdens de training om zijn interne representaties te vormen, maar stelt het in staat om tijdens de inferentie direct acties te voorspellen zonder CoT.
• Voordeel: Dit omzeilt de autoregressieve instabiliteit van CoT-prefixes, verzacht "CoT-contaminatie" door ruisgevoelige labels, en behandelt redeneren als een signaal dat de representatieruimte vormgeeft in plaats van een verplichte verbale output.

Belangrijkste Bijdragen

1. Dataset Constructie: Creatie van de grootste en meest uitgebreide belichaamde CoT-corpus, met multi-view en bimanuele instellingen met gestructureerde, hiërarchische annotaties.
2. Empirische Analyse van CoT-signalen: Door middel van uitgebreide ablatie-studies identificeren de auteurs dat:
   • Hoge-niveau semantisch begrip alleen marginale winst oplevert.
   • Effectieve CoT hoge-niveau semantiek moet funderen in concrete linguïstische actiebegeleiding (bijv. end-effector beweging, trajecten in de afbeelding).
   • Expliciete CoT niet betrouwbaar schaalt als een autoregressief actie-prefix vanwege cumulatieve fouten.
   • Ruisgevoelige grondingsvelden (bijv. instabiele bounding boxes) schadelijk kunnen zijn, tenzij geregulariseerd via reasoning dropout.
3. ERVLA Model: Een nieuwe VLA-architectuur die redeneren internaliseert in actie-bewuste representaties. Het bereikt state-of-the-art prestaties door expliciete CoT-supervisie, reasoning dropout, auxiliary action queries en knowledge-truncated conditioning te combineren.
4. Scaling Insights: Het paper toont aan dat belichaamde CoT effectief schaalt wanneer redeneersupervisie en actieverliezen gezamenlijk worden geoptimaliseerd in de representatieruimte, in plaats van te worden behand als letterlijke autoregressieve targets.

Experimentele Resultaten

De auteurs evalueerden ERVLA op simulatie-benchmarks en fysieke robotplatforms.

Simulatie Benchmarks

• LIBERO-Plus: ERVLA bereikte een state-of-the-art succespercentage van 86,9%, waarmee het concurrerende baselines zoals $\pi0.5$ (85,5%) versloeg. Het demonstreerde sterke zero-shot generalisatie, met een succespercentage van 100% op variaties in achtergrond en verlichting in de Spatial track.
• VLABench: ERVLA behaalde een gemiddeld succespercentage van 53,2%, waarmee het sterke baselines versloeg in uitdagende out-of-distribution settings die semantisch begrip en instructie-opvolging vereisen.
• Scaling: Experimenten toonden aan dat ERVLA profiteert van toegenomen belichaamde CoT pre-training data, terwijl autoregressieve CoT+actie-token modellen degraderen naarmate de data schaalt door de accumulatie van ruis.

Real-Robot Experimenten

Gedeplyoed op fysieke robots met third-person en wrist camera's, werd ERVLA getest op taken met betrekking tot ladeplaatsing en tafel opruimen over vier moeilijkheidsgraden: Basic, Distractors, Semantic, en Long-horizon.

• Prestaties: ERVLA presteerde beter dan baselines (ECoT, WorldVLA, UniVLA, $\pi0.5$), met name bij het afhandelen van semantische ambiguïteit (bijv. "leg het object weg dat geen fruit is") en long-horizon taken.
• Robuustheid: Terwijl baselines worstelden met autoregressieve latentie en foutpropagatie, maakte het vermogen van ERVLA om redeneren te internaliseren voor een robuustere uitvoering onder semantische verschuivingen en distractoren.

Betekenis en Claims

Het paper betoogt dat belichaamde CoT minder moet worden begrepen als een outputformaat (een robot die "meer zegt") en meer als een interface tussen semantisch redeneren en actie-leren.

• Kernstelling: Redeneren is gunstig voor robotpolicies niet door langer of explicieter te zijn, maar wanneer de supervisie betrouwbaar, actie-relevant en geïntegreerd is in het beleid op een manier die representaties vormgeeft in plaats van de decoding te belasten.
• Foutmodi: Het werk benadlicht dat naïeve autoregressieve koppeling van CoT en actie leidt tot scaling-fouten en dat ruisgevoelige grondingssignalen het leren kunnen contamineren als ze niet worden geregulariseerd.
• Toekomstige Richting: De auteurs positioneren ERVLA als een fundament voor toekomstig onderzoek naar reasoning-aware robot learning, waarbij de nadruk ligt op de noodzaak van betrouwbare gronding-supervisie, adaptieve test-time reasoning, en architecturen die redeneren behandelen als een leerbare brug van perceptie naar actie in plaats van verbale decoratie.

Het paper concludeert dat de sleutel tot generaliseerbare robotmanipulatie ligt in het converteren van gepre-trainde semantische priors naar actie-relevante representaties via gestructureerd, geïnternaliseerd redeneren, in plaats van te vertrouwen op expliciete verbale sporen tijdens de uitvoering.