Thinking in Text and Images: Interleaved Vision--Language Reasoning Traces for Long-Horizon Robot Manipulation

1. Probleemstelling

Robotmanipulatie op lange termijn vereist beleidsregels die aan twee tegenstrijdige eisen voldoen: causale coherentie (het handhaven van de logische volgorde van subdoelen) en geometrische verankering (precieze ruimtelijke positionering).

• Beperkingen van huidige methoden:
  • Standaard VLA-beleidsregels (Vision-Language-Action): Verbergen planning doorgaans in latente toestanden. Ze lijden vaak aan "temporele myopie", waarbij ze de staat over lange sequenties niet kunnen handhaven of stappen in de verkeerde volgorde uitvoeren.
  • Alleen tekstuele Chain-of-Thought (CoT): Codeert causale orde goed, maar mist de specifieke ruimtelijke pose, contactgeometrie en details van doelplaatsing die nodig zijn voor laag-niveau controle.
  • Visuele voorspelling/Wereldmodellen: Bieden geometrische aanwijzingen, maar blijven vaak lokaal en semantisch onderbeperkt, wat leidt tot plausibele maar taak-onjuiste visuele toekomstbeelden.
• Het gat: Er ontbreekt een expliciete tussenliggende representatie die tegelijkertijd de semantische logica (tekst) en de geometrische staat (visie) over de hele taakhorizon vastlegt.

2. Methodologie: Interleaved Vision–Language Reasoning (IVLR)

De auteurs stellen IVLR voor, een raamwerk dat draait om de IVLR-Trace, een expliciete tussenliggende representatie die tekstuele subdoelen afwisselt met visuele sleutelframes.

A. Kernrepresentatie: IVLR-Trace

De trace is een reeks van stadia $z = [(c^{(1)}, k^{(1)}), \dots, (c^{(N)}, k^{(N)})]$, waarbij:

• $c^{(i)}$: Een tekstueel subdoel (bijschrift) dat de causale rol van het stadium beschrijft.
• $k^{(i)}$: Een visueel sleutelframe (RGB-afbeelding) dat de beoogde ruimtelijke staat voor dat stadium verankert.
  Dit creëert een "storyboard voor de volledige horizon" dat het redeneren van de robot zichtbaar en ablateerbaar maakt.

B. Architectuur

Het systeem maakt gebruik van een enkele native multimodale transformer (geïnitieerd vanuit Show-o2 1.5B) met twee onderscheiden fasen:

1. Redeneringsfase (t=0):
   • Invoer: Initiële observatie ($o_0$) en taakinstructie ($I$).
   • Proces: Het model genereert de volledige IVLR-Trace.
   • Mechanisme: Tekst wordt autoregressief gedecodeerd via een taalhoofd; visuele sleutelframes worden gegenereerd via een flow-matching hoofd (voorspelling van vectorvelden om ruis naar doel-laten te transporteren).
2. Uitvoeringsfase (t>0):
   • Invoer: Huidige observatie ($o_t$), originele instructie ($I$) en de gecacheerde trace ($z$).
   • Proces: Een gesloten-lus actie-decoder voorspelt continue acties ($a_t$).
   • Mechanisme: Het actietoken richt zich op de volledige gecacheerde trace en de live observatie, waardoor het model dynamisch relevante delen van het plan kan selecteren op basis van de huidige staat zonder een hard-gecodeerde stadiumpointer.

C. Pseudo-supervisie-pijplijn

Omdat standaard robotdatasets geen interleaved traces bevatten, hebben de auteurs een pijplijn opgezet om pseudo-traces te genereren voor training:

1. Segmentatie: Gebruik de Universal Visual Decomposer (UVD) om demonstratietrajecten op te splitsen in stadia op basis van onderbrekingen in monotonie van visuele embeddings.
2. Selectie van sleutelframes: Het laatste frame van elk segment wordt het visuele sleutelframe ($k^{(i)}$).
3. Bijschriften: Een Vision-Language Model (Qwen3-VL) genereert een gestructureerd tekstbijschrift ($c^{(i)}$) dat de grijper-objectinteractie en ruimtelijke relaties voor elk stadium beschrijft.

D. Trainingsdoel

De totale loss combineert drie componenten:

• $L_{text}$: Next-token cross-entropy voor bijschriften.
• $L_{flow}$: Flow-matching loss voor visuele sleutelframes.
• $L_{action}$: L1-loss voor voorspelling van continue acties.
• Robuustheid: Tijdens training worden willekeurige trace-ruis en dynamische contextmaskering toegepast om overmatige afhankelijkheid van perfecte traces te voorkomen.

3. Belangrijkste Bijdragen

1. Expliciete IVLR-Trace: Formulering van een volledige horizon, interleaved reeks van tekst en RGB-sleutelframes die dient als semantisch-geometrische interface voor VLA-besturing.
2. Gefuseerde Architectuur: Implementatie in een enkele native multimodale transformer die het plan één keer genereert en de gesloten-lus uitvoering baseert op de gecacheerde trace.
3. Schaalbare Pseudo-Trace Constructie: Een pijplijn die UVD en VLM's gebruikt om ongestructureerde robotdemonstraties op te waarderen met gestage multimodale supervisie.
4. Empirische Validatie: Aantonen dat interleaved traces significant beter presteren dan unimodale baselines in taken op lange termijn en robuust zijn tegen matige uitvoeringsdrift en trace-corruptie.

4. Experimentele Resultaten

De methode werd geëvalueerd op LIBERO (gesimuleerde manipulatie) en SimplerEnv-WidowX (visuele distributieverandering).

• Hoofdprestatie (LIBERO):

  • IVLR: Bereikte 95,5% gemiddeld succes.
  • LIBERO-Long (Lange horizon): Bereikte 92,4%, significant beter dan CoT-VLA (69,0%) en VLA-0 (87,6%).
  • SimplerEnv-WidowX: Bereikte 59,4% algeheel succes, beter dan SpatialVLA (42,7%).

• Ablatiestudies (De Noodzaak van Interleaving):

  • Geen Trace: Succes daalt naar 37,7% op LIBERO-Long.
  • Alleen Tekst-Trace: 62,0% (Goed voor orde, mist ruimtelijke ankers).
  • Alleen Visie-Trace: 68,4% (Goed voor geometrie, mist semantische sequentie).
  • Volledige IVLR: 92,4% (Bewijst dat tekst en visie complementair zijn, niet uitwisselbaar).

• Robuustheid Stress-tests:

  • Uitvoeringsperturbatie: Met een willekeurige verplaatsing van 2 cm van het eind-effector daalde het succes slechts matig (95,5% $\to$ 92,1%), wat aantoont dat de gesloten-lus aard kleine slips kan herstellen.
  • Trace-corruptie: Het maskeren van 30% van de tekst- of visuele tokens resulteerde in matige degradatie (tot ~90-92%), wat aangeeft dat het systeem lokale ontbrekende inhoud tolereert.

5. Betekenis en Beperkingen

Betekenis:

• Expliciet Redeneren: Verschuift het paradigma van impliciete latente planning naar expliciet, inspecteerbaar en controleerbaar multimodaal redeneren.
• Schalbaarheid: Toont aan dat pseudo-superviserende traces beleidsregels effectief kunnen trainen voor complexe, meerstaps taken zonder door mensen gelabelde symbolische plannen.
• Complementariteit: Valideert dat het combineren van semantische logica (tekst) met geometrische verankering (visie) cruciaal is voor succes op lange termijn.

Beperkingen:

• Latentie: Het genereren van de volledige trace duurt ongeveer 10 seconden (op een H20 GPU) voordat de uitvoering begint, wat een knelpunt is voor dynamische omgevingen.
• Statische Aannames: De methode gaat uit van een volledig waargenomen, statische werkruimte bij $t=0$. Als het tafereel drastisch verandert (bijv. objectverwijdering, occlusie) na planning, wordt de gecacheerde trace verouderd.
• Alleen Simulatie: Resultaten zijn momenteel beperkt tot gesimuleerde benchmarks; implementatie op echte robots vereist verdere validatie.

Toekomstige Richtingen:
De auteurs suggereren het verkennen van asynchroon plannen tijdens handelen (het genereren van toekomstige trace-stadia terwijl huidige worden uitgevoerd) en zelf-geactiveerde herplanning om om te gaan met dynamische veranderingen in het tafereel.