BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation

Technische Samenvatting: BagelVLA

1. Het Probleem: De kloof in lange-termijn manipulatie

Huidige Vision-Language-Action (VLA) modellen, die bedoeld zijn om robots aan te sturen via natuurlijke taal en visuele input, kampen met een fundamenteel probleem bij complexe taken die een lange tijdspanne beslaan (long-horizon manipulation). De meeste bestaande modellen behandelen verschillende cognitieve vaardigheden als geïsoleerde modules:

• Linguïstische planning: Modellen kunnen instructies begrijpen, maar missen visuele vooruitziendheid.
• Visuele voorspelling: Modellen kunnen voorspellen hoe een scène eruitziet, maar missen het logische redeneervermogen om complexe stappen te plannen.
• Actie-generatie: Modellen kunnen bewegingen uitvoeren, maar begrijpen vaak de causale keten van een taak niet.

Dit gebrek aan integratie leidt tot suboptimale prestaties wanneer een robot een reeks opeenvolgende subtaken moet uitvoeren (bijv. "stapel blokken in een specifieke volgorde").

2. Methodologie: Interleaved Planning

De auteurs stellen BagelVLA voor, een uniek framework dat drie cruciale processen integreert in één enkele Transformer-architectuur via een proces genaamd Interleaved Planning. In plaats van een directe mapping van instructie naar actie, dwingt het model zichzelf om de volgende keten te doorlopen:

1. Linguïstische Planning: Het model deelt de globale instructie op in een specifieke tekstuele subtaak ($l_t$).
2. Visuele Voorspelling (Visual Forecasting): Op basis van de subtaak voorspelt het model de toekomstige visuele staat (het keyframe $v_{t+k}$) als een "wereldmodel".
3. Actie-generatie: De uiteindelijke actie ($a_t$) wordt gegenereerd, waarbij het model zowel de tekstuele planning als de voorspelde visuele dynamiek als context gebruikt.

Architectuur & Training:

• Mixture of Transformers (MoT): Het model gebruikt een architectuur met gespecialiseerde experts: een LLM-expert (voor taal), een generatie-expert (voor beelden) en een actie-expert (voor robotbewegingen).
• Twee-fasen training:
  • Fase 1 (Pre-training): Het model leert taalplanning en visuele dynamiek op een enorme hybride dataset van algemene multimodale data en robotdata.
  • Fase 2 (Fine-tuning): Het model wordt getraind op specifieke robotdata met actie-labels om de drie modaliteiten (taal, beeld, actie) naadloos op elkaar af te stemmen.
• Residual Flow Guidance (RFG): Om de rekenkundige vertraging (latency) van beeldgeneratie te minimaliseren, introduceren de auteurs RFG. In plaats van een volledig nieuw beeld te genereren, gebruikt RFG de huidige observatie als een structurele prior en voert een single-step denoising uit om alleen de resterende verandering naar het volgende keyframe te voorspellen.

3. Belangrijkste Bijdragen

• Unified Framework: De eerste integratie van tekstuele redenering, visuele voorspelling en actie-executie binnen één enkele Transformer-architectuur.
• Interleaved Reasoning: Het introduceren van een "multimodale chain-of-thought" waarbij de robot eerst "denkt" (tekst) en "voorstelt" (beeld) voordat hij "doet" (actie).
• RFG-mechanisme: Een efficiënte methode om visuele vooruitziendheid te gebruiken zonder de hoge computationele kosten van volledige videogeneratie, wat real-time controle mogelijk maakt.

4. Resultaten

De prestaties van BagelVLA zijn uitgebreid getest in zowel simulaties (Calvin en Robotwin) als in de echte wereld (met een Aloha-AgileX bimanuele robot):

• Simulatie: BagelVLA verslaat bestaande baselines (zoals $\pi_0$ en RDT) aanzienlijk, vooral in scenario's met ongeziene instructies en willekeurige omgevingen.
• Echte wereld (Basis-taken): Het model vertoont een superieure multitasking-capaciteit en generaliseert beter naar objecten die het tijdens de training niet heeft gezien.
• Echte wereld (Long-horizon): Bij complexe taken zoals het stapelen van blokken in een specifieke volgorde of het oplossen van rekenkundige vergelijkingen met fysieke blokken, presteert BagelVLA veel beter dan modellen zonder expliciete planning. De planning accuracy bereikte bijna 90%.

5. Betekenis en Impact

BagelVLA markeert een belangrijke verschuiving in de robotica: van modellen die simpelweg reactief zijn (input $\rightarrow$ actie) naar modellen die proactief en cognitief zijn (instructie $\rightarrow$ plan $\rightarrow$ visie $\rightarrow$ actie). Door visuele en linguïstische voorspelling expliciet te koppelen aan controle, biedt dit framework een pad naar algemene robots die complexe, menselijke instructies in ongestructureerde omgevingen kunnen begrijpen en uitvoeren.