Technische Samenvatting: Van Pixels naar Tokens: Een Systematische Studie van Latente Actie Supervisie voor Vision-Language-Action Modellen

1. Probleemstelling

Vision-Language-Action (VLA) modellen zijn opgekomen als een paradigma voor het leren van generalistische robotische beleidsregels door training op grote datasets. Een kritieke bottleneck blijft echter bestaan: trainingsdata is sterk heterogeen, variërend van inconsistente actieruimten afkomstig van diverse robotplatforms en menselijke video's. Deze heterogeniteit leidt vaak tot prestatiedegradatie als gevolg van mismatchende actiesemantiek tussen domeinen.

Om dit aan te pakken, hebben onderzoekers latente acties voorgesteld als intermediaire representaties om beweging te abstraheren vanuit visuele overgangen of ruwe acties, waardoor een unificatie supervisiessignaal wordt geboden. Ondanks hun potentie blijven benaderingen voor het superviseren van VLA's met latente acties gefragmenteerd. Bestaande methoden variëren van discrete token-supervisie tot aanvullende leerdoelen, waarbij de formulering van latente acties vaak verstrikt raakt met specifieke VLA-architecturale ontwerpen. Bijgevolg blijft de optimale strategie voor het integreren van latente actie-supervisie in VLA-beleidslering onduidelijk.

2. Methodologie

Dit werk structureert de studie van latente actie-supervisie onder een geünificeerde VLA-basislijn (gebaseerd op Qwen3-VL-2B met LoRA-finetuning) om de effecten van formulering en integratie te isoleren. De auteurs categoriseren integratiestrategieën in twee complementaire perspectieven gebaseerd op de mappingsrichting tussen de Vision-Language (VL)-ruimte en actieruimten:

Perspectief 1: Regularisatie van de Trajectorie (Op Beeld Gebaseerde Latente Acties)

Dit perspectief gebruikt op beelden gebaseerde latente acties als hoog-niveau visuele plannen om de besluitvorming van het VLM te sturen. De auteurs stellen drie strategieën voor:

• Strategie 1: Impliciete Representatie-Alignering (LA-Align): Een aanvullend doel aligneert interne VLM-representaties (specifiek verborgen staten van actie-placeholders) met ground-truth continue latente actie-embeddings afgeleid van visuele overgangen, gebruikmakend van cosinus-ähnelijkheid.
• Strategie 2: Expliciete Directe Decoding (LA-Direct): Het VLM wordt direct gesuperviseerd om op beelden gebaseerde latente acties te voorspellen als een reeks discrete tokens op toegewijde placeholder-posities. Het continue actieblok wordt vervolgens gedecodeerd uit deze latente tokens.
• Strategie 3: Expliciete Conditionele Decoding (LA-Cond): Het VLM voorspelt gezamenlijk latente plannen en actie-representaties. Het actiesegment is geconditioneerd op het voorspelde latente plan via causale attention masking, waardoor een "plan-then-act" generatiestroom wordt afgedwongen.

Perspectief 2: Unificatie van de Doelruimte (Op Actie Gebaseerde Latente Acties)

Dit perspectief overbrugt de modale kloof door het supervisiedoel zelf te herformuleren.

• Strategie 4: Actie-naar-Token Mapping (LA-Tok): Continue actieblokken worden gediscretiseerd naar een gedeelde tokenruimte met behulp van een aangepast op actie gebaseerd latent actie-model (een VQ-VAE met frequentiedomein- en temporele convolutiekenmerken). Het VLM wordt vervolgens direct gesuperviseerd om deze discrete actie-tokens te voorspellen als het primaire trainingsdoel.

Geünificeerd Doel: Alle strategieën delen dezelfde backbone, placeholder-ontwerp en actie-head. Het trainingsdoel combineert de standaard continue actie-reconstructieverlies ($L_{action}$) met een latente supervisie-verlies ($L_{latent}$), gebalanceerd door een gewicht $\lambda$.

3. Belangrijkste Bijdragen

Het paper levert drie primaire bijdragen:

1. Systematische Studie: Het isoleert de effecten van latente actie-formulering en architecturale integratie onder een geünificeerde basislijn, en gaat verder dan het evalueren van specifieke modellen naar het begrijpen van het supervisiemechanisme zelf.
2. Categorisatie en Voorstel: Het definieert twee complementaire perspectieven (Trajectorie-regularisatie versus Doel-unificatie) en stelt vier distincte integratiestrategieën voor.
3. Empirische Analyse: Het biedt uitgebreide empirische analyse die een "formulering-taak-correspondentie" blootlegt en de meest effectieve supervisiesignalen identificeert.

4. Experimentele Resultaten

De auteurs evalueerden de vier strategieën op de LIBERO-benchmarks (redeneren op lange horizon) en RoboTwin 2.0 (motorisch complex, dubbelarmig), evenals real-world experimenten op een JAKA-robotarm.

Belangrijkste Bevindingen:

• Formulering-Taak Correspondentie:
  • Op beelden gebaseerde latente acties (Strategieën 1–3) komen redeneren op lange horizon en generalisatie op sceneniveau significant ten goede. Op LIBERO-Long verbeterden deze strategieën de successpercentages met 8,4%–10,8% ten opzichte van de basislijn. In real-world stapeltaken toonden ze superieure prestaties in multi-stap manipulatie.
  • Op actie gebaseerde latente acties (Strategie 4) blinken uit in complexe motorische coördinatie. Op RoboTwin 2.0 behaalde LA-Tok de beste prestaties, met een verbetering van het gemiddelde succespercentage met 17,5% ten opzichte van de basislijn, waarschijnlijk vanwege het gestructureerde supervisiessignaal geboden door het discretiseren van continue acties.
• Optimale Integratiestrategie:
  • Expliciete supervisie (het voorspellen van discrete tokens) presteerde consequent beter dan impliciete alignering.
  • Het direct superviseren van het VLM om discrete latente actie-tokens te voorspellen (LA-Direct en LA-Tok) leverde overall de meest effectieve prestaties op. LA-Direct leidde op LIBERO, terwijl LA-Tok leidde op RoboTwin.
  • Discreet versus Continu: Discrete token-supervisie presteerde consequent beter dan continue regressie van latente embeddings, wat suggereert dat tokenisatie een sterkere architecturale beperking biedt.
• Robuustheid en Generalisatie:
  • Latente actie-supervisie verbeterde consequent de robuustheid in Out-of-Distribution (OOD) real-world pick-and-place taken, waarbij de basislijn significant degradeerde (bijv. daalde het OOD-gemiddelde score van 17 naar 75 voor LA-Direct).
  • In multi-taak gezamenlijke training mitigeerde latente actie-supervisie (specifiek LA-Cond) negatieve transfer, waardoor een enkel model diverse taken kon leren zonder de prestatie-instabiliteit die bij de basislijn werd waargenomen.

5. Betekenis en Claims

Het paper claimt dat latente acties dienen als een effectieve intermediaire representatie voor VLA-training, en praktische richtlijnen biedt voor het trainen van generalistische robotische beleidsregels. De kernbetekenis ligt in de bevinding dat de keuze van latente actie-formulering taakafhankelijk moet zijn:

• Gebruik op beelden gebaseerde latente acties voor taken die planning op lange horizon en scenbegrip vereisen.
• Gebruik op actie gebaseerde latente acties voor taken die complexe, hoog-dimensionale motorische controle vereisen.
• Het direct superviseren van het VLM met discrete latente tokens is over het algemeen de meest effectieve integratiestrategie, en biedt een eenvoudige en consistente supervisiedoel die de sample-efficiëntie en robuustheid verbetert.

De auteurs concluderen dat hoewel hun studie representatieve ontwerpen bestrijkt, het een fundamenteel kader biedt voor het selecteren van strategieën voor latente actie-supervisie, wat een veelbelovende richting suggereert voor toekomstige VLA-training in gemengde-data omgevingen. Zij erkennen beperkingen, waaronder de reikwijdte van onderzochte integratiestrategieën en de huidige beperking tot real-world evaluaties met enkelarmige robots, en identificeren diverse robot-embodiments als een richting voor toekomstig werk.