Technische Samenvatting: Hybride Training voor Vision-Language-Action Modellen

Probleemstelling

Vision-Language-Action (VLA) modellen zijn een veelbelovende aanpak voor algemeen robotbesturing geëvolueerd, waarbij gebruik wordt gemaakt van grote vooraf getrainde Vision-Language Modellen (VLM's) die zijn fijngefineerd op robotdatasets. Er bestaat echter een aanzienlijke knelpunt tussen prestaties en inferentie-efficiëntie. Recente strategieën, zoals Embodied Chain-of-Thought (ECoT), verbeteren de prestaties door modellen te trainen om intermediaire linguïstische "gedachten" (redeneersporen) te genereren voordat acties worden uitgevoerd. Hoewel deze intermediaire outputs de planning en generalisatie van de agent verbeteren, verhogen ze de inferentielatentie aanzienlijk. In robotische manipulatie in de echte wereld, waar taken lange reeksen acties vereisen, heeft deze vertraging een negatief effect op bruikbaarheid en controlefrequentie.

De centrale vraag die door dit werk wordt aangepakt is: Is het genereren van lange chains-of-thought een strikte vereiste om prestatieverbeteringen in VLAs te bereiken? De auteurs veronderstellen dat de prestatiewinsten van CoT niet voortkomen uit het genereren van gedachten tijdens de testfase, maar uit de internalisatie van redeneerpatronen tijdens de training. Zij stellen dat modellen een "geoefende intuïtie" kunnen ontwikkelen (analoog aan System 1-denken in menselijke cognitie) die hen in staat stelt om acties direct met hoge nauwkeurigheid te voorspellen, nadat ze tijdens de trainingsfase hebben geleerd van redeneersporen.

Methodologie: Hybride Training (HyT)

Het artikel introduceert Hybride Training (HyT), een raamwerk dat is ontworpen om VLAs in staat te stellen te leren van redeneersporen terwijl ze de mogelijkheid behouden om snelle, directe actie-inferentie uit te voeren.

Kernconcept

HyT behandelt de VLA als een enkel model dat in staat is om meerdere conditionele verdelingen te leren op basis van een modaal variabele ($m$). In plaats van aparte modellen te trainen voor "denken" (ECoT) en "handelen" (standaard VLA), optimaliseert HyT gezamenlijk één set parameters ($\theta$) om drie verschillende modi te hanteren:

1. Act Mode ($m_a$): Het model voorspelt acties direct, uitsluitend geconditioneerd op de observatie en taakbeschrijving ($p(a_t | x_t, l)$). Dit nabootst standaard VLA-inferentie.
2. Think Mode ($m_\tau$): Het model voorspelt eerst intermediaire gedachten ($\tau_t$) en vervolgens acties geconditioneerd op die gedachten ($p(a_t, \tau_t | x_t, l)$), vergelijkbaar met ECoT.
3. Follow Mode ($m_f$): Het model voorspelt acties geconditioneerd op verstrekte gedachten/instructies van een externe bron (bijvoorbeeld een mens of orakel), optredend als een laag-niveau beleid in een hiërarchisch systeem ($p(a_t | x_t, \tau_t, l)$).

Trainingsdoel

Het trainingsdoel is geformuleerd als een gewogen som van negatieve log-waarschijnlijkheidsverliezen voor elke verdeling:
$$\min_{\theta} \mathcal{L}_{hyt}(\theta) = w_\alpha \mathcal{L}_{act}(\theta) + w_\tau \mathcal{L}_{think}(\theta) + w_f \mathcal{L}_{follow}(\theta)$$

Om te voorkomen dat de batchvariabiliteit wordt verminderd (wat zou gebeuren als elk datapunt alle drie de modi zou bevatten), hanteren de auteurs een Monte Carlo-schatting. Tijdens de training worden voor elke batch de inputs en outputs door het model bemonsterd volgens de kansen die worden gedefinieerd door de coëfficiënten ($w_\alpha, w_\tau, w_f$). In de experimenten gebruiken de auteurs coëfficiënten $\{w_\alpha: 0.25, w_\tau: 0.5, w_f: 0.25\}$, waarbij prioriteit wordt gegeven aan de "think"-verdeling om het leersignaal van redeneersporen te maximaliseren.

Inferentieflexibiliteit

Tijdens de testfase wordt de modale variabele expliciet ingesteld om het gedrag van het model te controleren:

• Standaard (Act): Het model wordt geïnstrueerd met $m = \langle act \rangle$ om direct acties uit te voeren. Dit behoudt de inferentiesnelheid van standaard VLAs (ongeveer 3 Hz op A100 GPU's) terwijl het profiteert van de kennis die tijdens de training is geïnternaliseerd.
• Alternatieve Modi: Het model kan worden omgeschakeld naar "think"-modus voor interpreteerbaarheid of "follow"-modus om fijnmazige instructies uit te voeren die worden verstrekt door een orakel of mens.

Belangrijkste Bijdragen

1. HyT Framework: Een nieuwe trainingsstrategie die standaard VLA-training, ECoT en hiërarchisch instructievolgen verenigt in één modelarchitectuur.
2. Ontkoppeling van Training en Inferentie: Het aantonen dat modellen kunnen leren van redeneersporen (CoT) tijdens de training, maar acties direct uitvoeren tijdens de inferentie, waardoor het redeneerproces effectief wordt "gedistilleerd" naar de interne representaties van het model zonder inferentielatentie.
3. Flexibele Inferentiemodi: Het vermogen om dynamisch te schakelen tussen directe actievoorspelling, gedachtengeneratie en instructievolgen binnen hetzelfde model, wat een afweging biedt tussen snelheid en interpreteerbaarheid.
4. Empirische Validatie: Uitgebreide evaluatie over gesimuleerde benchmarks (ClevrSkills, LIBERO) en robotische taken in de echte wereld (UFactory xArm 6).

Experimentele Resultaten

Gesimuleerde Benchmarks

• ClevrSkills: HyT-getrainde modellen presteerden consistent beter dan standaard VLAs en overtroffen over het algemeen ECoT en hiërarchische (HiRobot) baselines over alle datasetgroottes (300 tot 3000 demonstraties). Opvallend genoeg toonde HyT de meest significante winsten op complexe taken met een lange horizon.
  • Inferentiesnelheid: HyT en standaard VLAs behaalden ~3 Hz, terwijl ECoT 3x langzamer was en HiRobot 4x langzamer.
  • Data-efficiëntie: HyT-modellen getraind op kleine datasets (300 demos) toonden superieure prestaties in vergelijking met baselines, wat suggereert dat de "think"-verdeling een sterk leersignaal biedt wanneer data schaars is.
• LIBERO: In combinatie met het OFT-recept (Optimized Fine-Tuning) behaalde HyT state-of-the-art resultaten, met name in de "Goal" en "Long" taaksets, en overtrof andere CoT-gebaseerde en standaard VLA-aanpakken.

Experimenten in de Echte Wereld

• Opstelling: Experimenten werden uitgevoerd op een UFactory xArm 6 met een grijper met twee vingers.
• Prestaties: HyT presteerde aanzienlijk beter dan de OpenVLA-baseline, met een totale succesrate van 63% in vergelijking met 41% voor OpenVLA.
• Generalisatie: Het prestatieverschil was het meest uitgesproken bij Out-of-Distribution (OOD) taken (54% versus 29%), wat aangeeft dat HyT het vermogen van het model om te generaliseren naar nieuwe objectopstellingen en scenario's verbetert.
• Kwalitatieve Analyse: HyT-modellen toonden hogere precisie bij het bereiken van pick-and-place-posities en minder fouten bij objectselectie in vergelijking met OpenVLA.

Ablatiestudies

• Coëfficiënten: De "think"-verdeling bleek cruciaal voor kleine datasets, terwijl de "follow"-verdeling de prestaties verbeterde wanneer het model externe orakelinstructies moest volgen.
• Inferentiemodi: In de geëvalueerde settings leverden de "act" en "think" modi vergelijkbare prestaties op, wat de hypothese ondersteunt dat intermediaire gedachtengeneratie niet strikt noodzakelijk is tijdens de testfase voor primitieve manipulatietaken.

Betekenis en Claims

Het artikel beweert dat het primaire nut van CoT-technieken in VLAs is om de geleerde representaties van het model te verbeteren in plaats van te dienen als een verplichte intermediaire stap tijdens de uitvoering. Door de patronen van redeneren te internaliseren, ontwikkelt het model een "expert intuïtie" die robuuste, hoogfrequente controle mogelijk maakt.

De auteurs positioneren HyT als een schaalbare oplossing die de kloof overbrugt tussen hoogpresterend redeneren en real-time robotbesturing. Zij betogen dat hoewel complexe taken die geavanceerd geheugen of redeneren vereisen mogelijk nog steeds profiteren van test-tijd CoT, veel standaard manipulatietaken robuust kunnen worden opgelost met lage inferentiekosten door gebruik te maken van HyT. Het raamwerk biedt een praktische weg naar het implementeren van hoogpresterende VLAs in situaties in de echte wereld waar latentie kritiek is, zonder in te leveren op de generalisatievoordelen van op redenering gebaseerde training.