Technische Samenvatting: Adaptief Fout-Geïnformeerd Leren (AFIL) voor Vision-Language-Action Modellen

1. Probleemstelling

Vision-Language-Action (VLA) modellen zijn opgekomen als een schaalbaar paradigma voor robotische manipulatie, waarbij gebruik wordt gemaakt van groot-schalig voorgetrainde visueel-taalkundige representaties om belichaamde besluitvorming mogelijk te maken. Echter, huidige VLA-modellen lijden tijdens implementatie aan aanzienlijke broosheid. Deze beperking vloeit voornamelijk voort uit hun afhankelijkheid van gedragkloonen op basis van enkel succes. Trainingsdata bestaat doorgaans uit geteleopereerde trajecten die zijn verzameld in afgeperkte omgevingen, welke geen corrigerende signalen bevatten voor suboptimale of onbekende toestanden.

Gevolg hiervan is dat beleidsplannen die uitsluitend zijn getraind op succesvolle demonstraties de neiging hebben om te overfitten op smalle gedragsmanifolden. Wanneer kleine uitvoeringsfouten optreden, versterken deze zich snel tot onherstelbare, buiten-de-verdeling (out-of-distribution) fouten. Hoewel recent werk suggereert dat leren uit foutdata de robuustheid kan verbeteren, staan bestaande benaderingen voor kritieke beperkingen:

• Handmatig Ontwerp: Veel methoden vertrouwen op handgemaakte fouttaxonomieën (bijvoorbeeld het definiëren van specifieke categorieën zoals "glijden" of "onvolledige greep"), wat domeinexpertise vereist en faalt in het vastleggen van de stochastische diversiteit van fouten in de echte wereld.
• Menselijke Afhankelijkheid: Herstel hangt vaak af van taakspecifieke heuristieken of real-time menselijke interventie, wat de schaalbaarheid beperkt.
• Rekenkosten: Het toepassen van negatieve sturing (vergelijkbaar met negatieve prompting bij beeldgeneratie) op sequentiële robotische acties is niet triviaal. Conventionele methoden vereisen vaak aparte modellen voor gewenste en ongewenste verdelingen, wat rekenkundig onhaalbaar is voor VLA-systemen die zijn gebouwd op grote Vision-Language Model (VLM) backbones.

2. Methodologie: Adaptief Fout-Geïnformeerd Leren (AFIL)

De auteurs stellen Adaptief Fout-Geïnformeerd Leren (AFIL) voor, een end-to-end framework ontworpen voor op diffusie- en flow-matching gebaseerde VLA-beleidsplannen. AFIL maakt gebruik van fouttrajecten als adaptieve negatieve sturing om de actiegeneratie weg te sturen van gebieden die vatbaar zijn voor fouten.

2.1 Dual Action Generator (DAG) Architectuur

AFIL introduceert een Dual Action Generator (DAG) architectuur die gezamenlijk leert van zowel succes- als foutdata, terwijl parameter-efficiëntie wordt behouden:

• Gedeelde Backbone: Beide generators delen een gemeenschappelijke voorgetrainde VLM-backbone ($\Phi_{VLM}$) voor visuele perceptie en semantische verankering.
• Dubbele Koppen: De architectuur maakt gebruik van twee distincte actiegenerators:
  1. Succes Generator ($\mathcal{G}_{succ}$): Uitsluitend getraind op succesvolle trajecten om de verdeling $p_{succ}(a | o, \ell)$ te modelleren.
  2. Fout Generator ($\mathcal{G}_{fail}$): Uitsluitend getraind op fouttrajecten om de verdeling $p_{fail}(a | o, \ell)$ te modelleren.
• Online Foutgeneratie: In plaats van te vertrouwen op handmatige annotatie, genereert AFIL fouttrajecten online door een voorgetrainde VLA onder taak-geconditioneerde uitvoering te laten rollen. Deze trajecten vangen op natuurlijke wijze emergente en zich versterkende foutmodi.

2.2 Trainingsstrategie

Het model wordt getraind op een gemengde dataset $\mathcal{D} = \{\mathcal{D}_s, \mathcal{D}_f\}$.

• Voor op diffusie gebaseerde beleidsplannen voorspelt elke generator ruis $\epsilon_\theta$ en minimaliseert het standaard diffusiedoel op zijn respectieve dataset.
• Voor flow-matching beleidsplannen voorspellen de koppen snelheidsvelden om steekproeven van ruis naar de dataverdeling te transporteren.
• Cruciaal blijven de onderliggende generatieve trainingsdoelen ongewijzigd; de innovatie ligt in de gezamenlijke trainingsstructuur en het sturingsmechanisme tijdens de inferentie.

2.3 Adaptief Fout-Geïnformeerd Sampling

Tijdens inferentie hanteert AFIL een dynamisch sturingsmechanisme, geïnspireerd op Negatieve Prompting bij tekst-naar-beeldgeneratie. In plaats van een statische gids-schaal te gebruiken, modereert AFIL adaptief de sterkte van de negatieve sturing op basis van de divergentie tussen de succes- en foutvoorspellingen bij elke diffusiestap.

De geleide score $\epsilon^*_{FI}$ wordt berekend als:
$$\epsilon^*_{FI} = \epsilon_{succ} - \hat{\lambda}_\eta(\mathbf{a}^\eta) (\epsilon_{fail} - \epsilon_{succ})$$
Waarbij de adaptieve gids-schaal $\hat{\lambda}_\eta$ wordt bepaald door de cosinus-similariteit tussen de voorspelde ruismomenten van de succes- en foutgenerators:
$$\hat{\lambda}_\eta(\mathbf{a}^\eta) = \alpha (1 - \cos(\epsilon_{succ}, \epsilon_{fail}))$$

Redenatie voor Adaptiviteit:

• Vroege Stadia: Aan het begin van een episode delen succesvolle en gefaalde rollouts vaak vergelijkbare reikbewegingen. Hier is de cosinus-similariteit hoog, wat resulteert in een lage gids-schaal om het onderdrukken van geldige acties te voorkomen.
• Divergentie Stadia: Naarmate het traject vordert, als een foutmodus optreedt (bijvoorbeeld het laten vallen van een object), divergeren de voorspellingen. De cosinus-similariteit neemt af, waardoor de gids-schaal toeneemt om het beleid actief af te stoten van de foutmanifold en het te sturen naar corrigerend gedrag.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. AFIL Framework: De introductie van Adaptief Fout-Geïnformeerd Leren voor op diffusie- en flow-gebaseerde VLA's, waarbij online gegenereerde foutrollouts worden gebruikt als een principieel vorm van adaptieve negatieve sturing voor sequentiële actiegeneratie.
2. DAG-VLA Architectuur: Een nieuwe architectuur die gezamenlijk succes- en foutgedrag leert met een gedeelde VLM-backbone, wat efficiënt foutbewust beleidsleren mogelijk maakt met beperkte parameter-overhead.
3. Empirische Validatie: Aantonen dat AFIL consistent de successpercentages en robuustheid verbetert over diverse binnen-domein en buiten-domein manipulatietaakken, inclusief zowel korte- als lange-horizon instellingen.

4. Experimentele Resultaten

De auteurs evalueerden AFIL op de ManiSkill en LIBERO benchmarks met behulp van een $\pi0.5$ backbone.

4.1 Binnen-Domein Prestaties (ManiSkill)

• Korte-Horizon Taken: AFIL verbeterde de successpercentages aanzienlijk ten opzichte van baselines die alleen op succes waren getraind. Bijvoorbeeld, bij "Lift the peg upright" steeg het succespercentage van 70,7% (Alleen Succes) naar 90,7% (Adaptief-FIL).
• Lange-Horizon Taken: De winst was het meest uitgesproken in complexe, meerstaps taken waar fouten zich versterken. Bij "Place can on the plate and banana on the plate" steeg het succespercentage van 39,3% naar 71,3%, wat meer dan 12% beter presteerde dan statisch fout-geïnformeerd sampling.
• Ablatie: De studie bevestigde dat adaptieve sturing ($\alpha=1.0$) beter presteert dan statische sturing, met name in het balanceren van de afstoting van foutmodi zonder geldige acties tijdens vroege trajectstadia te onderdrukken.

4.2 Benchmark Evaluatie (LIBERO)

• AFIL bereikte state-of-the-art prestaties over alle vier LIBERO suites (Spatieel, Object, Doel en Lang).
• Op de uitdagende LIBERO-10 (lange-horizon) suite verbeterde de methode de prestaties van de baseline $\pi0.5$ van 92,4% naar 95,8%.
• Het gemiddelde succespercentage over alle suites verbeterde van 96,9% naar 98,4%, wat aantoont dat zelfs sterke voorgetrainde beleidsplannen profiteren van adaptieve foutsturing.

4.3 Buiten-Domein (OOD) Evaluatie

• In scenario's met onbekende objecten, nieuwe geometrieën en rommelige omgevingen degradeerde het alleen-op-succes beleid aanzienlijk (bijvoorbeeld 10,7% bij Fruit Sorting).
• AFIL demonstreerde robuuste generalisatie, met een succespercentage van 64,0% bij Fruit Sorting, wat aanzienlijk beter presteerde dan zowel de alleen-op-succes baseline als de "Succes + Foutcorrectie" baseline zonder adaptieve sturing.

5. Betekenis en Claims

Het artikel claimt dat AFIL een schaalbaar en efficiënt mechanisme biedt voor robuuste robotische actiegeneratie zonder dat er behoefte is aan:

• Handgemaakte foutmodi of taxonomieën.
• Taakspecifieke herstelheuristieken.
• Aparte, groot-schalige VLA-modellen voor foutdetectie.

Door foutverdelingen expliciet te modelleren en deze te gebruiken als adaptieve negatieve sturing, adresseert AFIL de broosheid die inherent is aan training op enkel succes. De auteurs stellen dat deze aanpak een veelbelovende richting biedt voor het ontwikkelen van VLA-beleidsplannen die kunnen generaliseren naar realistische implementatieomgevingen waar fouten, verdelingsverschuivingen en de noodzaak tot herstel onvermijdelijk zijn. De methode wordt gepresenteerd als model-agnostisch, toepasbaar op elke op diffusie- of flow-matching gebaseerde VLA-beleidsplan.