VLA-Thinker: Boosting Vision-Language-Action Models through Thinking-with-Image Reasoning

Dit paper introduceert VLA-Thinker, een nieuw framework dat Vision-Language-Action-modellen verbetert door visuele waarneming te modelleren als een dynamische redeneeractie, wat via een twee-staps trainingsproces leidt tot aanzienlijk betere prestaties in langdurige robotmanipulatietaken.

De kern

Stel je voor dat je een robot wilt leren om een complexe taak te doen, zoals koffie zetten met een mokapot. De meeste robots die we vandaag de dag hebben, werken als een automatische afwasmachine: ze kijken één keer naar de situatie, denken even na (of beter gezegd: ze kijken naar een vaststaande lijst met instructies) en doen dan hun werk. Als ze halverwege iets verkeerd doen of als de koffiepot net net iets anders staat dan verwacht, raken ze in de war en kunnen ze niet meer verder. Ze kunnen niet "terugkijken" of "scherper kijken".

VLA-Thinker is een nieuwe, slimme robot die leert om te denken terwijl hij kijkt. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: De "Eén-Kijk" Robot

Stel je voor dat je een blindganger bent die een kamer moet opruimen. Je krijgt een foto van de kamer, maar die foto is oud en wazig. Je moet nu een hele kamer opruimen zonder ooit nog naar de kamer te mogen kijken.

• De oude robots doen precies dit. Ze krijgen één beeld, zetten dat in hun hoofd, en proberen alles te doen op basis van dat ene moment. Als de koffiepot verschuift of als ze de knop van het fornuis niet goed zien, maken ze een fout en stoppen ze. Ze kunnen niet zeggen: "Wacht even, ik zie de knop niet goed, ik moet even inzoomen."

2. De oplossing: De "Denkende" Robot (VLA-Thinker)

VLA-Thinker is als een detective die een moordzaak oplost.

• Een detective kijkt niet alleen één keer naar de plaats delict. Hij loopt rond, kijkt scherp naar een verdachte, pakt een vergrootglas (een tool) om een klein detail te zien, en denkt dan weer na over wat hij ziet.
• VLA-Thinker doet hetzelfde. Hij denkt niet alleen in woorden ("Ik moet de koffie zetten"), maar hij gebruikt zijn ogen als een actief gereedschap.
  • Hij denkt: "Ik moet de knop draaien."
  • Hij kijkt: "Hm, ik zie de knop niet goed genoeg."
  • Hij roept een tool op (in dit geval: "Zoom in"): Bing! Plotseling ziet hij de knop heel duidelijk.
  • Hij denkt opnieuw: "Ah, nu zie ik hem! Ik draai hem nu."
  • Hij voert de actie uit.

Dit noemen ze "Thinking-with-Image": denken met beeld. De robot kan tijdens het denken zelf beslissen om de camera in te zoomen of een ander deel van de kamer te bekijken om twijfels weg te nemen.

3. Hoe leren we dit? (De Twee-Stappen Training)

Je kunt een robot niet zomaar verwachten dat hij dit kan. Je moet hem twee dingen leren, net zoals je een kind leert fietsen:

• Stap 1: De "Oefenronde" (SFT Cold Start)
  Eerst laten we de robot kijken naar duizenden voorbeelden van slimme mensen die een taak doen. We laten hem zien hoe ze nadenken, waar ze inzoomen en wat ze doen. Het is alsof we hem een script geven met de beste manieren om te denken en te kijken. Hij leert de vorm van het denken: "Als ik twijfel, moet ik inzoomen."

• Stap 2: De "Proefronde" (GRPO Reinforcement Learning)
  Nu is het tijd om echt te oefenen. We laten de robot de taak zelf doen, maar we geven hem geen directe instructies. We zeggen alleen: "Gefeliciteerd, je hebt het gedaan!" (beloning) of "Nee, dat was fout" (geen beloning).

  • De robot probeert veel verschillende manieren. Soms zoomt hij te veel in (verlies van tijd), soms te weinig (fout).
  • Door duizenden pogingen te doen, leert hij vanzelf: "Ah, ik hoef niet altijd in te zoomen. Alleen als ik het echt niet weet."
  • Hij leert de balans vinden tussen "nadenken/kijken" en "doen".

Waarom is dit zo cool?

In de echte wereld zijn dingen nooit perfect. Licht verandert, objecten verschuiven, en dingen zijn soms verborgen.

• De oude robots vallen snel uit als de situatie niet precies overeenkomt met hun "één keer kijken".
• VLA-Thinker is veerkrachtig. Als hij vastloopt, kan hij zeggen: "Wacht, laat me even beter kijken," en zo de fout corrigeren voordat het te laat is.

Kortom: VLA-Thinker is de eerste robot die leert dat kijken een onderdeel is van het denken. Hij is niet meer een passieve kijker, maar een actieve onderzoeker die zijn eigen ogen gebruikt om problemen op te lossen, net als een mens. Hierdoor kan hij veel langere en moeilijkere taken uitvoeren, zoals het stapelen van borden of het bedienen van een fornuis, zonder te falen.

Technische samenvatting

Probleemstelling

Vision-Language-Action (VLA) modellen zijn een veelbelovende benadering voor ingebouwde intelligentie (embodied intelligence), maar ze kampen met een fundamenteel beperking: ze volgen vaak een passieve, tekstgebaseerde Chain-of-Thought (CoT) paradigma.

• Statische Context: In bestaande VLA-modellen worden visuele waarnemingen één keer gecodeerd als statische embeddings en fungeren ze als een vast kader tijdens het redeneren.
• Gebrek aan Interactie: Het redeneren vindt voornamelijk plaats in de taalruimte, terwijl waarneming passief is. Dit staat haaks op menselijke cognitie, waarbij waarneming actief, iteratief en nauw verweven is met redeneren.
• Gevolg: Modellen kunnen moeilijk ambiguïteiten oplossen, subdoelen bijsturen of herstellen van fouten in lange takenreeksen (long-horizon tasks), omdat ze niet actief terug kunnen keren naar de omgeving om nieuwe visuele informatie op te halen wanneer de situatie onduidelijk wordt.

Methodologie: VLA-Thinker

De auteurs introduceren VLA-Thinker, het eerste VLA-model dat "denken met afbeeldingen" (thinking-with-image) toepast. In plaats van visuele input als statische context te behandelen, wordt waarneming gemodelleerd als een expliciete, dynamisch oproepbare redeneeractie.

1. Kernarchitectuur: Interleaved Perception-Reasoning-Action

Het model doorloopt een iteratief proces waarbij het redeneren, waarnemen en handelen met elkaar verweven zijn:

• Dynamische Tool-gebruik: Tijdens het redeneerproces kan het model een visuele tool oproepen (in dit paper specifiek een "Zoom-in" of "crop" tool) om gedetailleerde informatie uit een specifiek gebied van de afbeelding te halen.
• Traject: Het proces genereert een multimodaal traject: {Tekstelijke redenering, Tool-aanroep, Nieuwe visuele bewijslast, Actie}.
• Besluitvorming: Een controller bepaalt per stap of het model moet doorgaan met redeneren, een visuele tool moet gebruiken om twijfel weg te nemen, of een definitieve actie moet uitvoeren.

2. Tweestaps Trainingsstrategie

Het trainen van zo'n systeem is complex omdat het model moet leren wanneer en hoe het visuele informatie moet opvragen. Hiervoor wordt een tweestaps pipeline gebruikt:

• Fase 1: SFT Cold-Start (Supervised Fine-Tuning)

  • Doel: Het activeren van fundamentele redeneercapaciteiten en het leren van tool-gebruikpatronen.
  • Data: Omdat bestaande datasets geen expliciete CoT-annotaties hebben, synthetiseren de auteurs hoogwaardige "Embodied CoT" data met behulp van een groot taalmodel (Qwen3-VL).
  • Methode: Ze identificeren sleutelframes (waar de grijper van toestand verandert) en genereren gestructureerde redeneringen inclusief tool-aanroepen. Voor tussenliggende frames wordt puur tekstuele CoT gegenereerd om continuïteit te waarborgen.
  • Resultaat: Het model leert de juiste formaten en de causale link tussen visuele onzekerheid en de noodzaak tot een tool-aanroep.

• Fase 2: Reinforcement Learning met GRPO

  • Doel: Het afstemmen van volledige redeneer-actie-trajecten op taaksucces, vooral onder schaarse beloningen (sparse rewards).
  • Methode: Toepassing van Group Relative Policy Optimization (GRPO). In plaats van een waarde-functie te gebruiken, worden groepen van trajecten gegenereerd en relatief aan elkaar geoptimaliseerd.
  • Beloningsfunctie: Bestaat uit een succesbeloning (als de taak voltooid is) en een format-beloning (als de CoT correct gestructureerd is). Er zijn geen tussenbeloningen voor de redenering zelf.
  • Effect: Het model leert niet alleen hoe te redeneren, maar ook wanneer het nuttig is om visuele tools te gebruiken en wanneer het direct moet handelen om redundantie te vermijden.

Belangrijkste Bijdragen

1. VLA-Thinker Framework: Het eerste VLA-model dat waarneming integreert in de redeneerlus als een dynamische actie, waardoor een "Multimodal Embodied Chain-of-Thought" ontstaat.
2. Tweestaps Trainingspipeline: Een combinatie van SFT voor het opstarten van gestructureerd redeneren en GRPO voor het optimaliseren van lange trajecten onder schaarse beloningen. Dit stabiliseert het leren van complexe, multimodale interacties.
3. Validatie van het Paradigma: Het bewijst dat het actief opnieuw bezoeken van de omgeving (via tools) essentieel is voor robuuste besluitvorming in complexe manipulatie-taken.

Resultaten

VLA-Thinker werd getest op twee toonaangevende benchmarks: LIBERO en RoboTwin 2.0.

• LIBERO Benchmark:

  • VLA-Thinker bereikte een succesrate van 97,5% (gemiddeld over alle suites).
  • Dit is een verbetering van +6,5% ten opzichte van de sterke baseline OpenVLA-OFT (91,0%).
  • De grootste winst werd geboekt in de "Long" suite (+10,4%), wat aantoont dat de methode uitstekend presteert bij taken met lange planningshorizons.

• RoboTwin 2.0 Benchmark (Tweearmig):

  • Korte horizon: 62,3% succes (vs. 21,3% voor OpenVLA-OFT).
  • Middellange horizon: 70,7% succes.
  • Lange/Extra lange horizon: 64,6% succes.
  • De prestaties verbeteren naarmate de taakcomplexiteit en het aantal stappen toenemen, wat aantoont dat het model foutoplossing en subdoel-tracking beter beheerst dan concurrenten.

• Ablatie Studies:

  • Alleen SFT zonder RL leverde 95,0% op (bewijst dat gestructureerde data helpt).
  • Alleen GRPO zonder SFT leidde tot een instabiele prestatie van 88,2% (bewijst dat SFT noodzakelijke inductieve bias biedt).
  • De combinatie van beide is cruciaal voor het beste resultaat.

Betekenis en Impact

Dit paper markeert een verschuiving in de ontwikkeling van robotica-modellen van een passieve "observeer-één-keer-en-actie" benadering naar een actieve, iteratieve waarnemings-strategie.

• Robuustheid: Door actief visuele informatie op te halen wanneer twijfel ontstaat, kunnen robots beter omgaan met onzekerheid en fouten herstellen tijdens lange takenreeksen.
• Efficiëntie: Het model leert via RL om redundantie te vermijden; het vraagt niet onnodig om extra beelden, maar doet dit alleen wanneer het nodig is voor succes.
• Toekomstperspectief: Hoewel dit paper specifiek "zoom-in" gebruikt, biedt het een schaalbaar raamwerk voor het integreren van diverse visuele tools in VLA-modellen, wat een nieuwe richting opent voor ingebouwde intelligentie die meer lijkt op menselijke cognitie.