VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models

Het paper introduceert VP-VLA, een tweestapskader dat complexe instructies ontleedt en visuele prompts gebruikt om de ruimtelijke precisie en robuustheid van Vision-Language-Action-modellen te verbeteren.

De kern

Stel je voor dat je een robot wilt leren om een rommelige keuken op te ruimen. Je zegt tegen de robot: "Zorg dat de fles in de groene doos gaat."

De meeste huidige robots (die gebaseerd zijn op de nieuwe 'VLA'-modellen) doen alsof ze een genie zijn dat alles in één keer moet doen: ze moeten luisteren, kijken, begrijpen waar de fles is, en dan hun armbewegingen plannen. Het probleem is dat ze hierin vaak vastlopen. Ze vergeten wat ze moeten doen, raken in de war door de rommel, of grijpen de verkeerde fles. Het is alsof je iemand vraagt om een ingewikkeld recept te koken terwijl je ze blinddoekt en ze alleen maar een raadsel moet oplossen.

VP-VLA is een nieuwe manier om deze robots slimmer te maken. Het werkt met een twee-persoonsteam in plaats van één overbelaste robot.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Twee-Persoonsteam: De Chef en de Kok

In plaats van één robot die alles doet, heeft VP-VLA twee delen die samenwerken:

• De Chef (System 2 Planner): Dit is de slimme, nadenkende robot. Hij kijkt naar de opdracht ("Zet de fles in de doos") en de kamer. Hij denkt na: "Oké, eerst moet ik de fles pakken, dan moet ik hem tillen, en dan moet ik hem in de doos zetten."
  • Het slimme trucje: De Chef tekent niet alleen een lijn in zijn hoofd, maar tekent het echt op het scherm van de robot. Hij plaatst een kruisje op de fles en een kader rond de groene doos.
• De Kok (System 1 Controller): Dit is de robotarm zelf. Hij is niet zo goed in nadenken of complexe plannen maken. Hij is echter heel goed in het volgen van instructies.
  • De taak: De Kok kijkt niet naar de woorden "fles" of "doos". Hij kijkt gewoon naar het scherm. Hij ziet het kruisje en denkt: "Oké, ik moet mijn hand daarheen bewegen." Hij ziet het kader en denkt: "En ik moet daar stoppen."

2. Waarom is dit beter? (De Metafoor van de Schatkaart)

Stel je voor dat je een schat moet zoeken.

• De oude manier: Je krijgt een tekst: "Zoek de schat onder de boom die links van het huis staat, maar pas op voor de hond." Je moet zelf de boom vinden, de hond negeren en de locatie berekenen. Als je verward bent, zoek je de verkeerde boom.
• De VP-VLA manier: De Chef kijkt naar de tekst, loopt naar de boom en plakt een grote rode sticker op de stam. De Kok hoeft alleen maar te kijken waar de rode sticker zit en daar te graven.

Door de abstracte woorden om te zetten in een visuele sticker (het kruisje of kader), hoeft de robot niet meer te "gissen" waar hij moet grijpen. Het maakt de taak veel preciezer.

3. Het "Oogje in het Zeil" (Training)

Tijdens het leren (training) krijgt de robotarm een extra opdracht. Naast het bewegen, moet hij ook zeggen: "Ik zie het kruisje op de fles."
Dit zorgt ervoor dat de robot echt leert kijken naar die stickers en niet zomaar willekeurig beweegt. Het is alsof je een kind leert te tekenen door eerst te laten zien waar de cirkel moet zijn, in plaats van alleen te zeggen "teken een cirkel".

Wat levert dit op?

In de tests (in computersimulaties en in de echte wereld) bleek dit systeem veel beter te werken dan de oude methoden:

• Minder fouten: De robot pakt de juiste fles, zelfs als er tien andere flessen in de weg staan.
• Nieuwe situaties: Als je een nieuwe soort fles of een nieuwe doos introduceert die de robot nog nooit heeft gezien, lukt het hem toch, omdat hij gewoon naar het kruisje kijkt.
• Complexe taken: Bij taken met meerdere stappen (pak de fles, doe de deur open, zet de fles erin, doe de deur dicht) helpt de Chef om stap voor stap de stickers te verplaatsen. Eerst een sticker op de fles, daarna op de deur.

Kort samengevat:
VP-VLA maakt robots slimmer door hen niet te dwingen om alles in één keer te begrijpen. In plaats daarvan laat een "slimme planner" een "slimme robotarm" zien waar hij moet grijpen door simpelweg een visueel kruisje op het scherm te tekenen. Het is de brug tussen "wat moet ik doen?" en "waar moet ik mijn hand neerzetten?".

Technische samenvatting

Titel: VP-VLA: Visuele Prompting als Interface voor Vision-Language-Action Modellen

1. Het Probleem

Bestaande Vision-Language-Action (VLA) modellen proberen vaak visuele waarnemingen en linguïstische instructies direct af te beelden op robotbesturingssignalen via een "black-box" aanpak. Deze monolithische architectuur vereist dat een enkel voorwaartse pass (forward pass) tegelijkertijd drie complexe taken uitvoert:

1. Instructie-interpretatie (wat moet er gebeuren?).
2. Ruimtelijke grounding (waar moet het gebeuren?).
3. Lage-niveau controle (hoe moet de robot bewegen?).

Deze aanpak leidt tot verschillende beperkingen:

• Gebrek aan ruimtelijke precisie: Modellen worstelen vaak met het exact lokaliseren van objecten of doellocaties, vooral bij nieuwe objecten of ongeziene ruimtelijke configuraties (Out-of-Distribution of OOD).
• Fragiliteit: Modellen neigen om te overfitten op de verdeling van de trainingsdata in plaats van echt te begrijpen wat er in de omgeving gebeurt. Onderzoek toont aan dat het vervangen van betekenisvolle taal door nonsens soms weinig invloed heeft op de prestaties, wat suggereert dat de modellen de taal niet echt "grounden" in de visuele realiteit.
• Moeilijkheid bij complexe taken: Het tegelijkertijd hanteren van redeneren en uitvoeren in één netwerk maakt het moeilijk om multi-stap taken te decomponeren en dynamisch aan te passen.

2. Methodologie: VP-VLA Framework

VP-VLA introduceert een ontkoppelde dual-systeem architectuur die hoge niveau redenering scheidt van lage niveau uitvoering via een gestructureerde visuele prompting interface. Het systeem bestaat uit twee hoofdcomponenten:

A. System 2 Planner (Hoge Niveau Redenering)

• Rol: Deze module fungeert als een "denker". Het is een vooraf getraind Vision-Language Model (VLM), specifiek Qwen3-VL-4B-Instruct.
• Functie: Het decomposeert complexe, open-ended instructies (bijv. "Zorg dat de fles in de groene doos komt") in een lijst van atomische sub-taken.
• Event-Driven Loop: In plaats van constant te redeneren, wordt de planner alleen geactiveerd bij "transitie-evenementen" (bijv. wanneer de grijper van open naar gesloten gaat). Dit bespaart rekenkracht en zorgt voor contextuele relevantie.
• Output: De planner identificeert doelobjecten en doellocaties en genereert gestructureerde visuele prompts:
  • Een kruisje (crosshair) op het zwaartepunt van het doelobject (voor grijpen).
  • Een buis (bounding box) rond de plaatsingslocatie (voor neerzetten).
• Deze visuele elementen worden direct over de originele camera-beelden gelegd om een nieuwe "geannoteerde" observatie te creëren.

B. System 1 Controller (Lage Niveau Uitvoering)

• Rol: Deze module fungeert als de "uitvoerder". Het is een VLA-beleid dat is getraind om visuele prompts te volgen.
• Input: Het ontvangt de originele visuele observatie plus de gegenereerde visuele prompts (kruisjes en boxes).
• Functie: In plaats van te moeten raden waar het object is, voert de controller een nauwkeurige visomotorische tracking uit van de visuele prompts. Dit verandert de taak van "instructie interpreteren" naar "visuele aanwijzingen volgen".
• Training: Tijdens het trainingstraject wordt een hulpdoelstelling voor visuele grounding (auxiliary grounding objective) toegevoegd.
  • Het model wordt getraind om niet alleen de actie te voorspellen, maar ook expliciet de coördinaten van de visuele prompts (kruisje en box) te voorspellen.
  • Dit zorgt ervoor dat de interne representaties van het model expliciet zijn uitgelijnd met de visuele cues, wat de ruimtelijke precisie verhoogt.

3. Belangrijkste Bijdragen

1. VP-VLA Framework: Een nieuw dual-systeem framework dat hoge niveau redenering en lage niveau controle ontkoppelt via een expliciete visuele interface, in plaats van ze in één monolithisch netwerk te forceren.
2. Visuele Prompting Interface: Het gebruik van kruisjes en bounding boxes als tussenlaag om abstracte taal om te zetten in precieze ruimtelijke ankers. Dit vermindert de zoekruimte voor de controller aanzienlijk.
3. Gestructureerde Grounding Loss: Een nieuwe trainingsstrategie waarbij het model wordt verplicht om de ruimtelijke coördinaten van de prompts te voorspellen. Dit verbetert de robuustheid en precisie, vooral in OOD-scenario's.
4. Event-Driven Planning: Een efficiënte aanpak waarbij de planner alleen wordt aangeroepen bij significante veranderingen in de robottoestand, wat de efficiëntie verhoogt.

4. Resultaten

VP-VLA is geëvalueerd op diverse benchmarks, zowel in simulatie als in de echte wereld:

• Robocasa-GR1-Tabletop Benchmark:

  • VP-VLA verbeterde het gemiddelde succespercentage met 5% ten opzichte van de sterke baseline (QwenOFT), wat resulteerde in een state-of-the-art score van 53,8%.
  • Het presteerde aanzienlijk beter bij complexe multi-stap taken (bijv. "pak de wijn, zet hem in de kast en sluit de kast") en bij generalisatie naar nieuwe objecten en locaties.

• SimplerEnv Benchmark:

  • Het model behaalde een verbetering van +8,3% ten opzichte van de baseline, met een totaalscore van 58,3%.
  • Het overtrof bestaande modellen zoals $\pi0.5$ en Isaac-GR00T-N1.6, vooral bij taken die nauwkeurige objectidentificatie vereisten (bijv. "leg de aubergine in de gele mand").

• Real-World Scenarios (Franka Robot):

  • Afvalsortering: In een rommelige omgeving behaalde VP-VLA een succespercentage van 85% bij OOD-objecten, terwijl de baseline slechts 63,3% haalde. De baseline faalde vaak bij objecten die qua kleur of vorm afweken van de trainingsdata.
  • Attribuut-gebaseerde selectie: Bij het selecteren van eieren op basis van kleur (inclusief nieuwe kleuren zoals paars en groen) behaalde VP-VLA 75% succes, tegenover 29,2% voor de baseline.
  • Ruimtelijke coördinaten: Bij het plaatsen van eieren op specifieke coördinaten (bijv. "lijn 3, kolom 4") toonde VP-VLA superieure ruimtelijke redenering en generalisatie naar ongeziene posities.

5. Betekenis en Conclusie

VP-VLA adresseert een fundamentele kloof in huidige robotica: de disconnectie tussen semantisch begrip en fysieke uitvoering. Door het gebruik van visuele prompting als een expliciete interface, slaagt het framework erin om:

• De ruimtelijke precisie drastisch te verbeteren zonder de noodzaak van enorme hoeveelheden extra robot-data.
• Generalisatie naar nieuwe objecten en omgevingen te vergroten door het model te dwingen om te vertrouwen op visuele ankers in plaats van statische patronen.
• Een schaalbare architectuur te bieden die de kracht van grote taalmodellen (VLMs) effectief koppelt aan robuuste robotbesturing.

De studie concludeert dat het ontkoppelen van redeneren en uitvoeren, ondersteund door gestructureerde visuele cues, een veelbelovende richting is voor het ontwikkelen van algemene, robuuste robotpolicies die effectief kunnen opereren in complexe, dynamische werelden.