Clutter-Robust Vision-Language-Action Models through Object-Centric and Geometry Grounding

OBEYED-VLA verbetert de robuustheid van robotmanipulatie door perceptie expliciet te ontkoppelen van actie-redenering via een objectgecentreerde en geometrie-bewuste benadering, waardoor het model beter bestand is tegen afleidende objecten en rommelige omgevingen.

De kern

Stel je voor dat je een robotarm hebt die een kopje koffie moet oppakken. In een perfecte wereld staat dat kopje daar gewoon, in een lege, witte kamer. Maar in de echte wereld is het een chaos: er liggen snoepjes, tijdschriften, een hond die voorbijrent en de tafel heeft een druk bloemetjespatroon.

De meeste huidige "slimme" robots (de zogenaamde VLA-modellen) raken hierdoor volledig in de war. Ze zien een snoepje, denken: "Oh, dat lijkt op een kopje!" en grijpen naar het verkeerde ding. Of ze zien een druk behang en raken volledig gedesoriënteerd.

Dit wetenschappelijke artikel presenteert een oplossing genaamd OBEYED-VLA. Hier is de uitleg in begrijpelijke taal.

Het probleem: De "Alles-in-één" verwarring

De huidige robots werken als een persoon die probeert te koken terwijl hij tegelijkertijd een heel druk nieuwsbericht leest en naar een flitsende reclame kijkt. Alles komt tegelijkertijd binnen in één grote breinbreker. Omdat de robot probeert te kijken en te bewegen met exact hetzelfde proces, raakt hij de focus kwijt. Hij ziet de "ruis" (de rommel) en de "signalen" (het kopje) niet meer door elkaar.

De oplossing: De "Focus-bril" (OBEYED-VLA)

De onderzoekers hebben een systeem gebouwd dat werkt als een soort slimme assistent die de robot een speciale bril opzet voordat hij aan de slag gaat. In plaats van de robot direct naar de hele rommelige kamer te laten kijken, werkt het systeem in twee stappen:

Stap 1: De "Zoek-en-Isoleer" assistent (Object-centric grounding)
Stel je voor dat je een assistent hebt die een foto van de kamer krijgt. Jij zegt: "Zoek de ketchupfles." De assistent knipt de ketchupfles en de mand waar hij in staat netjes uit de foto en plakt ze op een blanco vel papier. Alle andere rommel — de snoepjes, de kranten, de kleurrijke tafel — wordt weggegooid. De robot krijgt nu alleen nog maar de relevante informatie te zien.

Stap 2: De "3D-vorm" filter (Geometry grounding)
Zelfs met de rommel weg, kan een robot in de war raken door de kleur van de fles. Is het een rode fles of een blauwe fles? De assistent gaat nog een stap verder: hij maakt van de foto een soort 3D-reliëfkaart (een dieptekaart). De kleur verdwijnt volledig, en wat overblijft is alleen de vorm en de structuur. Nu kan de robot niet meer worden afgeleid door een felgekleurd patroon op de achtergrond; hij voelt als het ware de vorm van het object met zijn ogen.

Waarom is dit een doorbraak?

Dankzij deze "focus-bril" presteert de robot op drie cruciale manieren veel beter:

1. Hij is niet afleidbaar: Of er nu 1 of 7 andere objecten op tafel liggen, de robot blijft gefocust op de opdracht.
2. Hij is eerlijk: Als je zegt: "Pak de mayonaise", maar er ligt alleen ketchup, dan zegt de robot: "Ik zie geen mayonaise," in plaats van blindelings naar de ketchup te grijpen.
3. Hij leert sneller: De robot hoeft niet te leren hoe hij moet omgaan met elke mogelijke rommel in de wereld. Hij leert alleen hoe hij een object moet oppakken. De "assistent" regelt de rommel. Hierdoor kan de robot zelfs objecten oppakken die hij nog nooit eerder in zijn leven heeft gezien!

Samenvatting in één metafoor

De oude methode was als een bestuurder die probeert te rijden door door een beslagen, modderige ruit te kijken terwijl er constant felle lichten in zijn ogen schijnen.

OBEYED-VLA is als een bestuurder die een helder scherm krijgt waarop alleen de weg en de auto voor hem worden getoond, waarbij alle regen, modder en felle lichten simpelweg worden weggefilterd. De weg is nu weer duidelijk, en de bestuurder kan veilig zijn werk doen.

Technische samenvatting

Technische Samenvatting: OBEYED-VLA

1. Het Probleem: De "Perceptie-Actie" Paradox

Recente Vision-Language-Action (VLA) modellen (zoals OpenVLA of Pi-0) proberen robotcontrole te leren door grote Vision-Language Models (VLM's) te finetunen op actie-voorspellingen. Hoewel deze modellen indrukwekkende algemene kennis bezitten, lijden ze aan een fundamenteel probleem: gebrekkige visuele grounding.

Omdat deze modellen end-to-end worden getraind met een focus op actie-optimalisatie, "vergeet" het model vaak de semantische koppeling tussen taal en beeld. Dit leidt tot drie specifieke fouten in realistische scenario's:

• Distractor-gevoeligheid: De robot raakt afgeleid door irrelevante objecten in de buurt.
• Over-grasping: De robot probeert een object te pakken, zelfs als de instructie vraagt om een object dat niet aanwezig is (gebrek aan instructie-consistentie).
• Overfitting op achtergrond: Het model vertrouwt te veel op kleur en textuur van de omgeving in plaats van op de geometrie van het object, waardoor het faalt bij veranderingen in de achtergrond of bij onbekende objecten.

2. Methodologie: Het OBEYED-VLA Framework

De auteurs stellen OBEYED-VLA voor, een hiërarchisch framework dat perceptie expliciet ontkoppelt van actie-redenering. In plaats van de robot direct op ruwe RGB-beelden te laten reageren, transformeert een "Perception Grounding Module" de input naar een taak-relevante, object-gecentreerde en geometrie-bewuste representatie.

Het proces bestaat uit drie kernstappen:

• A. Object-Centric Grounding (Semantische filtering):

  • Segmentatie: Een YOLO11-Seg model identificeert alle objecten en de robotarm in de scène.
  • VLM-gebaseerde selectie: Een off-the-shelf VLM (Qwen3-VL) gebruikt set-of-mark prompting om te bepalen welke objecten relevant zijn voor de specifieke instructie (bijv. "pak de ketchup").
  • Cross-view matching: Om de consistentie tussen de camera op de schouder (base view) en de camera op de pols (wrist view) te waarborgen, gebruikt het systeem de base-view als visueel anker om de juiste objecten in de wrist-view te lokaliseren.
  • Resultaat: Alle irrelevante objecten en de achtergrond worden weggefilterd (gemaskeerd), waardoor alleen de relevante objecten overblijven.

• B. Geometric Grounding (Structurele focus):

  • In plaats van alleen RGB-kleuren te gebruiken, wordt er een dieptekaart (depth map) gegenereerd via Depth Anything v2.
  • De semantisch geselecteerde objecten worden toegepast als maskers op deze dieptekaart.
  • Resultaat: De VLA krijgt een input die de 3D-structuur van het object benadrukt en de afhankelijkheid van kleur en textuur minimaliseert.

• C. Action Reasoning (De VLA-policy):

  • De gefilterde, geometrie-bewuste beelden worden gevoerd aan een pretrained VLA (zoals Pi-0).
  • Cruciaal: De VLA wordt alleen gefinetuned op "schone" demonstraties (één object per keer, zonder rommel). Dankzij de perceptiemodule kan de robot deze "schone" kennis toepassen in een "rommelige" wereld.

3. Belangrijkste Bijdragen

1. Ontkoppeling van Perceptie en Controle: Het bewijst dat het expliciet maken van perceptie als een modulaire component de robuustheid van VLA's drastisch verhoogt zonder dat er enorme hoeveelheden extra data nodig zijn.
2. Efficiëntie: In tegenstelling tot eerdere methoden (zoals BYOVLA) die dure inpainting gebruiken om rommel te verwijderen, gebruikt OBEYED-VLA eenvoudige maskering, wat veel sneller is.
3. Data-efficiëntie: Het model leert van eenvoudige, rommelvrije data, maar presteert uitstekend in complexe, rommelige omgevingen.

4. Resultaten

De experimenten op een UR10e robot toonden superieure prestaties aan in vier scenario's:

• Distractor-objecten: Terwijl standaard VLA's instorten bij meer dan 1 distractor, behoudt OBEYED-VLA een succespercentage van ~80% zelfs bij 7 distractoren.
• Absent-target rejection: OBEYED-VLA slaagt er bijna perfect in (~95%) om niet te pakken wanneer het gevraagde object niet aanwezig is, terwijl baselines vaak blindelings een willekeurig object pakken.
• Achtergrond-shifts: Het model is ongevoelig voor veranderingen in tafelkleed of achtergronddecoratie omdat de perceptiemodule de achtergrond simpelweg wegfiltert.
• Onbekende objecten: Het model generaliseert uitstekend naar objecten die het nooit tijdens de training heeft gezien, omdat het vertrouwt op geometrie in plaats van op bekende texturen.

5. Betekenis en Conclusie

Dit onderzoek is significant omdat het een oplossing biedt voor de grootste beperking van huidige generatie robot-AI: de kwetsbaarheid voor de fysieke realiteit (rommel, lichtinval, nieuwe objecten). Door de robot te leren "kijken" zoals een mens (focus op relevante objecten en hun vorm), wordt de stap van laboratoriumomgevingen naar echte, ongestructureerde werelden een stuk kleiner.