🤖 AI

Visual Prompt Guided Unified Pushing Policy

Dit artikel introduceert een verenigd duwbeleid dat visuele prompts combineert met flow matching om reactieve, veelzijdige duwacties te genereren, waardoor bestaande methoden worden overtroffen en efficiënte taakoplossing binnen een VLM-gestuurd raamwerk mogelijk wordt.

Oorspronkelijke auteurs: Hieu Bui, Ziyan Gao, Yuya Hosoda, Joo-Ho Lee

Gepubliceerd 2026-02-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hieu Bui, Ziyan Gao, Yuya Hosoda, Joo-Ho Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotarm hebt die op een rommelige tafel moet werken. De taak? De blokken op de tafel netjes in de juiste bakken leggen. Dit klinkt simpel, maar voor een robot is het een enorme uitdaging. Blokken kunnen vastzitten, wegglijden of in de weg liggen.

Dit artikel introduceert een slimme nieuwe manier om robots te leren duwen (in plaats van alleen te grijpen), zodat ze deze rommel efficiënt kunnen opruimen.

Hier is de uitleg in simpele taal, met een paar verhelderende vergelijkingen:

1. Het Probleem: De "Eén-traps" Robot

Vroeger waren robot-robots als specifiek getrainde honden.

Als je een hond trainde om een bal te apporteren, kon hij dat geweldig. Maar als je hem vroeg om een sok op te rapen, keek hij je raar aan.
In de robotwereld betekende dit: je had een speciale robot die alleen blokken naar een specifieke plek duwde, en een andere die alleen blokken bij elkaar duwde. Als de situatie veranderde (bijvoorbeeld: er lagen ineens meer blokken), faalde de robot. Ze waren te star en niet flexibel genoeg.

2. De Oplossing: De "Meesterkok" met een Menukaart

De auteurs van dit artikel hebben een universele duw-robot gemaakt. Denk aan een meesterkok die niet alleen één gerecht kan koken, maar een heel menu.

Deze robot kan drie dingen doen:
1. Verplaatsen: Een blokje van A naar B duwen.
2. Groeperen: Drie losse blokjes bij elkaar duwen, zodat je ze later in één keer kunt oppakken.
3. Scheiden: Een blokje uit een kluwen van andere blokjes duwen, zodat je er bij kunt.

In plaats van een nieuwe robot te bouwen voor elke taak, hebben ze één slimme "hersenen" (een AI-model) getraind die al deze vaardigheden kent.

3. De Magische Knop: Het Visuele Prompt

Hoe vertel je deze meesterkok wat hij moet doen? Je hoeft niet te praten of ingewikkelde code te schrijven. Je gebruikt een visuele prompt.

Stel je voor dat je een aanwijsstok hebt.

Je klikt op het scherm met je muis op het blokje dat je wilt verplaatsen.
Je klikt op de plek waar het naartoe moet.
En je zegt (via een simpele knop): "Hey, ik wil dit verplaatsen."

Dit is de kracht van hun systeem:

Vroeger: De robot moest een foto zien van hoe de tafel er aan het einde moest uitzien (een "doel-foto"). Dit was lastig, want als je per ongeluk een ander blokje verschuift tijdens het maken van die foto, raakt de robot in de war.
Nu: De robot kijkt alleen naar waar je met je muis hebt geklikt. Het is alsof je zegt: "Duw dit blokje naar die stip." Het maakt niet uit hoe de rest van de tafel eruitziet; de robot focust puur op jouw aanwijzing.

4. Hoe werkt het technisch? (De "Flow" van de robot)

De robot leert niet door te proberen en te vallen (zoals een baby die leert lopen), maar door imitatie.

Mensen hebben de robotarm eerst zelf laten duwen terwijl ze een game-controller vasthielden. De robot keek naar hoe de mens deed.
Ze gebruiken een slimme wiskundige methode genaamd "Flow Matching".
- Vergelijking: Stel je voor dat je een rivier wilt sturen. In plaats van elke steen in de rivier te verplaatsen, teken je een lijn van waar het water nu is naar waar het heen moet. De robot leert deze "stroomlijn" te volgen. Dit maakt het veel sneller en soepeler dan oude methoden.

5. Wat hebben ze bewezen?

Ze hebben dit getest op een echte robotarm in een lab.

Resultaat: De robot was beter in het opruimen dan de oude, specifieke robots.
De "Scheidings"-test: Als er een hoopje blokken was, kon de oude robot (die alleen een doel-foto zag) vaak in de war raken door de rommel. Onze nieuwe robot, die gewoon naar je klikken kijkt, wist precies welk blokje eruit moest en duwde het netjes weg.
Samenwerking met een "Hoofd": Ze hebben de robot ook gekoppeld aan een heel slimme AI (een taalmodel, zoals een super-intelligente assistent). Die assistent kijkt naar de tafel, denkt na: "Ik moet eerst die twee rode blokjes bij elkaar duwen, dan kan ik ze oppakken," en stuurt de duw-robot de juiste instructies.

Conclusie

Kortom: Dit artikel presenteert een robot die niet meer als een stijve machine is die maar één ding kan, maar als een flexibele assistent. Door te leren kijken naar simpele aanwijzingen (waar klik je?) in plaats van complexe foto's, kan hij veel sneller en slimmer rommel opruimen. Het is alsof je van een robot hebt die alleen "A naar B" kan doen, naar een robot die zegt: "Geef me een aanwijzing en ik regel het."

Probleemstelling

Pushen is een van de eenvoudigste niet-greep-gebaseerde (non-prehensile) manipulatievaardigheden die veel wordt gebruikt om objecten te herschikken. Bestaande benaderingen hebben echter twee belangrijke beperkingen:

Beperkte herbruikbaarheid: De meeste huidige push-policies zijn taakgericht (bijv. specifiek voor het sorteren van objecten in een bak) en kunnen niet efficiënt worden hergebruikt wanneer de omgeving of de taakvereisten veranderen.
Eenzijdigheid (Unimodaliteit): Veel modellen zijn getraind op één specifieke vaardigheid (zoals groeperen of isoleren). In complexe scenario's, zoals het opruimen van een tafel, is echter een combinatie van verschillende vaardigheden nodig (bijv. eerst objecten isoleren, dan groeperen voor een greep, en dan verplaatsen). Een enkelvoudige policy is hier vaak inefficiënt of faalt.

Het doel van dit werk is het ontwikkelen van een unified pushing policy die multimodale push-acties kan genereren, geleid door visuele prompts, zodat één model diverse manipulatieproblemen kan oplossen.

Methodologie

De auteurs stellen een goal-geconditioneerde Flow Matching policy voor, geïntegreerd met een lichtgewicht visuele prompt-mechanisme.

1. De Drie Vaardigheden

Het model leert drie soorten niet-greep-gebaseerde vaardigheden in één model:

Displacement (Verplaatsing): Een doelobject naar een specifieke locatie duwen.
Grouping (Groeperen): Meerdere objecten bij elkaar duwen om multi-object-grepen mogelijk te maken.
Singulation (Isolatie): Een doelobject losmaken van een rommelige omgeving (clutter) zodat het grijpbaar wordt.

2. Visuele Prompting Mechanisme

In plaats van een volledig doelbeeld (goal-image) te gebruiken, wat vaak overgespecificeerd is en moeilijk te verkrijgen is tijdens inferentie, gebruiken de auteurs een visuele prompt bestaande uit:

Pixel-coördinaten: Twee punten ( $u_1, u_2$ $u_{1}, u_{2}$ ) op het beeld van de tafelcamera.
- Bij Displacement: $u_1$ is het object, $u_2$ is de doellocatie.
- Bij Grouping: $u_1$ is het bronobject, $u_2$ is het doelobject.
- Bij Singulation: $u_1$ is het object, en de vector $u_2 - u_1$ definieert de duwrichting.
Taakspecifier: Een one-hot vector die aangeeft welk type vaardigheid er nodig is (displacement, grouping, of singulation).

Deze combinatie vormt een doelvector ( $g$ ) die als conditionering dient voor het beleid.

3. Model Architectuur: Flow Matching

Basis: Het model gebruikt Flow Matching in plaats van Diffusie. Flow Matching leert een vectorveld dat samples van een bronverdeling naar een doelverdeling transformeert via rechte lijnen. Dit resulteert in een eenvoudiger trainingsdoel en snellere inferentie (hoge frequentie besturing).
Netwerk: Een Diffusion Transformer (DiT) architectuur.
- Visuele input (van pols- en tafelcamera's) wordt verwerkt via een gedeelde ResNet34 backbone.
- De observaties (visueel + proprioceptie) en de doelvector ( $g$ ) worden verwerkt door een Transformer Encoder.
- De DiT blokken gebruiken cross-attention om de policy te laten "kijken" naar historische visuele kenmerken tijdens het denoisen van de actie-sequentie.
Classifier-Free Guidance (CFG): Om de naleving van de prompt te verbeteren, wordt CFG gebruikt. Tijdens inferentie wordt de voorspelde vectorlijn een lineaire combinatie van de geconditioneerde en ongeconditioneerde schatting, wat de output dichter bij de specifieke prompt duwt.

4. Data en Training

Platform: Robotis OpenManipulator-Y met een leader-follower setup voor menselijke teleoperatie.
Dataset: 550 expert-demonstraties (200 displacement, 200 grouping, 150 singulation).
Training: Imitatielearning op real-world data met een batchgrootte van 32 en 300k stappen.

Kernbijdragen

Unified Policy: Een enkel model dat drie distincte push-vaardigheden (verplaatsen, groeperen, isoleren) integreert, in plaats van gescheiden modellen voor elke taak.
Visuele Prompting: Een efficiënt mechanisme dat pixel-coördinaten en taakspecifiers combineert om het gedrag te sturen, wat herbruikbaarheid en integratie met hogere planners mogelijk maakt zonder zware berekeningen.
Real-world Validatie: Het model is getraind en getest op een fysieke robotarm, wat de praktische toepasbaarheid bewijst.

Resultaten

De resultaten zijn getest op een echte robot in verschillende scenario's:

Vergelijking met Baselines (Success Rate):
- De Unified Policy presteerde beter dan gespecialiseerde single-task policies bij displacement (85% vs 75%) en grouping (70% vs 60%), en vergelijkbaar bij singulation (65% vs 70%).
- De Unified Policy overtrof significant een Goal-Image Policy (die werkt met een doelbeeld in plaats van prompts). Vooral bij singulation was het verschil groot (65% vs 30%).
- Reden: Goal-images zijn gevoelig voor onbedoelde verstoringen van naburige objecten tijdens het genereren van het doelbeeld, terwijl prompts abstracter en robuuster zijn.
Robuustheid in Rommelige Omgevingen:
- In omgevingen met meer objecten dan tijdens training (out-of-distribution, bijv. 5 objecten), behield de Unified Policy een hogere succesrate dan de Goal-Image policy. De Goal-Image policy viel sterk terug door "over-attention" aan het doelbeeld.
Generalisatie naar Onbekende Objecten:
- Het model generaliseerde goed naar iets grotere objecten die niet in de trainingsdata zaten. De succesrate voor singulation steeg zelfs van 65% naar 80%, waarschijnlijk omdat de grotere objecten minder gevoelig zijn voor onbedoelde dubbele contacten met de gripper.
Integratie met High-Level Planning (VLM):
- Het model werd gekoppeld aan een Vision-Language Model (Qwen3-VL) voor het plannen van een "tafel-opruim"-taak.
- De VLM genereerde een plan met primitieven (Groeperen, Grijpen). De Unified Policy voerde de groepeer-taken uit.
- Het systeem slaagde erin om objecten te groeperen voor multi-object-grepen, wat het totale aantal benodigde "pick-and-place" acties verminderde. De taakvoltooiingsrate was 50%, met een gemiddelde van 1,52 objecten per greep.

Betekenis en Conclusie

Dit paper toont aan dat het mogelijk is om een universele, reactieve push-policy te bouwen die diverse manipulatiebehoeften kan afhandelen door gebruik te maken van visuele prompts en Flow Matching.

Efficiëntie: Het elimineert de noodzaak om voor elke nieuwe taak of scenario een nieuw model te trainen.
Flexibiliteit: De prompt-mechanisme maakt naadloze integratie met hogere planners (zoals VLM's) mogelijk, wat essentieel is voor autonome robots in dynamische omgevingen.
Toekomst: Hoewel het model succesvol is, blijven uitdagingen bestaan, zoals het omgaan met wrijving en zwaartepuntsvariaties (waarbij contact verloren gaat) en het verbeteren van de ruimtelijke redenering van de VLM-planners. De auteurs plannen onderzoek naar wereldmodellen en view-invariante prompts om de flexibiliteit verder te vergroten.

Kortom, deze work biedt een robuust fundament voor het combineren van leren en plannen in de robotica, specifiek voor complexe, multi-object manipulatie taken.