💻 computer science

AffordTrajDP: Dynamic Affordance-Guided Visuomotor Policy Learning for Robotic Manipulation

AffordTrajDP is een dynamisch framework dat robotische manipulatie verbetert door een opgehaalde anker-affordance te propageren door de SE(3)-pose van een object om temporeel consistente, toestandbewuste begeleidingstrajecten te genereren, waardoor de beperkingen van statische affordances worden overwonnen en superieure succespercentages in precisiegevoelige taken worden bereikt.

Oorspronkelijke auteurs: Gaoyuan Wu, Ziyu Shan, Haoyang Du, Yuyao Jiang, Ziwei Wang

Gepubliceerd 2026-08-04

📖 6 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Gaoyuan Wu, Ziyu Shan, Haoyang Du, Yuyao Jiang, Ziwei Wang

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om huishoudelijke taken uit te voeren. Lange tijd probeerden wetenschappers robots te leren door hen video's te laten zien van mensen die taken uitvoeren, in de hoop dat de robot gewoon zou "kijken en leren". Maar robots zijn berucht slecht in dit wanneer er iets verandert. Als je een kopje drie centimeter naar links verplaatst, of als de verlichting verandert, kan een robot die getraind is op de oude opstelling in de war raken en het kopje laten vallen. Het is alsof je een recept probeert te volgen dat geschreven is voor een specifieke keuken, maar dan verplaats je het fornuis naar een andere kamer; de instructies maken dan niet meer ergens zin van.

Om dit op te lossen, ontwikkelden onderzoekers een slimme truc genaamd "affordance" (gebruiksmogelijkheid). Denk aan een affordance als een "magische highlight" op een object die de robot precies vertelt waar hij moet grijpen of aanraken. In plaats van naar de hele rommelige kamer te kijken, kijkt de robot alleen naar de gemarkeerde plek. Echter, er is een addertje onder het gras: de meeste van deze highlights zijn statisch. Ze zijn als een sticker die je op een rijdende auto plakt. Als de auto naar voren rijdt, blijft de sticker op dezelfde plek in de lucht hangen, en de robot, die probeert de sticker aan te raken, mist de auto volledig. Dit artikel pakt precies dat probleem aan: hoe maak je de "magische highlight" bewegend zodat de highlight met het object meebeweegt en de robot nooit zijn grip verliest?

De onderzoekers achter AffordTrajDP (een mondvol van een naam, maar denk aan "Affordance Trajectory Dynamic Policy") realiseerden zich dat de oude manier van het gebruik van statische highlights de belangrijkste reden was waarom robots faalden bij lastige taken zoals het insteken van een USB-stick of het stapelen van blokken. Hun oplossing is om de highlight niet langer te behandelen als een vaste sticker, maar als een bewegend doelwit.

Zo werkt hun nieuwe systeem, met een eenvoudige analogie: Stel je voor dat je een frisbee probeert te vangen die een vriend naar je toe gooit.

De Oude Manier (Statische Affordance): Je vriend vertelt je: "De frisbee zal bij de grote eikenboom zijn." Je rent naar de boom en wacht. Maar je vriend gooit de frisbee voorbij de boom. Je staat daar en wacht op een frisbee die nooit bij de boom arriveert, terwijl de echte frisbee voorbij vliegt. Dit is wat er gebeurt als een robot een statisch contactpunt gebruikt; de robot berekent waar hij moet aanraken op basis van waar het object was, niet waar het heen gaat.
De Nieuwe Manier (AffordTrajDP): In plaats van één enkel punt, geeft je vriend je een bewegend pad. "De frisbee zal hier zijn, dan daar, en dan weer hier." Je rent niet alleen naar één plek; je rent langs een pad dat overeenkomt met de vlucht van de frisbee.

In de wereld van de robot wordt het "pad" een dynamische affordance traject. Het systeem vindt eerst een "bron"-voorbeeld uit een geheugenbank—zoals het bekijken van een foto van een kopje om de perfecte plek te vinden om het handvat vast te pakken. Vervolgens, in plaats van alleen die plek te kopiëren, voorspelt de robot waar het object zich in de volgende paar seconden zal bevinden. De robot neemt die perfecte grijpplek en "propageert" deze naar voren, waarbij hij de plek meesleept met de voorspelde beweging van het object. Dit creëert een bewegende gids die elke milliseconde wordt bijgewerkt, waardoor de hand van de robot altijd uitgelijnd blijft met het object, zelfs als het object wiebelt of verschuift.

Het team testte dit idee op twee manieren: in een supernauwkeurige computersimulatie genaamd ManiSkill3 en in de echte wereld met daadwerkelijke robotarmen (een Galaxea A1 en een UR7e).

In de simulatie daagden ze de robot uit met zes verschillende taken, van het oppakken van kubussen tot het inpluggen van laders. De resultaten waren duidelijk: de oude methoden (zoals DP3 en AffordDP) slaagden ongeveer 52,2% tot 57,8% van de tijd. Maar met de nieuwe dynamische gids sprong het succespercentage naar 70,0%. De verbetering was het meest spectaculair bij de moeilijkste taken, zoals het insteken van een lader, waar de oude methoden moeite hadden om de stekker uitgelijnd te houden zodra deze het stopcontact raakte.

Ze stopten niet bij simulaties. Ze namen de robot mee naar een echt lab om taken te proberen zoals het stapelen van kubussen, het oppakken van kopjes en de beruchte Adapter Insertion (het inpassen van een specifieke stekker in een nauwe opening). Ze testten de robot met objecten die hij eerder had gezien en met objecten die hij nog nooit had gezien (andere vormen of kleuren).

Op de Galaxea A1 robot behaalde de nieuwe methode een succespercentage van 66,1% over alle taken, terwijl de beste vorige methode slechts 35,0% behaalde.
Op de UR7e robot bereikte de nieuwe methode een succespercentage van 72,5%, waarmee het de vorige beste van 55,8% versloeg.

De onderzoekers voerden ook een "detective"-experiment uit om te zien welk deel van hun systeem daadwerkelijk het zware werk deed. Ze probeerden stukjes van de puzzel te verwijderen:

Alleen het pad, geen specifieke plek: Als ze de robot vertelden een pad te volgen maar hem niet vertelden waar op het object hij moest beginnen, raakte de robot in de war en faalde hij (soms zelfs slechter dan de oude methoden).
Alleen de plek, geen pad: Als ze de robot de perfecte grijpplek gaven maar deze niet bijwerkten terwijl het object bewoog, raakte de robot uit koers na contact, vooral bij lastige taken.
Beide samen: Pas toen ze de specifieke "waar te raken" combineerden met het "hoe het beweegt", slaagde de robot consistent.

Dit suggereert dat voor robots om precisietaken te kunnen uitvoeren in een rommelige, veranderende wereld, ze meer nodig hebben dan alleen een snapshot van waar te grijpen; ze hebben een bewegende routekaart nodig die in realtime wordt bijgewerkt. De auteurs merken op dat hoewel hun methode een belangrijke stap voorwaarts is, het nog steeds uitdagingen kent met extreem nauwe toleranties (zoals de USB-insertie taak, die de moeilijkste was voor iedereen). Echter, door te bewijzen dat dynamische, bewegende gidsen beter werken dan statische, hebben ze een nieuwe deur geopend naar het maken van robots die minder waarschijnlijk de bal laten vallen wanneer dingen niet precies volgens plan verlopen.

Technische Samenvatting: AffordTrajDP

1. Probleemstelling

Bestaande visuomotorische beleid (policies) voor robotmanipulatie, met name die gebaseerd op diffusiemodellen, vertrouwen vaak op dichte visuele inputs (bijv. ruwe RGB of puntenwolken). Hoewel deze effectief zijn voor generalisatie, zijn deze benaderingengevoelig voor omgevingsperturbaties zoals veranderingen in het uiterlijk van objecten, achtergrondclutter en pose-verschuivingen.

Een specifieke beperking doet zich voor bij precisiegevoelige taken (bijv. adapter-insertie, peg-in-hole) waarbij statische affordance-priors falen. Huidige state-of-the-art methoden zoals AffordDP halen een statisch contactpunt en een post-contact traject op uit een referentiedemonstratie en transporteren deze naar het doelobject via een enkele rigide transformatie. Echter, zodra deze zijn getransfereerd, blijven deze priors vaststaan. Als het object beweegt of verschuift na het initiële contact (door plaatsingsperturbaties of contact-geïnduceerde afwijkingen), raakt de statische prior niet langer uitgelijnd met de evoluerende pose van het object. Dit leidt tot trajectdrift, oscillatie en falen in taken die een voortdurende, precieze uitlijning vereisen.

Het kernprobleem dat wordt geïdentificeerd, is de afwezigheid van een conditioneringssignaal dat gezamenlijk zowel behoudt:

Waar te contact maken (semantische contactlocatie).
Hoe die contactlocatie moet evolueren naarmate het object beweegt (temporele consistentie).

2. Methodologie: AffordTrajDP

De auteurs stellen AffordTrajDP voor, een dynamisch framework dat affordance-trajecten construeert via object-centrische temporele propagatie. In plaats van een statische prior, genereert het systeem een tijdvariërend sturingssignaal dat gedurende de uitvoering wordt bijgewerkt.

Kernpipeline

Anchor Affordance Retrieval (Semantische Lokalisatie):
- Gegeven een RGB-D observatie, zoekt het systeem naar de meest vergelijkbare bron-objectinstantie uit een objectgeheugen (opgebouwd met GroundedSAM voor het bijsnijden en CLIP voor de uiterlijke embedding).
- Het transporteert het statische contactpunt ( $c$ ) van de bron naar het doelobject met behulp van dichte visuele correspondentie. Dit levert het "waar" (het ankerpunt) op.
Future Pose Estimation (Temporele Voorspelling):
- Een diffusie-gebaseerd trajectmodel voorspelt het toekomstige SE(3) pose-traject van het doelobject relatief aan zijn huidige frame.
- In tegen afdeling van methoden die direct conditioneren op ruwe sensorische inputs, voorspelt dit model het bewegingstraject van het object ( $T_{tgt}(t)$ ) op basis van de pose-historie, waarbij de absolute scène-layout wordt genormaliseerd om cross-instance generalisatie te verbeteren.
- Het model gebruikt Denoising Diffusion Implicit Models (DDIM) om deterministische sampling te garanderen en de inferentie-latentie te verminderen.
Dynamic Affordance Propagation:
- Het opgehaalde statische ankercontactpunt ( $c_{tgt}$ ) wordt vooruit gepropageerd door het voorspelde toekomstige pose-traject.
- Wiskundig gezien wordt voor elke toekomstige stap $k$ het contactpunt bijgewerkt via een rigide transformatie: $p_{t+k} = T_{t+k} \cdot \tilde{c}$ .
- Dit resulteert in een dynamisch affordance-traject ( $\tau$ ) dat continu aanpast aan de voorspelde beweging van het object, wat zorgt voor staat-consistente begeleiding tijdens de post-contact fase.
Actiegeneratie:
- Het dynamische affordance-traject wordt gecodeerd (via een Transformer) en gecombineerd met de statische affordance en andere observaties (puntenwolken, proprioceptie) om een diffusiebeleid te conditioneren.
- Het beleid genereert acties door te denoisen vanuit Gaussische ruis, geconditioneerd op deze tijdvariërende geometrische prior.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Nieuwe Probleemformulering: De auteurs formaliseren de beperking van bestaande affordance-gestuurde beleid: statische priors kunnen niet langer in lijn blijven met bewegende objecten na contact. Ze stellen AffordTrajDP voor als het eerste framework dat een staat-consistent, tijdvariërend affordance-traject construeert om dit aan te pakken.
Noodzakelijkheid en Voldoendeheid van Gezamenlijke Conditionering: Door middel van gecontroleerde ablatie-studies tonen de auteurs aan dat zowel semantische contactretrieval als pose-traject-propagatie zowel noodzakelijk als voldoende zijn voor hoge prestaties.
- Alleen contactretrieval verbetert de prestaties, maar vlakt af.
- Traject-propagatie zonder een semantisch anker is onbetrouwbaar en kan onderpresteren ten opzichte van baselines op ongeziene instanties (bijv. dalend naar 20% succes op StackCube unseen).
- Alleen de combinatie levert consistente, grote winsten op (66,1% vs. 35,0% baseline).
Empirische Validatie: Uitgebreide evaluatie over simulatie (ManiSkill3) en twee real-world robotplatforms (Galaxea A1 en UR7e) over zeven taken, inclus�렵 van precisie-insertie en object-uitlijning.

4. Experimentele Resultaten

Simulatie (ManiSkill3)

Geëvalueerd op zes tabletop-taken (PickCube, PegInsertion, PlugCharger, StackCube, PokeCube, PushCube) met een Franka Panda robot.

Algemeen Succespercentage: AffordTrajDP bereikte 70,0%, waarmee het DP3 (52,2%), AffordDP (57,8%) en SPOT (62,1%) verslaat.
Precisietaken: De grootste winsten werden waargenomen in precisie-kritische insertie-taken (PegInsertion, PlugCharger), waar dynamische begeleiding de drift aanzienlijk verminderde vergeleken met statische baselines.

Real-World Experimenten

Geëvalueerd op twee platforms:

Galaxea A1 (L515 camera): Taken omvatten StackCube, PickCup en AdapterInsertion.
UR7e (D455 camera): Taken omvatten PickCup, Ring-on-Peg, Put-in-Bowl en USB Insertion.
Generalisatie: De methode werd getest op zowel geziene als ongeziene object-instanties (variërend in uiterlijk en geometrie).
Prestaties:
- Op Galaxea A1 behaalde de volledige methode een gemiddeld succespercentage van 66,1%, wat aanzienlijk beter is dan de DP3-baseline (35,0%).
- Op UR7e behaalde het een gemiddeld succespercentage van 72,5%, wat beter is dan DP3 (40,8%) en SPOT (54,2%).
- AdapterInsertion: De meest significante verbetering werd hier gezien, waar statische priors vaak faalden door post-contact drift, terwijl AffordTrajDP stabiliserende begeleiding bood.

Ablatie-inzichten

Semantisch Anker: Het gebruik van een semantisch contactpunt is superieur aan het gebruik van het objectcentrum, vooral voor ongeziene instanties.
Traject-propagatie: Het propageren van het contactpunt langs het voorspelde traject is cruciaal. Zonder het semantische anker fungeert traject-conditionering als ruis.
Foutanalyse: De auteurs observeerden dat de fout in de pose-traject-voorspelling niet cumulatief wordt in toenemende drift gedurende de episode in hun specifieke testcondities, wat suggereert dat het propagatiemechanisme robuust blijft.

5. Betekenis en Claims

Het artikel claimt dat AffordTrajDP een fundamentele kloof adresseert in affordance-gestuurde imitatie-leren: de disconnect tussen waar te interageren en hoe die interactie in de loop van de tijd evolueert.

Robuustheid: Door staat-consistente, tijdvariërende begeleiding te bieden, stabiliseert de methode de post-contact beweging, wat het bijzonder effectief maakt voor precisie-kritische taken waar kleine misuitlijningen kunnen accumuleren.
Generalisatie: De aanpak vertoont sterke generalisatie naar ongeziene object-instanties en diverse robot-embodiments, waarbij het methoden verslaat die enkel vertrouwen op visuele generalisatie of statische priors.
Bescheiden Claims: De auteurs zijn bescheiden over de foutanalyse. Ze erkennen dat hun bevinding (dat voorspellingsfouten niet cumulatief worden) gebaseerd is op een correlationele, single-task vergelijking in plaats van een gecontroleerde ablatie met geïnjecteerde ruis. Ze framen de hypothese dat deze eigenschap van niet-accumulatie standhoudt onder zware occlusie of ruis als een richting voor toekomstig werk, in plaats van een vastgesteld resultaat.
Toekomstige Richtingen: Het artikel suggereert het uitbreiden van dit framework om rijkere contact-semantiek, onzekerheid-bewuste pose-voorspelling en tactiele/kracht-feedback te bevatten om een breder scala aan manipulatie-taken aan te kunnen.