💻 computer science

AFUN: Towards an Affordance Foundation Model for Functionality Understanding

Dit artikel introduceert AFUN, een affordance-fundatiemodel dat taakgeconditioneerde functionele maskers en 3D post-contact bewegingscurven voorspelt op basis van RGB-D-observaties en taalbeschrijvingen, waarmee het een state-of-the-art prestatie bereikt in segmentatie, contactpuntvoorspelling en bewegingsplanning, terwijl het zero-shot implementatie mogelijk maakt voor real-world robotmanipulatie in diverse open-wereldomgevingen.

Oorspronkelijke auteurs: Zhaoning Wang, Yi Zhong, Jiawei Fu, Henrik I. Christensen, Jun Gao

Gepubliceerd 2026-06-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhaoning Wang, Yi Zhong, Jiawei Fu, Henrik I. Christensen, Jun Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gloednieuwe keuken binnenloopt. Je hebt geen handleiding nodig om te weten dat de hendel aan een kastje bedoeld is om aan te trekken, dat de knop op het fornuis bedoeld is om te draaien, en dat het deksel op de pan bedoeld is om op te tillen. Je begrijpt direct niet alleen wat een object is, maar ook hoe je het gebruikt. In de wereld van robotica wordt dit intuïtieve begrip "affordance" genoemd.

Al heel lang worstelen robots hiermee. Ze weten misschien dat er een lade bestaat, maar ze weten niet precies waar ze hem moeten vastpakken of hoe ze hem open moeten trekken zonder hem te breken. Bestaande AI-modellen waren als studenten die slechts de helft van de vraag konden beantwoorden: sommigen konden wel naar de hendel wijzen maar wisten niet hoe ze eraan moesten trekken, terwijl anderen wel de beweging konden raden maar niet wisten welk object ze moesten aanraken.

Maak kennis met AFUN (Affordance Foundation Model for Functionality Understanding). Zie AFUN als het "super-intuïtieve zintuig" van een robot dat visie, taal en fysieke beweging combineert in één pakket.

Hier is hoe AFUN werkt, onderverdeeld in eenvoudige delen:

1. De "Grote Bibliotheek" van Ervaring

Om te leren hoe je objecten gebruikt, moet je veel mensen en robots zien terwijl ze dat doen. De onderzoekers bouwten een enorme "bibliotheek" van data door video's te verzamelen van overal:

Echte robots die taken uitvoeren.
Mensen die zichzelf filmen vanuit een eerste-persoonsperspectief (zoals GoPro-beelden).
Simulaties in videogames.
3D-scans van echte kamers.

Ze namen al deze rommelige, verschillende data en werkten deze op tot één enkel, standaard formaat. Het is alsof je recepten van Franse, Italiaanse en Chinese chefs neemt en ze allemaal vertaalt naar één universeel kookboek, zodat de robot van iedereen tegelijk kan leren.

2. De Tweestaps "Tovertruc"

Wanneer je AFUN een foto van een kamer geeft en een opdracht zoals "Open de magnetron," gokt het model niet zomaar. Het voert twee specifieke taken tegelijkertijd uit:

Stap A: Het "Waar" (Het Masker): Het tekent een digitale highlighter over het exacte deel van de magnetron dat je moet aanraken (de hendel of de deur). Het negeert de knoppen of de bovenkant van het apparaat.
Stap B: Het "Hoe" (De 3D-curve): Het stopt niet bij de hendel. Het tekent een vloeiende, 3D-lijn in de lucht die precies laat zien hoe de deur moet bewegen. Is het een rechte trekbeweging? Een draai? Een liftbeweging? AFUN voorspelt dit pad als een vloeiende curve, zoals een achtbaanbaan die de hand van de robot kan volgen.

3. Hoe het leert (De "Leraar" en de "Leerling")

Het model gebruikt een slimme truc om te leren. Het maakt gebruik van een gigantisch, vooraf getraind "brein" (een Vision-Language Model) dat al begrijpt hoe het plaatjes en woorden moet interpreteren.

De Leraar: Dit grote brein leest de instructie ("Open de magnetron") en kijkt naar de afbeelding.
De Leerling: AFUN gebruikt speciale "query tokens" (denk aan ze als plaknotities) om het grote brein te vragen: "Laat me de hendel zien!" en "Laats me de beweging zien!"
Het Resultaat: Het grote brein stuurt AFUN aan om het masker en de 3D-curve te tekenen.

4. Testen in de echte wereld

De onderzoekers hebben dit niet alleen op een computer getest; ze hebben het op een echte robotarm geplaatst (een Franka-robot).

De Test: Ze vroegen de robot om dingen te doen zoals "Pak de schroevendraaier op," "Haal het deksel van de pan," en "Open de magnetron."
De Uitkomst: De robot wist succesvol uit te vinden waar hij moest grijpen en hoe hij het object moest bewegen zonder dat daarvoor een speciale programmering voor die specifieke robot of taak nodig was. Hij keek gewoon, luisterde en handelde.

Waarom dit ertoe doet (Volgens het paper)

Het paper beweert dat AFUN een belangrijke stap voorwaarts is omdat:

Het is Algemeen: Het werkt op objecten en taken die het nog nooit heeft gezien, niet alleen op de zaken die het uit het hoofd heeft geleerd.
Het is Compleet: Het lost zowel het "waar aan te raken" als het "hoe te bewegen" probleem tegelijkertijd op.
Het is Klaar voor Gebruik: Het kan direct worden ingezet op echte robots, zonder dat het voor elke nieuwe machine opnieuw moet worden onderwezen.

Kortom, AFUN geeft robots het vermogen om naar een nieuw object te kijken, een menselijke vraag te begrijpen en fysiek uit te rekenen wat de beste manier is om ermee te interageren, precies zoals een mens dat zou doen.

Technische Samenvatting: AFUN: Naar een Affordance Foundation Model voor Functionele Begrip

Probleemstelling
Begrip van affordance (gebruiksmogelijkheden) dient als een cruciale interface tussen visuele perceptie en fysieke actie, wat robots in staat stelt om te opereren in open, ongestructureerde omgevingen. Het construeren van een foundation model dat tegelijkertijd kan generaliseren over diverse omgevingen, objecten en taken blijft echter een aanzienlijke uitdaging. Bestaande methoden adresseren doorga Lewis slechts gedeeltelijke aspecten van dit probleem: sommige lokaliseren taakrelevante regio's (waar te interageren) zonder een uitvoerbare beweging te specificeren, terwijl andere beweging voorspellen maar een gebrek aan schaalbaarheid hebben of heuristiek vereisen voor lokalisatie. Bovoltrek falen huidige benaderingen vaak in het karakteriseren van hoe een object moet bewegen na interactie (bijv. de specifieke trajectorie voor het openen van een lade versus het optillen van een deksel), en de meeste deep learning-modellen lijden onder beperkte generalisatie in de open wereld vanwege kleinschalige, niet-diverse datasets.

Methodologie
De auteurs presenteren AFUN, een verenigd foundation model ontworpen om zowel te voorspellen waar te interageren als hoe te interageren op basis van een enkele RGB-D observatie en een natuurlijke taaltaakbeschrijving.

Verenigde Datapijplijn: Om open-wereld generalisatie te ondersteunen, hebben de auteurs een grootschalige, gestandaardiseerde datapijplijn geconstrueerd. Ze hebben 321.190 ruwe video's verzameld uit 10 publieke bronnen, waaronder robotteleoperatie, menselijke egocentrische video's, simulaties en real-world scans. De pijplijn zet deze heterogene bronnen om in een gedeeld schema bevattende:
- Taakbeschrijving: Natuurlijke taalinstructies.
- Functionele Masker: Een segmentatiemasker dat het manipuleerbare deel identificeert.
- 3D Beweging: Een post-contact 3D-trajectorie gerepresenteerd als een Bézier-splinecurve.
- Kerninnovatie: In tegenstelling tot voorgaande werken die hand-/gripper-trajectorieën gebruiken (die pre-contact ruis bevatten), volgt AFUN de beweging van het object zelf. Het maakt gebruik van een Vision-Language Model (Qwen3-VL) om part-level queries te genereren en SAM3 om het gemanipuleerde object te volgen, om vervolgens het masker terug te projecteren om een vloeiende 3D-bewegingscurve te herstellen.
Modelarchitectuur: AFUN maakt gebruik van een dual-branch architectuur geconditioneerd op een bevroren Vision-Language Model (Qwen3-VL-8B) en een bevroren segmentatiemodel (SAM3).
- MetaQuery Conditioning: Het model gebruikt leerbare "MetaQuery" tokens om het VLM te verbinden met downstream-taken. Eén set tokens ($mqs$) verbindt met het segmentatiemodel, en een andere ($mqm$) verbindt met de motion decoder. Dit stelt het model in staat om de redeneercapaciteiten van het VLM te delen in een enkele forward pass.
- Segmentatie Tak: Gebruikt SAM3 om taakgeconditioneerde functionele maskers te voorspellen op basis van de semantische tokens.
- Motion Tak: Gebruikt een 3D feature encoder (Sonata) om geometrische kenmerken uit de diepte-input te extraheren. Een transformer decoder voorspelt de parameters van een 3D Bézier-splinecurve. De curve is verankerd bij het contactmiddelpunt ( $P_0$ ) en wordt gedefinieerd door voorspelde controlepunten in relatieve 3D-coördinaten.
Trainingsschema: Het model wordt in drie stadia getraind om stabiliteit te garanderen:
1. Alignment: Het afstemmen van MetaQuery tokens op de SAM3 tekst-conditionering ruimte met behulp van de Visual Genome dataset.
2. Segmentatie: End-to-end training van de segmentatietak op geaggregeerde affordance datasets (HOVA-500K, RAGNet, InstructPart, ReasonAFF).
3. Joint Training: Het gezamenlijk trainen van segmentatie en motion voorspelling op de gecureerde AFUN dataset, met behulp van een gecombineerde loss-functie van segmentation grounding en curve fitting (point-sampling loss).

Belangrijkste Bijdragen

AFUN Model: Een foundation model dat gezamenlijk taakgeconditioneerde functionele maskers en 3D post-contact bewegingscurves voorspelt, waardoor de kloof tussen "waar" en "hoe" in robotmanipulatie wordt overbrugd.
Grootschalige Gestandaardiseerde Dataset: De creatie van een van de grootste publieke affordance datasets tot nu toe, met 59.867 hoogwaardige trainingssamples met taal, maskers en object-gecentreerde 3D-bewegingslabels afgeleid van heterogene bronnen.
Object-gecentreerde Bewegingsdetectie: Een nieuwe dataverwerkingsstrategie die de beweging van het object volgt in plaats van de gripper, waardoor pre-contact ruis wordt vermeden en een directe representatie van functionele interactie wordt geboden.
Zero-Shot Deployment: Het vermogen om het model te implementeren op echte robots zonder taakspecifieke heuristieken of embodiment-specifieke finetuning.

Experimentele Resultaten
AFUN werd geëvalueerd op 8 segmentatie benchmarks en 3 motion benchmarks, waarbij superieur presteren werd aangetoond over alle metrieken:

Affordance Segmentatie: AFUN bereikte een gemiddelde gIoU van 69,3% en cIoU van 67,2%, waarmee het de sterkste baseline (Affordance-R1) versloeg met +23,9/+26,3 punten. Het presteerde ook beter dan baselines op complexe, intentie-afhankelijke regio's (bijv. het onderscheiden van een schopblad voor "bevatten" versus een handvat voor "gebruiken").
Contactpunt Voorspelling: Gebruikmakend van de Pole of Inaccessibility van het voorspelde masker, behaalde AFUN een hit rate winst van 12,7%–61,3% ten opzichte van de beste baselines (bijv. 96,5% op InstructPart versus 35,2% voor VRB).
3D Bewegingsvoorspelling: AFUN behaalde de laagste Average Displacement Error (ADE) en Final Displacement Error (FDE) op alle drie de testsets (AFUN test set, SceneFun3D, en RoboMIND2). Het presteerde significant beter dan baselines in Contact-in-Mask (CIM) hit rates (bijv. 81,0% op de AFUN test set versus 11,0% voor VRB).
Real-Robot Deployment: Het model werd geïmplementeerd op een Franka Research 3 arm voor taken zoals het openen van een magnetron, het afnemen van een deksel van een pan en het openen van een lade. Het behaalde een gemiddeld succespercentage van 90% zonder enige robot-specifieke finetuning.

Significantie en Claims
Het artikel beweert dat AFUN een belangrijke stap vormt naar een open-wereld affordance foundation model. Door functionaliteitsperceptie (masker) te verenigen met uitvoerbare actie (3D beweging) en gebruik te maken van een massale, gestandaardiseerde dataset, demonstreert AFUN het vermogen om zich aan te passen aan open-wereld taken zonder afhankelijk te zijn van smalle domeindata of handmatige heuristieken. De auteurs benadrukken dat het vermogen van het model om vloeiende, oriëntatiebewuste 3D-trajectorieën te voorspellen (via Bézier-splines) complexe manipulaties mogelijk maakt (zoals rotatie-opening) die moeilijk zijn voor eerdere lijngebaseerde of discrete bewegingsbenaderingen. Het werk suggereert een praktisch pad voor robots om diverse fysieke interacties te begrijpen en uit te voeren in ongestructureerde omgevingen.