💻 computer science

EgoAfford: Task-Oriented Affordance Grounding via Egocentric Referring Segmentation

Het artikel introduceert EgoAfford, een benchmark en dataset voor taakgeoriënteerde affordance-grounding in egocentrische weergaven, samen met EgoLens, een gespecialiseerd multimodaal model dat gezamenlijk de volgende stap in de planning en rol-specifieke segmentatie uitvoert voor meerstaps tafelbladtaken.

Oorspronkelijke auteurs: Xinyuan Guan, Feifan Chen, Xinyu Zhan, Fu-Cheng Zhang, Cewu Lu, Lixin Yang

Gepubliceerd 2026-08-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xinyuan Guan, Feifan Chen, Xinyu Zhan, Fu-Cheng Zhang, Cewu Lu, Lixin Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert hoe hij een boterham moet maken. Je wilt niet alleen dat de robot weet hoe een "mes" eruitziet; je wilt dat hij begrijpt hoe hij dat mes moet gebruiken om boter te smeren, waarop hij het moet smeren, en waar hij de afgewerkte snee moet leggen. Dit is de wereld van affordance (gebruiksmogelijkheid), een chic woord voor "wat een object je toestaat te doen." Denk aan een deurklink: de vorm ervan staat uit tot draaien. Een beker staat uit tot het vasthouden van vloeistof. Lange tijd waren robots vrij goed in het herkennen van deze eenvoudige, eenmalige handelingen, zoals "pak de hendel." Maar het echte leven is rommelig en bestaat uit meerstaps-processen. Een boterham maken is niet zomaar één keer grijpen; het is een heel verhaal dat planning inhoudt, het oppakken van het juiste gereedschap, en weten waar je de volgende dingen precies moet leggen. De grote vraag die wetenschappers stellen is: kunnen we robots leren om niet alleen objecten te zien, maar ook het verhaal van een taak te begrijpen, de volgende zet te bepalen, en de kleine, specifieke onderdelen van een object aan te wijzen die nodig zijn voor die zet?

Maak kennis met EgoAfford, een nieuw project dat probeert dit puzzelstukje op te lossen door robots een "eerstepersoonsperspectief" te geven op de wereld, precies zoals wij die zien. De onderzoekers bouwden een enorme digitale speeltuin met ongeveer 15.500 afbeeldingen van tafelscènes, die 2.000 verschillende meerstaps-taken beslaan. Ze creëerden ook een "echte wereld" testset met 102 foto's genomen door mensen om te zien of de robot de rommelige realiteit van een echte keuken aankan. Het doel? Kijken of een computer naar een foto kan kijken, een doel als "thee zetten" kan lezen, en vervolgens twee dingen tegelijk kan doen: 1) de rest van het recept opschrijven (het plan), en 2) een masker tekenen over het exacte deel van de theepot waar je uit moet schenken, de lepel waarmee je moet roeren, en de kop waar je in moet schenken.

Om dit aan te pakken, introduceerde het team EgoLens, een slim AI-model dat specifiek voor deze taak is ontworpen. Zie EgoLens als de leerling-chef van een robot die leert om een scène te "lezen". In tegen tegenstelling tot andere modellen die misschien het hele object raden of in de war raken door complexe instructies, is EgoLens getraind om een taak af te breken in de kleinste functionele stukjes. Het zegt niet alleen "dat is een pan"; het zegt: "Ik moet de tuit van die pan pakken om te schenken, en ik moet het handvat van de lepel vasthouden om te roeren." Het artikel laat zien dat EgoLens momenteel de beste is in dit specifieke type denken, waarbij het andere grote AI-modellen en zelfs commerciële tools die proberen planning en visie te combineren, overtreft.

De onderzoekers zijn echter voorzichtig om te vermelden dat dit nog geen magische oplossing is. Hoewel EgoLens geweldig is in de "digitale" afbeeldingen die ze hebben gegenereerd, is er nog steeds een kloof wanneer het gaat om foto's uit de echte wereld, wat suggere-ert dat de robot nog meer oefening nodig heeft met de onvoorspelbare aard van het echte leven. De studie suggereert dat door het vermogen om de volgende stappen te plannen te combineren met het vermogen om het exacte functionele deel van een object aan te wijzen, we robots veel dichter bij het worden van nuttige helpers in ons dagelijs leven kunnen brengen. Het is een belangrijke stap voorwaarts in het leren aan machines niet alleen wat dingen zijn, maar ook hoe ze ze moeten gebruiken om een klus te klaren.

Technische Samenvatting: EgoAfford – Taakgeoriënteerde Affordance Grounding via Egocentrische Referentiële Segmentatie

Probleemformulering

Huidig onderzoek naar affordance grounding heeft zich grotendeels gericht op elementaire acties en het lokaliseren van functionele onderdelen (bijv. een lemmet voor snijden) voor enkelvoudige objecten of instructies met één stap. Het uitbreiden hiervan naar complexe, meerstaps tabletop-taken onthult echter twee kritieke beperkingen in de huidige formuleringen:

Focus op één doelwit: Bestaande methoden richten zich doorgaans op het gronden van één actie-geconditioneerd gebied zonder expliciet meerdere participerende objecten semantische rollen (direct object, instrument, bestemming) toe te wijzen.
Scope van één stap: Zelfs recente bimanuele of scene-niveau formuleringen voorspellen affordances voor een enkele gegeven actie, in plaats van een resterend proces af te leiden dat geconditioneerd is op de voortgang van de taak.

EgoAfford adresseert deze hiaten door taakgeoriënteerde affordance grounding te formuleren als een gezamenlijk probleem: gegeven een egocentrische tabletop-afbeelding en een hoogwaardige natuurlijke taaltaak, moet een model (i) het resterende stappenplan van acties genereren en (ii) de functionele onderdelen van de volgende actiestap segmenteren in drie specifieke rollen:

Direct Object ( $M_o$ ): Het object dat wordt gemanipuleerd.
Instrument ( $M_s$ ): Het gereedschap dat wordt gebruikt om op het object in te werken (afwezig bij handmatige acties).
Bestemming ( $M_d$ ): De doellocatie of container voor overdracht (afwezig bij acties op de plaats zelf).

Cruciaal is dat deze maskers onderdeel-niveau moeten zijn (bijv. de tuit van een pot, niet de hele pot) en afwezige componenten moeten afhandelen (geannoteerd als alle-nul maskers).

Methodologie

De EgoAfford Benchmark

De auteurs introduceren een uitgebreide benchmark bestaande uit een dataset en een referentiemodel.

Dataset Constructie: De dataset bevat ongeveer 15.537 door mensen geverifieerde egocentrische afbeeldingen afgeleid van 2.000 gegenereerde meerstaps-scenes. Een generatieve pipeline die gebruikmaakt van commerciële VLMs (bijv. GPT-5.5, Gemini 3) creëert taak-seeds, ontleedt deze in stappen en synthetiseert semantisch uitgelijnde afbeeldingen. Dit wordt gevolgd door een rigoureus proces van menselijke verificatie en maskercorrectie.
EgoAfford-Real: Om generalisatie te evalueren, is een handmatig vastgelegde testset van 102 afbeeldingen verspreid over 26 taken opgenomen, die losstaat van de gegenereerde scenes.
Annotatieprotocol: Annotaties definiëren drie rol-specifieke maskers per stap. De dataset ondersteunt multi-branch taken waarbij meerdere geldige volgende acties bestaan, wat vereist dat modellen de meest passende actie selecteren en de componenten ervan gronden.

Het EgoLens Referentiemodel

Om een sterk baseline te vestigen, presenteren de auteurs EgoLens, een 3B-parameter Multi-Modale Large Language Model (MLLM) ontworpen voor deze gezamenlijke taak.

Architectuur: Gebouwd op de LENS-architectuur met een Qwen2.5-VL 3B backbone. Het maakt gebruik van leerbare grounding queries die worden doorgegeven aan drie parallelle, rol-specifieke mask-decoders (één voor elke component: $M_o, M_s, M_d$ ). Dit architecturale ontwerp zorgt voor semantische binding tussen maskers en hun rollen zonder uitsluitend te vertrouwen op tekstgeneratie.
Trainingsstrategie: Het model wordt getraind met een uniforme prompt-template. Het genereert een Chain-of-Thought (CoT) planning trace (teacher-forced tijdens training) gevolgd door een gestructureerd antwoord dat het resterende plan en de drie component-maskers bevat. De loss-functie combineert taalmodellering loss (die alleen de gestructureerde antwoord-tokens superviseert) en segmentatie loss (BCE + Dice voor niet-lege maskers, alleen BCE voor lege maskers).
Inference: Het model genereert autoregressief het volledige plan en de drie component-maskers in één enkele forward pass op basis van de afbeelding en de taakbeschrijving.

Belangrijkste Bijdragen

Taakgeoriënteerde Formulering: Het artikel definieert meerstaps taakgeoriënteerde affordance grounding als een gezamenlijke resterende-plan generatie en part-level grounding taak, geïnstantieerd in de EgoAfford benchmark.
EgoLens Model: Een referentie MLLM die simultaan het resterende plan genereert en drie rol-specifieke component-maskers voorspelt, waarmee de uitdaging van het koppelen van planning aan fijnmazige grounding wordt aangepakt.
Uitgebreide Evaluatie: Uitgebreide evaluaties op zowel gegenereerde als real-world observaties, waarbij de specifieke uitdagingen van next-step inference en actie-rol-geconditioneerde part grounding worden gekarakteriseerd.

Experimentele Resultaten

Het artikel evalueert recente referring-segmentation MLLMs (Sa2VA, UniPixel, LENS, OMG-LLaVA), commerciële VLM–SAM2 pipelines, en EgoLens.

Prestaties Volledige Taak: EgoLens vestigt een sterke referentieprestatie en behaalt 0.700 gIoU en 0.486 cIoU op de gegenereerde testset. Dit presteert significant beter dan de sterkste commerciële VLM pipeline (GPT-5.5 + SAM2, 0.476 gIoU) en open-source baselines, die vaak falen om alle drie de rol-specifieke maskers in een enkele pass terug te geven.
Real-World Generalisatie: Op EgoAfford-Real (zero-shot transfer) behaalt EgoLens 0.666 gIoU en 0.455 cIoU, waarmee het de GPT-5.5 + SAM2 pipeline met 9.7 punten in gIoU verslaat. Dit suggereert dat EgoLens meer consistente sample-level voorspellingen biedt.
Ontrafeling van Inference en Grounding: Wanneer een referentie voor de volgende stap wordt meegegeven (waardoor de planning-last wordt weggenomen), bereikt EgoLens-Seg 0.839 gIoU. De daling in prestaties wanneer de referentie-stap wordt verwijderd, benadrukt dat next-step inference een substantiële bron van fouten blijft.
Component Analyse: EgoLens demonstreert robuuste lokalisatie voor niet-lege targets (NE-mIoU van 0.668 voor Direct Objects, 0.614 voor Instruments, en 0.568 voor Destinations), wat bevestigt dat de prestaties niet uitsluitend gedreven worden door het herkennen van afwezige componenten.

Betekenis en Claims

Het artikel stelt dat EgoAfford en EgoLens een fundament bieden voor het gezamenlijk bestuderen van perceptie en planning in meerstaps tabletop-taken. De auteurs beweren dat:

Complementaire Uitdagingen: De benchmark de complementaire moeilijkheden van next-step inference (planning) en actie-rol-geconditioneerde part grounding benadrukt.
Rol-Specifieke Grounding: Het gaan voorbij aan single-object formuleringen door expliciet direct objects, instrumenten en bestemmingen te modelleren, legt vast hoe meerdere objecten aan een taak participeren.
Toekomstige Richting: Het werk suggereert een pad naar het verbinden van rol-gestructureerde grounding met embodied uitvoering, waarbij geïdentificeerde componenten dienen als expliciete argumenten voor herbruikbare manipulatie-skills (bijv. pour(source, destination)), wat een agentische alternatief biedt voor end-to-end World Action Models.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de dataset grotendeels gegenereerd is (het ontbreekt aan de visuele getrouwheid en rommel van natuurlijke omgevingen) en dat statische-image evaluatie geen bewegingshaalbaarheid of closed-loop succes vastlegt. Ze merken ook op dat EgoLens getraind is op een enkel geldig pad, wat de capaciteit om alternatieve oplossingen te hanteren mogelijk beperkt.