🤖 AI

What Objects Enable, Not What They Are: Functional Latent Spaces for Affordance Reasoning

Het artikel introduceert A4D, een nieuwe benadering die robotplanning verschuift van uiterlijk-gebaseerd redeneren naar functioneel affordance-redeneren door visuele waarnemingen te mappen naar een gedeelde latente ruimte die georganiseerd is rond objectmogelijkheden, waardoor de generalisatie naar nieuwe interacties aanzienlijk wordt verbeterd en de snelle ontdekking van onbekende affordances mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Rohan Siva, Neel P. Bhatt, Yunhao Yang, Seoyoung Lee, Nishant Gadde, Christian Ellis, Alvaro Velasquez, Zhangyang Wang, Ufuk Topcu

Gepubliceerd 2026-06-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Rohan Siva, Neel P. Bhatt, Yunhao Yang, Seoyoung Lee, Nishant Gadde, Christian Ellis, Alvaro Velasquez, Zhangyang Wang, Ufuk Topcu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een rommelige kamer op te ruimen.

De Oude Manier: Oordelen op de Kaft
Momenteel werken de meeste robotbreinen als een bibliothecaris die boeken alleen kent van hun cover art. Als de robot een rode doos met wieltjes ziet, denkt hij: "Ah, dat is een karretje." Maar weten dat het een "karretje" is, vertelt de robot niet wat hij ermee kan doen. Is het zwaar? Kan ik het duwen? Is het stevig genoeg om op te staan? De oude systemen worstelen hier omdat ze zich focussen op hoe een object eruitziet, niet op wat het kan doen. Als de robot een vreemd, nieuw uitziend object ziet dat werkt als een karretje, raakt hij in de war omdat het niet lijkt op de "karretje"-foto's die hij heeft gememoriseerd.

De Nieuwe Manier (A4D): Het "Superkracht" Woordenboek
De paper introduceert een nieuw systeem genaamd A4D. In plaats van te vragen "Wat is dit?", vraagt A4D: "Wat kan dit doen?"

Zie A4D als een robot die een speciaal woordenboek van superkrachten (genaamd "affordances") bij zich draagt. Deze superkrachten zijn geen namen zoals "stoel" of "beker"; het zijn acties zoals "verplaatsbaar", "ondersteunbaar" (kan ik erop staan?) of "betoonbaar" (kan ik eroverheen lopen?).

Hier is hoe A4D werkt, met behulp van een eenvoudige analogie:

1. De "Verplaatsbaar" vs. "Vast" Schuifregelaar

Stel je een lange, onzichtbare liniaal voor die in de robotbrein zweeft.

Aan het verre linkeruiteinde van de liniaal staat het woord "Vast" (iets wat je niet kunt bewegen).
Aan het verre rechteruiteinde staat het woord "Verplaatsbaar".
Het midden is de grijze zone waar je het niet zeker weet.

Wanneer de robot een object ziet, maakt hij niet alleen een foto; hij projecteert dat object op deze liniaal.

Als hij een zware rots ziet, landt de projectie nabij "Vast".
Als hij een speelgoedauto ziet, landt de projecting nabij "Verplaatsbaar".
Als hij iets ziet dat hij nog nooit eerder heeft gezien, landt de projectie misschien precies in het midden.

2. Het "Onzekerheid" Alarm

Dit is waar A4D slim wordt. De robot weet hoe ver zijn projectie verwijderd is van de "Verplaatsbaar" of "Vast" uiteinden.

Duidelijk Signaal: Als de projectie direct naast "Verplaatsbaar" ligt, zegt de robot: "Ik weet 100% zeker dat ik dit kan duwen." Hij handelt direct.
Het Alarm: Als de projectie in het midden landt (de grijze zone), gaat het interne alarm van de robot af: "Ik weet het niet zeker! Dit is riskant."

3. De "Vraag de Expert" Knop (Ontdekking)

Wanneer het alarm afgaat, raadt A4D niet zomaar wat. Het heeft een speciale truc. Het roept een zeer slimme, maar langzame "Expert" aan (een groot AI-model genaamd een VLM) om te helpen.

De Expert kijkt naar het object en zegt: "Hé, dit is niet alleen 'verplaatsbaar' of 'vast'. Dit object is eigenlijk 'Betoonbaar' (je kunt eroverheen lopen)."
A4D luistert, creëert een nieuwe liniaal voor "Betoonbaar" en voegt deze toe aan zijn woordenboek.
Nu heeft de robot geleerd een nieuwe superkracht te herkennen zonder dat een mens hem duizenden voorbeelden hoefde te leren. Hij had alleen een paar snelle controles van de Expert nodig.

Waarom dit een grote zaak is

De paper beweert drie belangrijke overwinningen voor dit systeem:

Het is Snel: De oude manier om de "Expert" voor elk object te vragen kost veel tijd (zoals wachten op een trage internetverbinding). A4D doet het denken zelf in een oogwenk (22 milliseconden), en roept de Expert pas aan wanneer hij echt in de war is. Het is 100 keer sneller dan de beste eerdere methoden.
Het Leert Snel: Als de robot een heel nieuw type superkracht tegenkomt (zoals "stapelbaar"), kan hij leren dit te herkennen met minder dan 16 voorbeelden. Het is alsof je een nieuw woord leert nadat je het slechts een handvol keren hebt gehoord.
Het is Nauwkeurig: Bij zaken die hij al kent, heeft hij 94% van de tijd gelijk, waarmee hij de vorige beste systemen met een grote marge verslaat.

Samenvattend:
A4D zorgt ervoor dat robots stoppen met geobsedeerd zijn door hoe dingen eruit zien en begint ze te laten nadenken over wat dingen doen. Het gebruikt een slim "liniaal"-systeem om snelle gokken te doen, weet precies wanneer het onzeker is, en heeft een ingebouwd mechanisme om on-the-fly nieuwe "superkrachten" te leren, waardoor het veel beter is in het plannen van taken in een rommelige, onvoorspelbare wereld.

Technische Samenvatting: A4D – Functionele Latente Ruimtes voor Affordance-Redeneren

Probleemstelling

Bestaande robotplanningssystemen vertrouwen voornamelijk op gebaseerd op uiterlijk redeneren, waarbij visuele observaties worden gecodeerd in latente ruimtes die zijn georganiseerd rond objectcategorieën (bijv. het identificeren van een "winkelwagentje"). Hoewel dit effectief is voor herkenning, slaagt deze aanpak er niet in om taakrelevante functionaliteiten (affordances) te vangen, zoals of een object "verplaatsbaar", "tilbaar" of "ondersteunbaar" is. Bijgevolg hebben deze systemen moeite met het generaliseren naar nieuwe robot-objectinteracties, omdat visueel verschillende objecten dezelfde functionaliteit kunnen delen, terwijl visueel gelijke objecten dat niet hoeven te doen.

Huidige oplossingen die proberen deze kloof te overbruggen, kampen met aanzienlijke beperkingen:

Interactie-gebaseerde methoden (bijv. AffordanceNet, SayCan) vereisen vaak domeinspecifieke data, zijn gebonden aan specifieke robotplatforms en zijn kostbaar om aan te passen aan nieuwe taken.
Vision-Language Models (VLMs) maken open-vocabulary redeneren mogelijk, maar lijden onder hoge inferentielatentie (seconden tot minuten) en grove outputs, wat ze ongeschikt maakt voor real-time, fijnmazige planning.
Zero-shot benaderingen missen de functionele onderscheidend vermogens die nodig zijn voor betrouwbare affordance-inferentie.

De kernuitdaging is het ontwikkelen van een systeem dat affordances direct afleidt uit visuele observaties met hoge nauwkeurigheid, lage latentie en het vermogen om te generaliseren naar ongeziene objecten en nieuwe affordances zonder uitgebreide hertraining.

Methodologie: A4D Framework

De auteurs introduceren A4D, een framework dat visuele observaties mapt naar een gedeelde functionele latente ruimte die gestructureerd is rond affordances in plaats van objectuiterlijk. Het systeem werkt via vier onderling verbonden componenten:

1. Constructie van de Functionele Latente Ruimte

A4D maakt gebruik van een vooraf getraind vision-language model (CLIP) om een gedeelde latente ruimte $Z$ te creëren.

Affordance-assen: Voor elke affordance $a$ (bijv. "verplaatsbaar") definieert het systeem een semantische as door de tekst-embeddings van de affordance ( $z_a$ ) en haar antoniem ( $z_{\bar{a}}$ , bijv. "vast") met elkaar te verbinden. De richtingvector $u_a = z_a - z_{\bar{a}}$ legt het semantische contrast vast tussen de aanwezigheid en de afwezigheid van de functionaliteit.
Fine-tuning: Om de uitlijning tussen visuele embeddings en deze semantische assen te verbeteren, worden de encoders gefinetuned op een kleine set gelabelde beeld-affordance paren met behulp van een contrastieve loss. Dit vormt de latente ruimte opnieuw, zodat visuele projecties langs de affordance-as discriminatiever worden terwijl de globale structuur behouden blijft.

2. Affordance-inferentie via Projectie-nabijheid

Gegeven een afbeelding $x$ , wordt de embedding $z_{img}$ geprojecteerd op de semantische affordance-as.

Beslisregel: De scalaire projectiecoördinaat $\lambda_a(z_{img})$ bepaalt de relatieve positie van het object langs de as. Een binaire beslissing wordt genomen op basis van het middelpunt: als de projectie dichter bij de affordance-embedding ligt dan bij het antoniem, wordt de affordance als aanwezig geïnterpreteerd.
Efficiëntie: Deze geometrische beslisregel maakt inferentie mogelijk in ongeveer 22 ms, wat real-time planning mogelijk maakt.

3. Onzekerheidskwantificering

Om scenario's te behandelen waarin het model onzeker is, kwantificeert A4D de onzekerheid met behulp van de projectiescore.

Kalibratie: De ruwe projectiescore wordt genormaliseerd en gekalibreerd met behulp van isotonische regressie op een held-out set om de waarschijnlijkheid $\eta(x, a)$ van de aanwezigheid van de affordance te schatten.
Trigger-mechanisme: Als de gekalibreerde waarschijnlijkheid binnen een door de gebruiker gedefinieerde onzekerheidsdrempel valt (bijv. $0.3 < \eta < 0.7$ ), markeert het systeem de voorspelling als onzeker. Deze onzekerheidsmetriek dient als een trigger voor het ontdekkingsmechanisme.

4. Affordance-ontdekking en Labeling

Wanneer bestaande affordances ontoereikend zijn of de onzekerheid hoog is, breidt A4D zijn geheugen dynamisch uit:

Generatie: Een Vision-Language Model (VLM) wordt bevraagd met de taakcontext en de huidige observatie om kandidaat-affordances voor te stellen (bijv. het suggereren van "begaanbaar" voor een trap).
Labeling: Een tweede oracle VLM-query labelt een kleine set voorbeelden voor deze nieuwe kandidaten.
Integratie: Deze gelabelde samples worden gebruikt om nieuwe affordance-assen te construeren of de latente ruimte te finetunen, waardoor het systeem nieuwe functionaliteiten kan leren met few-shot data (zo weinig als 16 voorbeelden) zonder catastrofale vergetelheid van eerder geleerde affordances.

Belangrijkste Bijdragen

Functionele Latente Ruimtes voor Affordance-redeneren: A4D verschuift de representatie van objectuiterlijk naar taakrelevante functionaliteiten, wat planning mogelijk maakt op basis van wat een object kan doen in plaats van wat het is.
Nauwkeurige en Efficiënte Inferentie: Het framework bereikt een nauwkeurigheid van 94,2% op bestaande affordances (waarbij het state-of-the-art VLM-baselines met >15 procentpunten verslaat) terwijl het een 100x snellere inferentie behoudt (22 ms vs. seconden/minuten voor VLMs).
Onzekerheid-bewuste Ontdekking: Het systeem introduceert een mechanisme om het affordance-geheugen selectief uit te breiden. Het gebruikt nabijheid in de latente ruimte om onzekerheid te kwantificeren en triggert VLM-ondersteunde ontdekking alleen wanneer dat nodig is, wat de nauwkeurigheid van de inferentie van nieuwe affordances verbetert van ~70% naar meer dan 90% met minder dan 10% van de oorspronkelijke trainingsdata.

Experimentele Resultaten

De auteurs hebben A4D geëvalueerd over diverse plannings-taken met zowel bekende als onbekende objectklassen en affordances:

Prestaties op Bekende Affordances: A4D behaalde 94,2% nauwkeurigheid op bekende affordances en bekende objectklassen (Setting A), waarmee het zero-shot CLIP (48%) en middelgrote GPT-5 baselines (78,9%) aanzienlijk versloeg.
Generalisatie: Het model generaliseerde goed naar onbekende objectklassen (86,3% nauwkeurigheid), maar vertoonde een daling op onbekende affordances (59–61%) zonder het ontdekkingsmechanisme.
Steekproefefficiëntie: Met het ontdekkingsmechanisme herstelde het systeem de prestaties op held-out affordances, waarbij het een nauwkeurigheid van >92% bereikte met slechts 16 gelabelde voorbeelden (~10% van de oorspronkelijke dataset).
Robuustheid: Het systeem demonstreerde robuustheid tegen VLM-labelruis (tot 15% foutpercentage), met slechts marginale degradatie in de inferentie-nauwkeurigheid.
Onzekerheid-gestuurde Fallback: Door VLM-redenering alleen aan te roepen voor de top 20% van de onzekere voorspellingen, bereikte het hybride systeem een nauwkeurigheid van 93%, waarbij snelheid en betrouwbaarheid effectief werden gebalanceerd.

Betekenis en Claims

Het artikel claimt dat A4D een praktische brug vormt tussen open-vocabulary affordance-redeneren en real-time robotplanning. Door weg te bewegen van uiterlijk-gebaseerd redeneren, biedt het framework een meer generaliseerbaar fundament voor planning dat robuust is voor nieuwe objecten en interacties.

De auteurs benadrukken dat hun aanpak onzekerheid-bewuste affordance-redenering mogelijk maakt, waardoor robots kunnen adapteren aan onvoorziene scenario's met minimale gelabelde data, terwijl ze voldoen aan de eisen van lage latentie voor closed-loop controle. Het werk benadrukt dat functionele latente representaties een veelbelovende richting zijn voor schaalbare en robuuste robotplanning, waarbij de focus verschuift van "wat een object is" naar "wat een object mogelijk maakt".

Het artikel erkent bescheiden beperkingen, zoals het feit dat de integratie met downstream planners momenteel ad-hoc is, affordance-assen vaststaan na de training (wat online adaptatie aan interactie-feedback beperkt) en de onzekerheidschatting afhankelijk is van empirische kalibratie in plaats van formele probabilistische garanties. Toekomstig werk stelt voor om A4D in volledige autonomie-stacks te integreren en online adaptatie te verkennen.