Technische Samenvatting: AFFORDMEM – Verankering door Herinnering

Probleemstelling

Het artikel behandelt 3D functionele affordantie-verankering, een taak waarbij een agent niet alleen een object moet herkennen, maar ook de specifieke, kleine 3D-regio moet lokaliseren die een interactie ondersteunt (bijvoorbeeld het handvat van een lade, de knop op een afstandsbediening). De auteurs identificeren twee primaire uitdagingen die bestaande trainingsvrije vision-language-pijplijnen niet in combinatie aanpakken:

1. Granulariteitsambiguïteit: Actieerbare regio's zijn vaak minimaal (bijvoorbeeld een handvat dat minder dan 30×30 pixels inneemt in een frame met hoge resolutie). Vision-Language Modellen (VLM's) die worden geprompt met tekst (bijvoorbeeld "ladehandvat") neigen ernaar het volledige ouderobject (het ladepaneel) te lokaliseren in plaats van de specifieke bedienbare subregio.
2. Instance-disambiguïatie: Scènes bevatten vaak meerdere geometrisch identieke instanties van hetzelfde object (bijvoorbeeld drie identieke ladehandvatten). Het oplossen van queries met ruimtelijke kwalificatoren (bijvoorbeeld "het tweede handvat van boven") vereist globale ruimtelijke redenering over de gehele scène, wat single-view of frame-onafhankelijke pijplijnen niet kunnen bieden.

Bestaande methoden behandelen frames ofwel als onafhankelijke 2D-bags, waarbij 3D-geometrie wordt verworpen, of richten zich op segmentatie van het hele object in plaats van op fijnmazige subregio's.

Methodologie: AFFORDMEM

De auteurs stellen AFFORDMEM voor, een trainingsvrij raamwerk dat 3D functionele affordanties verankert door geheugen op twee distincte niveaus bij te houden. Het systeem verwerkt een geposeerde RGB-D-sequentie en een natuurlijke taalquery zonder de onderliggende modellen te finetunen of de doel-scène te annoteren.

1. Functionele Query-decompositie

De invoerquery wordt ontleed in een gestructureerde triple:

• $\ell_{ctx}$: Het label van het referentieobject (bijvoorbeeld "lade").
• $\ell_{int}$: Het label van het interactieve element (bijvoorbeeld "handvat").
• $\sigma$: De ruimtelijke relationele beschrijver (bijvoorbeeld "tweede van boven").

2. Cross-Scene Affordantie-geheugen (Aanpak van Granulariteit)

Deze component adresseert de granulariteitsambiguïteit door een category-level geometrische prior te bieden.

• Geheugenconstructie: Een geheugenbank wordt opgebouwd uit eerder geannoteerde bron-scènes. Voor elke semantische categorie projecteert het systeem geannoteerde 3D-affordantiepunten naar 2D-beeldvlakken met behulp van de camera-poses van de bron. Het filtert deze projecties op diepte-consistentie om valse positieven op occlusiegrenzen te onderdrukken.
• Terugroepen & Prompting: Tijdens de query-tijd haalt het systeem de top-$K$ meest informatieve gemaskerde afbeeldingen op (die tonen waar affordanties typisch op het object verschijnen) voor de doel-categorie. Deze afbeeldingen worden als visuele prompts aan een bevroren VLM aangeboden, samen met het huidige frame.
• Adversariële Prompting: De VLM krijgt de instructie om gepaarde omhullende vakken uit te voeren: een "positief" vak voor de direct bedienbare kern en een "negatief" vak voor visueel vergelijkbare maar niet-bedienbare regio's (bijvoorbeeld het bevestigingsvoetstuk). Dit stuurt het model weg van grove object-niveau segmentatie.
• 3D-fusie: De resulterende fijnmazige 2D-maskers worden teruggeprojecteerd en gefuseerd tot een 3D-kandidatenpool met behulp van multi-view voting en clustering (DBSCAN).

3. In-Scene Ruimtelijk Geheugen (Aanpak van Disambiguïatie)

Deze component adresseert instance-disambiguïatie door de 3D-kandidatenpool te organiseren in een gestructureerd sceneschema.

• Sceneschema-constructie: Elke 3D-kandidaat-instantie is een knoop die is geannoteerd met zijn 3D-centroïde, een as-gealigneerd omhullend vak (AABB) en het semantische type. Knooppunten zijn gekoppeld aan hun ouderobjecten om deel-object-relaties te coderen.
• Globale Redenering: Het schema wordt gesequencialiseerd en aan een Large Language Model (LLM) gepresenteerd, samen met een schematische, orthografische top-down weergave van de scène (waarbij alle kandidaten zonder occlusie zichtbaar zijn) en per-knoop RGB-crops.
• Selectie: De LLM redeneert over de globale lay-out om ruimtelijke kwalificatoren op te lossen (bijvoorbeeld "tweede van boven") en selecteert het juiste knoop-ID, wat overeenkomt met de uiteindelijke 3D-maskerpredictie.

Belangrijkste Bijdragen

1. Cross-Scene Affordantie-geheugen: Een category-level visueel geheugen dat geometrische prioren terugroept om bevroren VLM's te leiden naar kleine bedienbare subregio's, waardoor de neiging om omhullende objecten te selecteren wordt overwonnen.
2. In-Scene Ruimtelijk Geheugen: Een gestructureerd ruimtelijk geheugen dat 3D-kandidaten en hun relaties accumuleert, waardoor betrouwbare selectie mogelijk wordt onder ordinale, relationele en ruimtelijke kwalificatoren op lange afstand via LLM-redenering.
3. Trainingsvrij State-of-the-Art: Het raamwerk vereist geen model-finetuning en geen annotatie van de doel-scène, en bereikt nieuwe state-of-the-art prestaties onder trainingsvrije methoden op de SceneFun3D-benchmark.

Experimentele Resultaten

De methode werd geëvalueerd op SceneFun3D, een grootschalige benchmark voor 3D functionele affordantie-segmentatie.

• Prestaties: AFFORDMEM presteerde beter dan de vorige trainingsvrije state-of-the-art (Fun3DU) met +3,23 AP50 op Split 0 en +3,7 AP50 op Split 1.
• Vergelijking met Trainingsgebaseerde Methoden: Op Split 0 overtrof AFFORDMEM de trainingsgebaseerde methode AffordBot met een aanzienlijke marge in AP25 (41,66 versus 24,76), wat wijst op superieure lokalisatie van bedienbare subregio's ondanks het ontbreken van scènespecifieke training.
• Ablatiestudies:
  • Het verwijderen van het In-Scene Ruimtelijk Geheugen (sceneschema) veroorzaakte de grootste prestatiedaling (7,18 AP50), wat de noodzaak bevestigt voor het oplossen van ruimtelijke kwalificatoren.
  • Het verwijderen van Cross-Scene Affordantie-geheugen (adversariële prompting) verlaagde AP25 met 2,92 punten, wat de rol bevestigt in fijnmazige lokalisatie.
  • Een diagnostische "Fun3DU-stijl" pijplijn die dezelfde backbone-modellen gebruikte (Qwen3-VL en SAM3) maar zonder de geheugenmodules, bereikte aanzienlijk lagere prestaties (7,14 AP50), wat aantoont dat de winst voortkomt uit de voorgestelde geheugenmechanismen in plaats van verbeteringen in de backbone.

Betekenis en Claims

Het artikel beweert dat 3D-geometrie de specifieke signalen codeert die ontbreken in huidige pijplijnen: category-level ruimtelijke prioren voor granulariteit en globale instance-lay-outs voor disambiguïatie. Door deze te behandelen als distincte "geheugenfouten" en ze aan te pakken met specifieke geometrische geheugenmechanismen, overbrugt AFFORDMEM de kloof tussen objectherkenning en precieze functionele interactie.

De auteurs benadrukken dat hun aanpak bescheiden is wat generalisatie betreft: het huidige systeem vertrouwt op exacte stringmatching tussen interactielabels en de geheugenindex, wat betekent dat het niet kan generaliseren naar ongezette categorieën zonder voorafgaande annotatie. Zij identificeren toekomstig werk in op embedding gebaseerde terugroeping voor ongezette categorieën en het uitbreiden van het raamwerk naar dynamische scènes. De primaire bijdrage is een robuust, trainingsvrij raamwerk dat een nieuwe benchmark zet voor 3D functionele affordantie-verankering door effectief gebruik te maken van geheugen om granulariteit en ruimtelijke ambiguïteit op te lossen.