A3R: Agentic Affordance Reasoning via Cross-Dimensional Evidence in 3D Gaussian Scenes

Probleemstelling

Traditionele methoden voor affordance-redenering (het identificeren van het gebied in een scène dat een specifieke actie ondersteunt, zoals "grijpen") in 3D-scènes worden vaak geformuleerd als een eenmalige voorspelling (one-shot prediction) op basis van een statische observatie. De auteurs stellen dat deze aanpak tekortschiet in complexe 3D-scènes, zelfs wanneer de voorspellingscapaciteit van het model sterk is.

Het kernprobleem is evidentie-beperking: onder een vaste observatie ontbreekt vaak de nodige taakrelevante informatie om ambiguïteit op te lossen. Bijvoorbeeld, wanneer meerdere objecten vergelijkbare geometrie hebben of wanneer de affordance zich in een smal, complex gebied bevindt. Bestaande methoden fuseren 2D semantische en 3D geometrische informatie statisch, wat leidt tot onvoldoende onderscheidingsvermogen in moeilijke gevallen.

Methodologie: A3R Framework

De auteurs stellen A3R (Agentic Affordance Reasoning) voor, een raamwerk dat affordance-redenering herschrijft als een sequentieel proces van cross-dimensionale bewijsverzameling. In plaats van direct te voorspellen, verzamelt een agent actief aanvullende informatie om de onzekerheid te verminderen.

Het systeem werkt als volgt:

1. Formulering als POMDP:
   Het proces wordt gemodelleerd als een Partially Observable Markov Decision Process (POMDP). De latente staat is de ware affordance-toewijzing in de 3D-scène. De agent heeft geen directe toegang tot deze staat, maar kan deze benaderen door acties uit te voeren die bewijs genereren.

2. Cross-Dimensionale Bewijsverzameling:
   De agent kan kiezen uit een actie-ruimte van operators die complementair bewijs verzamelen:

   • 3D Geometrische Operators:
     • 3D Instance Segmentation (Inst): Identificeert het relevante object om afleidende elementen te onderdrukken.
     • 3D Part Segmentation (Part): Voert een nauwkeurige, op de scène gebaseerde geometrische verificatie uit voor de specifieke onderdeel-affordance.
     • 3D Zoom: Beperkt de werkruimte tot een lokaal subgebied voor fijnere analyse.
   • 2D Semantische Operators:
     • SAM2D (2D Semantic Segmentation with 3D Lifting): Haalt semantische cues uit gerenderde 2D weergaven en projecteert deze terug naar de 3D-scène. Dit helpt bij het onderscheiden van functioneel vergelijkbare gebieden waar geometrie alleen tekortschiet.

3. MLLM-gedreven Agentbeleid:
   Een Multimodal Large Language Model (MLLM) fungeert als het beleidsmechanisme. Op basis van de huidige beslissingstoestand (bestaande uit de huidige werkruimte, de huidige affordance-geloofswaarde, en de geschiedenis van acties/bewijs) kiest de MLLM de volgende actie. De agent beslist dynamisch of er meer 3D-geometrie of 2D-semantiek nodig is om de ambiguïteit op te lossen.

4. Leren met GRPO:
   Om het beleid te optimaliseren, gebruiken de auteurs Group Relative Policy Optimization (GRPO). In plaats van stap-voor-stap supervisie, wordt het model getraind op volledige trajecten van interacties. De beloning is gebaseerd op de uiteindelijke nauwkeurigheid (IoU) van de voorspelling en een straf voor te veel stappen. Dit stimuleert de agent om efficiënte routes te kiezen die tot een correcte conclusie leiden.

Belangrijkste Bijdragen

• Paradigmaverschuiving: Het identificeren van "onvoldoende bewijs onder statische observatie" als de primaire oorzaak van fouten, wat leidt tot een verschuiving van passieve voorspelling naar actief bewijsverzamelen.
• A3R Framework: Een nieuw agentisch raamwerk dat dynamisch aanvullende 3D-geometrische en 2D-semantische bewijzen opvraagt via een MLLM-beleid.
• GRPO-strategie: Een leerstrategie die de efficiëntie van bewijsverzameling en redeneernauwkeurigheid verbetert zonder stap-voor-stap supervisie, maar wel met beloning op het eindresultaat.
• Cross-dimensionale Synergie: Het bewijzen dat het combineren van 3D-geometrie (voor ruimtelijke gronding) en 2D-semantiek (voor functionele priors) op een adaptieve manier superieur is aan statische fusie.

Resultaten

De auteurs hebben A3R getest op twee benchmarks gebaseerd op 3D Gaussian Splatting (3DGS): 3DAffordSplat (object-niveau) en SeqAffordSplat (scène-niveau).

• Prestaties: A3R overtreft consequent bestaande statische "one-shot" baselines (zoals IAGNet, PointRefer, en AffordSplatNet).
• Unseen Generalisatie: De prestatieverbetering is het grootst in de "Unseen" settings (onbekende affordances), waar statische modellen vaak falen door gebrek aan trainingspatronen. A3R bereikt een verbetering van 16,55 mIoU-punten in deze setting ten opzichte van de beste statische baseline.
• Efficiëntie: Zelfs de versie zonder reinforcement learning (training-free) presteert beter dan statische methoden. De GRPO-versie verbetert dit verder door het aantal benodigde interactiestappen te optimaliseren (gemiddeld ~2,6 stappen).
• Ablatie-studies: Experimenten tonen aan dat noch puur 3D-geometrie noch puur 2D-semantiek voldoende is voor complexe gevallen. De adaptieve selectie van operators door de agent levert de beste resultaten op, in tegenstelling tot vaste sequenties of statische fusie.

Significantie

Dit paper is significant omdat het een fundamentele beperking in 3D-scènebegrip aanpakt: de afhankelijkheid van een enkele observatie. Door affordance-redenering te behandelen als een actief perceptieproces, toont A3R aan dat robots en AI-systemen in complexe omgevingen succesvoller kunnen zijn door "te kijken waar het nodig is" en verschillende visuele dimensies (2D en 3D) te combineren op het moment dat de onzekerheid het hoogst is. Dit biedt een robuustere basis voor robotmanipulatie, mens-robotinteractie en AR/VR-toepassingen in realistische, ongestructureerde omgevingen.