PanoAffordanceNet: Towards Holistic Affordance Grounding in 360{\deg} Indoor Environments

Dit artikel introduceert PanoAffordanceNet, een nieuw end-to-end framework en bijbehorend dataset (360-AGD) voor holistische affordance-grounding in 360°-interieurs, dat uitdagingen zoals geometrische vervorming en semantische dispersie aanpakt om de waarneming voor embodied agents te verbeteren.

De kern

Stel je voor dat je een robot bent die net in een nieuw huis is aangekomen. Je hebt een gewone camera, maar die ziet maar één kant tegelijk. Alsof je door een klein raampje kijkt. Je ziet een stoel, maar je mist de tafel ernaast en de deur achter je. Voor een robot die echt kan bewegen en werken in een ruimte, is dat niet genoeg. Die robot heeft een 360-graden blik nodig, alsof hij een bolvormige bril op heeft die overal tegelijk naar kijkt.

Maar hier zit een addertje onder het gras. Als je een hele wereld om je heen in één platte foto (zoals een panorama) probeert te vangen, gaat er van alles mis. De bovenkant en onderkant van de foto worden enorm uitgerekt, alsof je een ballon opblaast en er een platte kaart van probeert te maken. De details worden vaag, en wat er "zit" op een stoel, lijkt soms op "liggen" op een matras, alleen omdat de foto vervormd is.

Dit is precies het probleem dat de onderzoekers in dit paper willen oplossen. Ze hebben een nieuwe manier bedacht om robots te leren wat ze in een kamer kunnen doen (zoals zitten, liggen, of iets vastpakken), zelfs als ze naar een vervormde 360-graden foto kijken. Ze noemen hun oplossing PanoAffordanceNet.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Gekke Spiegel"

Stel je voor dat je naar een foto kijkt die door een gekke spiegel is gemaakt. De stoelen bij de randen van de foto zijn uitgerekt als kauwgom. Als je robot probeert te leren waar hij kan zitten, raakt hij in de war. Hij denkt misschien dat hij op de muur moet zitten omdat de muur eruitziet als een stoel door de vervorming. Ook ziet hij de kamer als een verzameling losse stukjes, terwijl het eigenlijk één samenhangende ruimte is.

2. De Oplossing: De "Slimme Brillen" (PanoAffordanceNet)

De onderzoekers hebben een slim systeem gebouwd dat deze gekke spiegel corrigeert. Ze gebruiken twee speciale hulpmiddelen:

• De "Vervormings-Filter" (DASM):
  Stel je voor dat je een bril opzet die precies weet hoe de spiegel de wereld vervormt. Bij de bovenkant van de foto (de pool) is de vervorming het grootst. Deze filter "rekt" de beelden daar weer terug naar normaal, zodat de robot weer ziet hoe een stoel er echt uitziet. Het is alsof je een vervormde kaart weer platstrijkt zodat de afstanden kloppen.
• De "Puzzel-Vuller" (OSDH):
  Soms ziet de robot alleen maar losse stipjes waar hij iets kan doen. Misschien ziet hij één puntje op een bank waar je kunt zitten, maar mist hij de rest. De "Puzzel-Vuller" is slim genoeg om te zeggen: "Als hier een puntje is om te zitten, en de bank ziet er hetzelfde uit aan de andere kant, dan is daar ook een plek om te zitten!" Hij vult de gaten in en maakt een volledig, samenhangend plaatje van waar je wat kunt doen.

3. De Leermeester: De Nieuze "Oefenboek" (360-AGD)

Om deze robot te leren, hadden ze een nieuw oefenboek nodig. Bestaande boeken bevatten alleen gewone foto's. Dus hebben ze 360-AGD gemaakt. Dit is de eerste verzameling van 360-graden foto's van binnenkamers, waarbij mensen precies hebben aangegeven: "Hier kun je zitten", "Hier kun je liggen", "Hier kun je iets vastpakken". Het is als een trainingscursus voor robots, speciaal voor de 360-graden wereld.

4. Wat levert het op?

In de tests bleek dat hun robot veel beter presteert dan de oude methoden.

• Oude robots: Kijken door een raampje, raken in de war bij vervormingen, en denken dat ze op de muur moeten zitten.
• Nieuwe robot (PanoAffordanceNet): Kijkt overal tegelijk, corrigeert de vervormingen, en ziet precies waar de stoel is, zelfs als hij eruitziet als een reepje kauwgom op de foto.

Waarom is dit belangrijk?

Voor robots die in onze huizen moeten werken (zoals huishoudrobots of zorgrobots), is het cruciaal om de hele kamer in één oogopslag te begrijpen. Ze moeten niet alleen zien wat er is, maar ook wat ze er mee kunnen doen. Met deze nieuwe techniek kunnen robots sneller en veiliger bewegen in onze complexe, ronde wereld, zonder dat ze telkens vastlopen omdat ze de ruimte niet goed begrijpen.

Kortom: Ze hebben een robot een paar "magische brillen" gegeven, zodat hij eindelijk de hele kamer ziet zoals wij die zien, zonder de verwarring van de vervormde foto's.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "PanoAffordanceNet: Towards Holistic Affordance Grounding in 360° Indoor Environments" in het Nederlands.

Probleemstelling

Bestaande methoden voor het "grounden" van affordances (het lokaliseren van interactiemogelijkheden in een visuele scène) zijn grotendeels gericht op objecten en beperkt tot perspectiefbeelden (standaard camera-weergaven). Dit creëert een mismatch met de fysieke actie-ruimte van embodied agents (zoals service-robots), die inherent opereren in een 360°-omgeving.

Wanneer bestaande modellen direct worden toegepast op panoramische beelden, treden er drie fundamentele uitdagingen op:

1. Geometrische vervorming: De Equirectangular Projection (ERP), die wordt gebruikt voor 360°-beelden, veroorzaakt ernstige vervorming, vooral in de poolgebieden. Dit maakt het moeilijk om zowel lokale interactie-details als globale structuren te behouden.
2. Semantische dispersie en ongelijkmatige sampling: Door de aard van ERP zijn functionele gebieden (waar een actie mogelijk is) vaak verspreid en spaarzaam aanwezig, wat leidt tot gefragmenteerde activaties die moeilijk te aggregeren zijn tot coherente gebieden.
3. Semantische drift: Bij gebrek aan dichte pixel-gemerkte data (vaak slechts één voorbeeld of "one-shot" learning), hebben modellen moeite om abstracte affordance-semantiek (bijv. "zitten") nauwkeurig te koppelen aan multi-schaal regio's in complexe 360°-scènes.

Methodologie: PanoAffordanceNet

De auteurs introduceren PanoAffordanceNet, een end-to-end framework voor één-shot affordance grounding in 360°-binnenruimtes. Het framework bestaat uit vier kerncomponenten:

1. Dual-Encoder Feature Extraction:

   • Gebruik van een voorgeöpleide visuele encoder (DINOv2) en een tekst-encoder (CLIP).
   • Implementatie van LoRA (Low-Rank Adaptation) om overfitting te voorkomen bij schaarse annotaties en om de geometrische vervormingen van ERP aan te passen.

2. Distortion-Aware Spectral Modulator (DASM):

   • Dit module lost het probleem van ERP-vervorming op door dual-frequency spectrale distillatie.
   • Het scheidt visuele features in hoogfrequente (grenzen, interactiecontouren) en laagfrequente componenten (globale structuur).
   • Specifieke modules (HFEM en LFSM) compenseren de frequentie-ongelijkheid: HFEM scherpt grenzen aan in de evenaarregio's, terwijl LFSM de globale structuur stabiliseert in de vervormde poolregio's.
   • Een "gated modulation" mechanisme fuseert deze componenten op basis van semantische relevantie.

3. Spherical-Aware Hierarchical Decoder & Omni-Spherical Densification Head (OSDH):

   • Om het probleem van verspreide activaties op te lossen, gebruikt de decoder een OSDH.
   • Deze module benut visuele zelfgelijkenis op het boloppervlak (spherical manifold).
   • Het selecteert hoogbetrouwbare "seeds" (top-k) en gebruikt een confidentie-geleide mechanisme om ruis te onderdrukken en de activaties te verdichten tot topologisch continue, geometrisch coherente functionele gebieden.

4. Multi-Level Training Objective:

   • Om semantische drift te onderdrukken bij lage supervisie, worden drie verliesfuncties gecombineerd:
     • Pixel-level (LBCE): Voor nauwkeurige activatie.
     • Distribution-level (LKL): Om de voorspelde heatmap te laten overeenkomen met de ground-truth verdeling (behoud van vorm en intensiteit).
     • Region-Text Contrastive (LRTC): Om semantische correspondentie tussen visuele regio's en tekstuele affordance-concepten te versterken.

Kernbijdragen

1. Nieuwe Taakdefinitie: De introductie van "Holistic Affordance Grounding in 360° Indoor Environments", die verschuift van object-centric naar scene-level redenering.
2. PanoAffordanceNet Framework: Een innovatieve architectuur die specifiek is ontworpen om geometrische vervorming, schaarse functionele regio's en semantische drift aan te pakken via DASM, OSDH en multi-level training.
3. 360-AGD Dataset: De creatie van het eerste hoogwaardige dataset voor panoramische affordance grounding. Deze dataset bevat nauwkeurige annotaties van interactieregio's in 360°-beelden, verdeeld in een "Easy Split" (schone omgevingen) en een "Hard Split" (complexere, hogere resolutie omgevingen).

Resultaten

• Prestaties op 360-AGD: PanoAffordanceNet presteert significant beter dan state-of-the-art methoden (zoals OOAL en OS-AGDO) op zowel de Easy als Hard splits van de nieuwe dataset. Het bereikt een verbetering van ongeveer 50% op de KLD-metriek (Kullback-Leibler Divergence) en aanzienlijk hogere scores voor Similarity (SIM) en Normalized Scanpath Saliency (NSS).
• Generalisatie: Het model behoudt hoge concurrentiekracht op het standaard perspectief-dataset AGD20K, wat aantoont dat de architectie robuust is en niet overgespecialiseerd is op panoramische data.
• Ablatiestudies: Experimenten bevestigen dat elke component (DASM, OSDH, LoRA, en de multi-level loss) essentieel is voor de uiteindelijke prestaties. Zonder DASM neemt de vervormingsfout toe; zonder OSDH blijven de voorspellingen gefragmenteerd.
• Real-world Evaluatie: Tests met een wearable 360°-camera op een robot in ongestructureerde kantoor- en huiskameromgevingen tonen aan dat het model functionele regio's (zoals "zitten" of "display") nauwkeurig lokaliseert ondanks variërende verlichting en vervorming.

Significantie

Dit werk is een mijlpaal voor de ontwikkeling van embodied intelligence. Het biedt een solide basis voor robots om hun omgeving niet alleen te zien, maar te begrijpen in termen van interactiemogelijkheden over het volledige 360°-veld. Door de beperkingen van perspectiefbeelden te doorbreken en specifiek in te spelen op de wiskundige en semantische uitdagingen van panoramische beelden, maakt PanoAffordanceNet robuustere en veiligere interactie van robots in complexe, menselijke omgevingen mogelijk. De publicatie van de dataset en de code bevordert verdere research in dit domein.