Technische Samenvatting: WorldComp2D

Probleemstelling

Embodied kunstmatige intelligentie (AI)-agenten opereren onder strikte rekenkundige en vermogensbeperkingen, waarbij ze de wereld waarnemen via lokale, viewpoint-afhankelijke observaties in plaats van toegang te hebben tot volledige globale weergaven. Bestaande spatio-semantische inferentiemethoden, zoals objectlocatie, vertrouwen doorgaans op toegang tot globale afbeeldingen, waarbij volledige afbeeldingen worden verwerkt via pixelsgewijze berekeningen, gespecialiseerde architecturen of regressiehoofden gebaseerd op warmtekaarten. Hoewel deze benaderingen effectief zijn in standaard benchmarks, brengen ze aanzienlijke rekenkosten en latentie met zich mee, waardoor ze ongeschikt zijn voor realtime implementatie op hulpbronnenbeperkte embodied agenten. Bovendien richten veel bestaande methoden voor het leren van latente representaties zich op temporele voorspelling voor wereldmodellen, waardoor ze het latente ruimte niet expliciet structureren om zowel fijne ruimtelijke nabijheid als identiteit op instancieniveau gelijktijdig te behouden.

Methodologie

De auteurs stellen WorldComp2D voor, een lichtgewicht representatieleringskader dat is ontworpen om spatio-semantische structuur direct in te coderen in een latente ruimte met behulp van lokale observaties. Het kader bestaat uit drie hoofdbestanddelen:

1. Proximity-Dependent Encoder (PdEnc):

   • Input: De agent observeert de omgeving via twee multischaal receptieve velden (RF) gecentreerd rond een fixatiepunt $F$. Een klein schaalplakje ($o^{[1]}$) vangt fijne uiterlijke kenmerken op, terwijl een groter schaalplakje ($o^{[2]}$) bredere context biedt. Deze worden samengevoegd om de observatie te vormen.
   • Architectuur: Een lichtgewicht Convolutional Neural Network (CNN) met zes convolutielagen en twee volledig verbonden lagen.
   • Output: Een genormaliseerde spatio-semantische latente vector $z$ die ligt op een hypersfeer ($z^T z = 1$).
   • Leerdoel: De encoder wordt getraind met Proximity-Weighted Contrastive Learning (PWConLoss). In tegenstelling tot standaard binaire contrastief leren, modelleert deze methode paarrelaties met continue affiniteitswaarden. De verliesfunctie stimuleert dat de latente afstand tussen representaties de werkelijke ruimtelijke afstand tussen het fixatiepunt en omringende objecten weerspiegelt. Het gewicht van het contrastieve paar wordt gemoduleerd door de fysieke afstand $d_{ij}$, zodat dichterbijgelegen objecten sterkere positieve interacties hebben in de latente ruimte.

2. Localizer (Loc):

   • Functie: Leidt de coördinaten van nabijgelegen objecten direct af uit de geaggregeerde spatio-semantische representaties.
   • Mechanisme: Omdat een enkele lokale observatie niet alle objecten in een scène kan dekken, aggregeert de Localizer latente vectoren van meerdere fixatiepunten ($N_F$) over de afbeelding. Hij voegt deze latente vectoren samen met hun overeenkomstige fixatiecoördinaten en gebruikt een Multi-Layer Perceptron (MLP) om gelijktijdig genormaliseerde coördinaten te voorspellen voor alle objectklassen. Dit maakt locatiebepaling mogelijk zonder exhaustieve pixelsgewijze verwerking.

3. Auxiliary Localizer (AuxLoc) (Optioneel):

   • Functie: Een verfijningsmodule die de nauwkeurigheid van de locatiebepaling verbetert.
   • Mechanisme: Voor elke voorspelde coördinaat extraheren ze een lokaal plakje gecentreerd rond de schatting en genereren ze een klasspecifieke warmtekaart met behulp van een lichtgewicht CNN met dieptegewijze scheidbare convoluties. De uiteindelijke locatie wordt verfijnd door een offset toe te passen, afgeleid van de piek van de warmtekaart, op de ruwe schatting.

Belangrijkste Bijdragen

• Kaderontwerp: Introductie van WorldComp2D, een fixatie-gecentreerd kader dat spatio-semantische representaties leert vanuit lokale weergaven, waardoor objectlocatie mogelijk wordt zonder volledige afbeeldingsverwerking.
• Nieuw Leerdoel: Ontwikkeling van een proximity-gewogen contrastief leermethode die de geometrie van de latente ruimte expliciet structureert. Deze benadering behoudt objectidentiteit terwijl het ervoor zorgt dat latente afstanden de werkelijke ruimtelijke nabijheid tot het fixatiepunt weerspiegelen.
• Efficiëntie en Prestaties: Aantonen dat expliciet gestructureerde latente ruimtes een efficiënte basis vormen voor spatio-semantisch redeneren, waarbij concurrerende nauwkeurigheid wordt bereikt met aanzienlijk verminderde rekencomplexiteit in vergelijking met state-of-the-art (SoTA) lichtgewicht modellen.

Experimentele Resultaten

Het kader werd geëvalueerd op taken voor het lokaliseren van gezichtspunten met behulp van de COFW-, 300W- en AFLW-datasets.

• Efficiëntie: WorldComp2D vereist slechts 2,4 miljoen parameters en ongeveer 293,7–546,8 MFLOPs (afhankelijk van de dataset), in vergelijking met SoTA lichtgewicht modellen zoals PoPos, die 9,7 miljoen parameters en 1,2 GFLOPs gebruiken. Dit vertegenwoordigt een 4,0× reductie in parameters en een 2,2× reductie in FLOPs in het slechtst mogelijke scenario.
• Realtime Prestaties: Het model bereikt realtime inferentie op CPU, met 78,48 FPS op de 300W-dataset en 138,41 FPS op COFW met een i5-13400-processor.
• Nauwkeurigheid:
  • Hoewel het kader een iets hogere Genormaliseerde Gemiddelde Fout (NME) oplevert dan directe supervised regressiemethoden op COFW en 300W, presteert het beter dan verschillende SoTA-methoden (waaronder LAB, Awing, ODN en HRNet) op de AFLW-dataset.
  • De optionele AuxLoc-module biedt een marginale verbetering in nauwkeurigheid (bijvoorbeeld een reductie van de NME met ongeveer 4,6% op COFW) ten koste van een verhoogde rekenlast.
• Robuustheid: Het model toont consistente robuustheid tegen invoerverminderingen, waaronder Gaussische vervaging, JPEG-compressie, bewegingsvervaging en occlusie, met slechts een matige prestatiedegradatie zelfs onder extreme omstandigheden.
• Eigenschappen van de Latente Ruimte: Ablatiestudies bevestigen dat de latente ruimte objecten succesvol clusterd op identiteit (intra-klasse) terwijl het verschillende klassen scheidt (inter-klasse). Cruciaal is dat de latente afstand correleert met werkelijke ruimtelijke nabijheid, een eigenschap die ontbreekt in encoders die zijn getraind met ongewogen contrastief verlies.

Betekenis en Claims

Het artikel stelt dat WorldComp2D een algemene en efficiënte basis biedt voor spatio-semantisch redeneren in embodied AI. Door de geometrie van de latente ruimte expliciet te structureren om uit te lijnen met objectidentiteit en ruimtelijke nabijheid, stelt het kader agenten in staat om begrip op instancieniveau te verkrijgen uit een kleine set lokale observaties. Deze aanpak adresseert het fundamentele conflict tussen de globale-weergave-aannames van traditionele computer vision en de lokale-weergave-realiteit van embodied agenten.

De auteurs benadrukken dat hun werk een flexibel nauwkeurigheids-snelheid compromis biedt, wat implementatie op randapparaten met strikte hulpbronbeperkingen mogelijk maakt. De resultaten suggereren dat het afstappen van dichte feature maps en globale verwerking naar expliciet gestructureerde, lichtgewicht latente representaties een levensvatbare weg is voor realtime embodied perceptie. Het kader is open-source gemaakt om verder onderzoek in deze richting te faciliteren.