ExPrIS: Knowledge-Level Expectations as Priors for Object Interpretation from Sensor Data

Technische Samenvatting: ExPrIS – Kennisniveau-verwachtingen als Priors voor Objectinterpretatie

Probleemstelling
Hoewel deep learning door middel van datagestuurde benaderingen aanzienlijke vooruitgang heeft geboekt in robotische objectherkenning, schieten deze methoden vaak tekort wat betreft semantische consistentie en falen ze in het benutten van waardevole, reeds bestaande kennis over de omgeving. Puur datagestuurde modellen hebben moeite met de context van de omgeving, met name met betrekking tot geoccludeerde (deels verborgen) gebieden of objecten die recentelijk niet zijn waargenomen. Bestaande benaderingen voor het construeren van open-set 3D Semantic Scene Graphs (3DSSGs) vertrouwen doorgaans uitsluitend op de kracht van onderliggende diepe neurale netwerken, waarbij zij eerdere observaties uit sensordatastromen of hogere kennisniveau's negeren. De kernonderzoeksvraag die wordt geadresseerd is hoe verwachtingen afgeleid van een kennisniveau effectief als priors kunnen worden verwerkt binnen moderne scene graph generatiemethoden.

Methodologie
Het ExPrIS-project stelt een architectuur voor die gebaseerd is op de incrementele constructie van een 3D Semantic Scene Graph (3DSSG) om kennisniveau-verwachtingen te integreren. De methodologie is gestructureerd rond drie hoofdcomponenten:

1. Dynamische 3DSSG-architectuur:

   • Het systeem maakt gebruik van een heterogene graaf die georganiseerd is in een hiërarchie van meerdere lagen met variërende node- en edge-types, variërend van laag-niveau objecten tot hoog-niveau concepten (kamers, gebouwen).
   • In tegenstelling tot rigide hiërarchieën (bijv. vaste object-plaats-kamer structuren) of eenvoudige afstandsheuristische verbindingen, is het voorgestelde ontwerp modulair en uitbreidbaar. Het scheidt ruimtelijke van semantische relaties en ondersteunt de dynamische inferentie van samengestelde concepten.
   • Voor de geometrische representatie gebruikt het systeem bounding volumes en ijle voxel grids (sparse voxel grids) in plaats van Truncated Signed Distance Function (TSDF) meshes. Deze keuze geeft prioriteit aan efficiënte opslag, manipulatie en snelle GPU-versnelde verwerking via PyTorch-integratie, wat voldoende is voor semantische redenering en downstream taken zonder de hoge computationele overhead van dichte reconstructie.
   • De graaf wordt incrementeel geconstrueerd vanuit sensordata (RGB-D) op een bottom-up wijze, waarbij structuur wordt afgeleid uit fysieke contact- en ondersteuningsrelaties tussen objecten.

2. Kennisgebaseerde Verwachtingsgeneratie:

   • Het systeem definieert "verwachtingen" als aanvullende informatie die beschikbaar is voorafgaand aan een inferentiestap. Twee typen worden geïntegreerd:
     • Context: Dynamische informatie uit eerdere observaties, specifiek de globale 3DSSG die is geconstrueerd uit voorgaande frames.
     • Kennis: Statische, algemene domeinkennis afkomstig van externe kennisgrafen, specifiek ConceptNet.
   • Om de ruis en de omvang van ConceptNet te beheersen, extraheert het systeem relevante subgrafen met behulp van een breadth-first search gebaseerd op specifieke node-klassen en relatietypes. Het implementeert ook graph embedding-algoritmen om feature vectoren te genereren voor message passing, wat alternatieven biedt voor pre-computed embeddings.

3. Verwachtings-gebiaste Machine Learning:

   • Het kernleermechanisme maakt gebruik van een Heterogene Graph Neural Network (GNN), zoals GraphSAGE of HGT.
   • De architectuur bevat een globale laag (het aggregeren van historische observaties en semantische priors) en een lokale laag (die het huidige frame representeert).
   • Cross-layer edges faciliteren de informatiestroom, waardoor het model voorspellingen voor gedeeltelijk waargenomen objecten kan verfijnen door gebruik te maken van de geaccumuleerde context.
   • Globale nodes worden verrijkt met prior-gebaseerde features (bijv. eerder voorspelde labels, CLIP embeddings). Deze priors worden direct in de grafstructuur geïntegreerd in plaats van als vaste vectoren te worden gecodeerd.
   • De trainingsdoelstelling richt zich op een samengestelde loss over node- en edge-voorspellingen in de lokale graaf. Cruciaal is dat de globale graaf dient als een biasing-mechanisme tijdens de inferentie, en niet als een direct supervisiesignaal voor de loss-functie.

Belangrijkste Bijdragen

• Integratie van Kennispriors: Het artikel presenteert een nieuwe aanpak voor het inbedden van zowel contextuele priors (uit eerdere sensordata) als semantische kennis (uit externe grafen zoals ConceptNet) direct in het inferentieproces van 3DSSG-generatie.
• Modulaire 3DSSG-ontwerp: Het introduceert een flexibel, uitbreidbaar laagontwerp voor 3DSSGs dat verder gaat dan rigide hiërarchieën en eenvoudige afstandsheuristieken, en daarmee dynamische inferentie en domeinspecifieke abstracties ondersteunt.
• Efficiënte Geometrische Representatie: Het gebruik van bounding volumes en ijle voxel grids in plaats van TSDF meshes maakt schaalbare, efficiënte verwerking mogelijk die geschikt is voor real-time robotische perceptie, terwijl voldoende getrouwheid voor semantische taken behouden blijft.
• Verwachtings-gebiaste GNN: De ontwikkeling van een leerkader waarbij de globale graaf fungeert als een actieve, dynamische biasing-mechanisme tijdens de inferentie, wat de robuustheid en semantische consistentie over tijd verbetert.

Resultaten en Evaluatie
Het artikel presenteert geen definitieve experimentele resultaten van een ingezette robot, aangezien het werk zich momenteel in de fase van architecturaal ontwerp en offline analyse bevindt.

• Huidige Status: De 3DSSG-implementatie is modulair. Het verwachtings-gebiaste GNN-model is geëvalueerd in de context van de voorgestelde architectuur, met gedetailleerde resultaten en code beschikbaar in een aparte publicatie [15] en op GitHub.
• Geplande Evaluatie: De auteurs schetsen een uitgebreid evaluatieplan dat zal worden uitgevoerd op het Mobipick mobiele manipulatorplatform. Het systeem krijgt de taak in een "opruimscenario" in een laboratoriumomgeving:
  1. Het verkennen van de omgeving om een semantische kaart op te bouwen.
  2. Het identificeren en verplaatsen van objecten die "niet op hun plek" zijn.
  3. Redeneren over zowel de huidige als de correcte semantische contexten om ambiguïteiten op te lossen.
• Hypothetische Uitkomsten: De auteurs hypothetiseren dat de verwachtings-gebiaste aanpak duidelijke voordelen zal tonen ten opzichte van context-vrije, frame-voor-frame modellen, specifiek wat betreft verbeterde semantische consistentie en stabiliteit tijdens langdurige operaties, zelfs bij gedeeltelijke observaties of perceptuele ambiguïteiten.

Significantie
De significantie van het ExPrIS-project ligt in de poging om de kloof te overbruggen tussen puur datagestuurd deep learning en kennisgestuurde redenering in de robotica. Door kennisniveau-verwachtingen te behandelen als priors, beoogt de aanpak verder te gaan dan statische, frame-voor-frame analyse om een robuuster en semantisch consistenter begrip van scènes over tijd te creëren. Deze integratie is ontworpen om langdurige autonome operaties, grootschalige semantische mapping en Explainable AI (XAI) te ondersteunen door de invloed van kennis op lokale voorspellingen traceerbaar te maken. Het project werkt samen met het zusterproject LIEREx, dat vision-language modellen incorporeert voor open-vocabulary queries, met als doel symbolische kennis te combineren met multimodale open-set perceptie.