FunFact: Building Probabilistic Functional 3D Scene Graphs via Factor-Graph Reasoning

1. Het Probleem

Bestaande methoden voor 3D-scenebegrip focussen vaak puur op geometrie of semantiek (wat is het object en waar staat het?). Er is echter een groeiende behoefte aan functioneel scenebegrip: het begrijpen van hoe objecten met elkaar interageren (bijv. welk schakelaar bedient welke lamp, welk knopje welke brander).

De huidige uitdagingen zijn:

• Ambiguïteit: Functionele relaties zijn vaak niet direct zichtbaar in statische beelden (bijv. een schakelaar en lamp kunnen ver uit elkaar liggen of gedeeltelijk verduisterd zijn).
• Isolatie: Bestaande methoden behandelen relaties tussen objectparen vaak als geïsoleerde gebeurtenissen, zonder rekening te houden met de onderlinge afhankelijkheid van het hele tafereel.
• Kalibratie: Zelfs als een model een relatie voorspelt, is de betrouwbaarheid (confidence score) vaak slecht gekalibreerd, wat leidt tot onzekerheid bij robots of AR-systemen die op deze data moeten vertrouwen.

2. Methodologie: FunFact

FunFact is een framework dat probabilistische, open-vocabulary functionele 3D-scene-graafconstructies realiseert uit geposeerde RGB-D beelden. De aanpak bestaat uit twee hoofdfasen:

A. Scèneherconstructie (Object- en Deelcentrisch)

1. Voorstelgeneratie: Een Vision-Language Model (VLM, zoals GPT-4) analyseert het RGB-beeld om functionele objecten en hun onderdelen (bijv. "knop", "hendel") te identificeren, inclusief bounding boxes.
2. Grounding & Filtering: GroundingDINO wordt gebruikt om deze voorstellen te valideren en hallucinaties te filteren.
3. Deel-detectie: Binnen de gedefinieerde objecten worden specifieke functiedelen gedetecteerd (vaak met SAM - Segment Anything Model).
4. 3D Fusie: Alle gedetecteerde objecten en delen worden teruggeprojecteerd naar 3D en gefuseerd over meerdere weergaven om een coherente, deel-bewuste 3D-kaart te creëren.

B. Functionele Scene-Graph Creatie (Factor-Graph Reasoning)

Dit is de kerninnovatie van FunFact. In plaats van relaties onafhankelijk te voorspellen, worden ze gemodelleerd als een dubbele factor-graf:

1. Hypothesen genereren: Een LLM (Large Language Model) stelt semantisch plausibele functionele relaties voor (bijv. "schakelaar schakelt lamp") en specificeert of deze één-op-één of één-op-meer zijn.
2. Dubbele Factor-Graph:
   • De kandidaat-relaties worden omgezet in binaire variabelen ($x_i \in \{0, 1\}$).
   • De oorspronkelijke scene-graph-nodes worden factoren (beperkingen) in de graaf.
3. Factoren (Priors):
   • Cardinaliteit: Enforceert structurele regels (bijv. één knop bedient slechts één brander, of een lamp heeft slechts één schakelaar). Dit voorkomt onlogische configuraties.
   • Proximiteit: Een prior gebaseerd op de fysieke afstand tussen objecten (korte afstanden zijn waarschijnlijker voor directe interacties).
4. Probabilistische Inferentie: Met Belief Propagation wordt de gezamenlijke verdeling over alle mogelijke relaties berekend. Hierdoor worden lokale ambiguïteiten opgelost door gebruik te maken van de globale context van de hele scène. Het resultaat is een graaf met goed gekalibreerde waarschijnlijkheidsscores per rand.

3. Belangrijkste Bijdragen

• FunFact Framework: Een robuuste pijplijn die open-vocabulary functionele 3D-scene-graaf reconstructie combineert met probabilistische factor-graph inferentie voor holistisch redeneren.
• FunThor Dataset: Een nieuw synthetisch benchmark-dataset gebaseerd op AI2-THOR. Het bevat 12 scènes met gedetailleerde geometrie op deeltjesniveau en dichte, regelgebaseerde annotaties voor functionele relaties (26 typen), wat ontbreekt in bestaande datasets.
• Geavanceerde Kalibratie: Door het gezamenlijk modelleren van relaties en onzekerheid, produceert FunFact betrouwbaardere confidence scores dan methoden die paren onafhankelijk behandelen.

4. Resultaten

De methode is getest op drie datasets: SceneFun3D, FunGraph3D en het nieuwe FunThor.

• Herkenning (Recall): FunFact presteert significant beter dan state-of-the-art baselines (zoals OpenFunGraph) op het vinden van zowel objecten als interactieve elementen (delen). Op FunGraph3D wordt de recall voor kleine interactieve elementen sterk verbeterd dankzij de hiërarchische mapping.
• Functionele Relaties:
  • Op FunThor toont FunFact een enorme verbetering in triplet-recall (subject-interactie-object), met een stijging van bijna 40% ten opzichte van baselines.
  • Het lost visuele ambiguïteiten op die door paar-voor-paar methoden worden gemist.
• Kalibratie: FunFact heeft een aanzienlijk lagere Expected Calibration Error (ECE). Dit betekent dat wanneer het model 60% zekerheid geeft, het ook ongeveer 60% van de tijd correct is. Dit is cruciaal voor veilige robotica.
• Ablatie-studies: Zowel de factor-graph reasoning als de hiërarchische object-deel representatie bleken essentieel voor de prestaties. Het verwijderen van de factor-graph leidt tot een daling in precisie en een stijging in kalibratiefouten.

5. Betekenis en Toekomst

FunFact markeert een verschuiving van lokaal, onafhankelijk redeneren naar holistisch, probabilistisch redeneren in 3D-scenebegrip.

• Toepassing: De methode is essentieel voor systemen die actievere beslissingen moeten nemen, zoals robots die in huishoudens moeten opereren, AR-assistenten die praktische instructies geven, en virtuele trainingssystemen.
• Betrouwbaarheid: De verbeterde kalibratie stelt systemen in staat om te weten wanneer ze onzeker zijn, wat voorkomt dat robots onveilige acties uitvoeren op basis van foute aannames.
• Beperkingen: Huidige beperkingen zijn de afhankelijkheid van LLM's (wat leidt tot inferentie-latentie van enkele seconden per frame) en soms over- of ondersegmentatie van objecten in complexe scènes.

Kortom, FunFact biedt een fundamenteel nieuwe manier om de "functie" van een ruimte te begrijpen, niet alleen de vorm, door gebruik te maken van gemeenschappelijke kennis en geometrische priors binnen een wiskundig robuust raamwerk.