REALM: An MLLM-Agent Framework for Open World 3D Reasoning Segmentation and Editing on Gaussian Splatting

Probleemstelling

Het overbruggen van de kloof tussen complexe menselijke instructies en precieze 3D-objectgrondbewerking (grounding) blijft een grote uitdaging in visie en robotica. Bestaande methoden hebben twee fundamentele beperkingen:

1. 3D-segmentatiemethoden (zoals die gebaseerd op NeRF of 3D Gaussian Splatting) zijn vaak goed in expliciete, directe queries (bijv. "segmenteer de beker"), maar falen bij instructies die redenering vereisen over ruimtelijke relaties, semantische attributen of gemeenschappelijke kennis (bijv. "segmenteer het object tussen de lamp en het boek").
2. Multimodale Grootte Taalmodellen (MLLM's) excelleren in visueel redeneren op 2D-afbeeldingen, maar missen een intrinsiek 3D-ruimtelijk begrip. Het direct invoeren van één of enkele gerenderde weergaven in een MLLM leidt tot een hoge gevoeligheid voor de keuze van het gezichtspunt (viewpoint sensitivity), wat resulteert in inconsistente of onnauwkeurige resultaten.

Methodologie: Het REALM Framework

REALM is een MLLM-agent framework dat redenering gebaseerde segmentatie mogelijk maakt in open 3D-werelden, gebruikmakend van 3D Gaussian Splatting (3DGS) als hoogwaardige proxy voor de 3D-scène. De architectuur bestaat uit drie hoofdcomponenten:

1. 3D Feature Field voor Redenering

Om consistente identificatie in de 3D-ruimte mogelijk te maken, bouwt REALM een 3D Feature Field.

• Het model initialiseert elke 3D Gaussische primitief met een instantie-kenmerk (feature).
• Deze kenmerken worden via alpha-blending gerenderd naar een 2D-kenmerkkaart.
• Een classifier (CLS) voorspelt per pixel de instantie-ID. Na optimalisatie kunnen de 3D-Gaussians worden gegroepeerd op basis van hun kenmerken, waardoor een consistente 3D-maskering ontstaat die gekoppeld is aan de 2D-observaties.

2. MLLM-Based Visual Segmenter (LMSeg)

Dit is de "intelligente agent" die de taal-instructie verwerkt.

• Gegeven een afbeelding en een tekstuele query (bijv. "Welke speelgoed is dicht bij de appel?"), gebruikt LMSeg een MLLM (zoals Qwen-2.5-VL) om een 2D-bounding box, een objectcategorie en een uitleg (rationale) te genereren.
• De gegenereerde bounding box wordt doorgegeven aan SAM (Segment Anything Model) om een binaire 2D-mask te produceren.
• Dit 2D-mask wordt gekruist met de voorspelde 2D-instantie-ID-kaart (afgeleid uit het 3D Feature Field) om de specifieke 3D-object-ID te identificeren.

3. Global-to-Local Spatial Grounding (GLSpaG)

Om het probleem van viewpoint-sensitiviteit op te lossen, introduceert REALM een hiërarchische strategie:

• Globale Fase (Coarse Localization): In plaats van één willekeurige weergave te gebruiken, worden meerdere globale gezichtspunten geselecteerd via K-means clustering van de camera-pose. De agent voert parallelle redeneringen uit op deze weergaven. De resultaten worden geaggregeerd via een stemmingssysteem (voting) om een robuuste, grove 3D-localisatie van het doelobject te bepalen.
• Lokale Fase (Fine-grained Refinement): Op basis van de globale selectie worden specifieke, close-up weergaven van het doelobject gegenereerd. LMSeg voert hier fijne segmentatie uit. Deze lokale 2D-masks worden gebruikt om de 3D-mask via differentieerbare rasterisatie te verfijnen, wat leidt tot nauwkeurige en consistente 3D-objectgrenzen.

Belangrijkste Bijdragen

1. REALM Framework: Een innovatief MLLM-agent systeem dat 2D-redeneringscapaciteiten naar de 3D-domein tilt zonder uitgebreide 3D-specifieke post-training, gebruikmakend van 3DGS.
2. GLSpaG Strategie: Een nieuwe methode voor ruimtelijke grondbewerking die de onzekerheid van viewpoint-selectie oplost door een combinatie van globale context-aggregatie en lokale verfijning.
3. Nieuwe Benchmarks:
   • Herannotatie van bestaande datasets (LERF en 3D-OVS) met impliciete, redeneringsgerichte instructies.
   • Introductie van REALM3D, een nieuw, grootschalig benchmark met meer dan 100 scènes en 1000+ prompt-mask paren, specifiek ontworpen voor het evalueren van 3D-redenering.
4. 3D Interactie: Het framework ondersteunt niet alleen segmentatie, maar ook complexe 3D-bewerkingstaken zoals objectverwijdering, vervanging en stijltransfer (style transfer) op basis van natuurlijke taal.

Resultaten

Experimentele resultaten tonen aan dat REALM aanzienlijk beter presteert dan state-of-the-art methoden (zoals Gaga, GAGS, GS-Group) op zowel impliciete als expliciete queries.

• Kwantitatieve Prestaties: Op de REALM3D benchmark behaalt REALM een mIoU van 82,30% en mBIoU van 70,37%, wat een enorme verbetering is ten opzichte van de baselines (bijv. GS-Group scoort 65,55% mIoU). Op LERF en 3D-OVS zijn de verbeteringen voor impliciete queries nog drastischer (soms >50% hoger dan baselines).
• Ablatie Studies:
  • Het verwijderen van de globale fase (directe invoer van willekeurige views) leidt tot een sterke daling in prestaties, wat de noodzaak van de GLSpaG-strategie bevestigt.
  • De lokale verfijning verbetert de randnauwkeurigheid aanzienlijk.
  • Het systeem is robuust voor hyperparameters zoals het aantal globale camera's ($N_{global}$).
• Efficiëntie: REALM behoudt de hoge rendering-snelheid van 3DGS (ongeveer 354 FPS voor mask-rendering) en voegt slechts een minimale inferentie-tijd toe (totaal < 10 seconden per prompt, waarbij MLLM-aanroepen parallel kunnen worden uitgevoerd).

Betekenis en Impact

REALM markeert een belangrijke stap in de evolutie van AI-agenten voor interactie met de fysieke wereld. Door de redeneringskracht van moderne MLLM's te koppelen aan een efficiënte 3D-representatie (3DGS), maakt het complexe, contextbewuste taken mogelijk die eerder onbereikbaar waren voor 3D-systemen.

De paper demonstreert dat AI-agenten niet alleen kunnen "zien" wat er in een scène staat, maar ook kunnen "redeneren" over relaties en intenties (bijv. "verwijder de stoel die dichterbij de appel staat" of "vind het speelgoed dat een kind met blauwe kleding leuk vindt"). Dit heeft directe toepassingen in robotica (voor manipulatie in onbekende omgevingen), augmented reality (voor contextuele informatie-overlaging) en virtuele wereldbewerking (natuurtaalgestuurde 3D-editing). De introductie van REALM3D biedt bovendien een cruciale testomgeving voor toekomstig onderzoek in dit domein.