💻 computer science

RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments

RADIO-ViPE is een online, strak gekoppeld multi-modaal SLAM-systeem dat geometrie-bewuste open-vocabulaire semantische verankering in dynamische omgevingen mogelijk maakt door direct te werken op ruwe monochromatische RGB-video zonder gekalibreerde invoer, dieptesensoren of voorafgaande pose-initialisatie te vereisen.

Oorspronkelijke auteurs: Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je met een vriend door een drukke, voortdurend veranderende kamer loopt. Je wilt een mentale kaart van de kamer maken die niet alleen weet waar de muren en stoelen staan, maar ook begrijpt wat ze zijn (bijvoorbeeld "dat is een rode stoel", "dat is een salontafel") en vragen kan beantwoorden als: "Waar staat de blauwe mok?"

Stel je nu voor dat je dit doet terwijl:

Niemand je een blauwdruk heeft gegeven: Je weet niet hoe je ogen (camera) zijn gevormd of hoe ver weg dingen zijn.
De kamer chaotisch is: Mensen lopen voorbij en iemand heeft zojuist een bank van de hoek naar het midden van de kamer verplaatst.
Je het in real-time moet doen: Je kunt niet urenlang stilstaan om na te denken; je moet doorgaan met bewegen en kaarten terwijl je gaat.

Dit is precies wat RADIO-ViPE doet. Het is een robot "hersenen" die een 3D-kaart van de wereld maakt vanuit een simpele videocamera, begrijpt wat objecten zijn met behulp van natuurlijke taal, en negeert de chaos van bewegende dingen.

Hieronder wordt uitgelegd hoe het werkt, opgesplitst met eenvoudige analogieën:

1. De "Magische Bril" (Geen kalibratie nodig)

De meeste robotsystemen zijn als een persoon die een perfect op maat gemaakte bril moet dragen voordat hij kan zien. Als de bril iets scheef zit, raakt de robot de weg kwijt. RADIO-ViPE is anders. Het treedt "slimme brillen" op die hun eigen vorm en focus bepalen terwijl ze om zich heen kijken. Het heeft geen vooraf opgemeten kaart of speciale sensoren (zoals dieptelasers) nodig; het heeft alleen een standaard videocamera nodig. Het leert de geometrie van de kamer gewoon door de beweging in de video te bekijken.

2. De "Super-Intelligente Bibliothecaris" (Open vocabulaire)

Oude robotkaarten waren als een bibliotheek met boeken die alleen waren gelabeld "Stoel 1", "Stoel 2", "Tafel 1". Als je vroeg om "de kapotte stoel", wist de robot niet wat je bedoelde.

RADIO-ViPE gebruikt een "Super-Intelligente Bibliothecaris" (gebaseerd op enorme AI-modellen die fundamentele modellen worden genoemd). Deze bibliothecaris heeft het hele internet gelezen. Het ziet niet alleen vormen; het begrijpt concepten. Je kunt vragen: "Laat me de vintage lamp zien", en de robot weet precies hoe dat eruit ziet, zelfs als het die specifieke lamp nooit eerder specifiek is geleerd. Het verbindt je woorden direct met de 3D-objecten in de kaart.

3. De "Dansvloerfilter" (Omgaan met dynamische omgevingen)

Dit is de grootste truc van het artikel. Stel je voor dat je een groepsfoto van een kamer probeert te maken, maar mensen lopen in en uit, en iemand heeft zojuist de meubels opnieuw ingerangschikt. Als je probeert deze foto's aan elkaar te naaien, wordt het resultaat een wazige puinhoop.

RADIO-ViPE heeft een speciale "Dansvloerfilter". Het kijkt naar de kamer in de tijd en vraagt:

"Blijft dit object stil?" (Zoals een muur of een vaste tafel).
"Beweegt dit object omdat een persoon erlangs liep?" (Zoals een persoon).
"Beweegt dit object omdat ik het verplaatste?" (Zoals een stoel die iemand duwde).

Als het systeem iets ziet dat beweegt of verandert op een manier die niet past bij het patroon van een "statische kamer", zegt het in feite: "Negeer dat voor de kaart", zodat de kaart niet wordt beschadigd. Het gebruikt een speciale wiskundige "veiligheidsnet" (een adaptieve robuuste kern) om te beslissen welke delen van de video betrouwbaar zijn en welke gewoon ruis zijn.

4. Het "Strakke Team" (Strak gekoppelde fusie)

Normaal gesproken doen robots dingen in stappen: eerst uitzoeken waar je bent, dan uitzoeken wat de objecten zijn, en ze vervolgens combineren. Dit is als een estafettewedstrijd waarbij de stok kan vallen.

RADIO-ViPE is meer als een jazzband waar iedereen tegelijkertijd speelt. Het combineert:

Geometrie: Waar dingen zich in de 3D-ruimte bevinden.
Visie: Hoe dingen eruitzien.
Taal: Hoe dingen worden genoemd.

Het past deze drie tegelijkertijd aan. Als de visuele data vaag is, helpt de taalkundige aanwijzing de geometrie te corrigeren. Als de geometrie wankel is, helpt de visuele data om het te stabiliseren. Ze helpen elkaar allemaal in real-time.

De Resultaten: Wat hebben ze bewezen?

De auteurs hebben dit systeem op twee hoofdmanieren getest:

De "Bewegende Kamer"-test (TUM-RGBD): Ze testten het op video's van kamers waar mensen rondliepen en objecten bewogen. RADIO-ViPE deed het beter dan bijna elk ander bestaand systeem bij het houden van de kaart accuraat en niet in de war raken door de bewegende mensen.
De "Zoekmachine"-test (Replica): Ze testten of de robot een kaart kon maken en vervolgens tekstvragen daarover kon beantwoorden (bijvoorbeeld: "Waar staat de bank?"). Hoewel het geen perfecte dieptesensoren of vooraf gekalibreerde camera's had, presteerde het bijna even goed als systemen die wel die dure voordelen hadden. Het behaalde een plaats in de top 3 vergeleken met veel complexere, offline systemen.

In het Kort

RADIO-ViPE is een systeem dat een robot toelaat om naar een ruwe, niet-gekalibreerde video van een rommelige, bewegende kamer te kijken en direct een 3D-kaart te maken die Engels begrijpt. Het negeert de bewegende mensen en opnieuw ingerichte meubels om de kaart schoon te houden, waardoor een mens kan vragen: "Waar is de koffie?" en een nauwkeurig 3D-antwoord krijgt, allemaal zonder dure sensoren of vooraf ingestelde regels nodig te hebben.

1. Probleemstelling

Het artikel adresseert een kritieke lacune in robotperceptie: het gebrek aan online, kalibratievrije, open-vocabulary semantische SLAM-systemen die kunnen opereren in dynamische omgevingen.

Huidige beperkingen: Bestaande semantische SLAM-systemen vereisen doorgaans:
- Gekalibreerde sensoren (RGB-D of bekende intrinsieken).
- Aannames van statische scènes (falen wanneer objecten bewegen of meubilair wordt verplaatst).
- Vooraf gedefinieerde objectcategorieën (gesloten set), wat de flexibiliteit beperkt.
- Offline verwerking, waardoor ze ongeschikt zijn voor real-time robotica.
De uitdaging: Wereldse omgevingen omvatten ongekalibreerde monokulaire video, dynamische agenten (mensen) en quasi-statische veranderingen (verplaatst meubilair). Huidige methoden worstelen om onderscheid te maken tussen statische geometrie en dynamische verstoringen, terwijl ze tegelijkertijd vrije-vorm natuurlijke taalqueries verankeren in de 3D-ruimte.

2. Methodologie

RADIO-ViPE (Reduce All Domains Into One — Video Pose Engine) is een online systeem dat ruwe, ongekalibreerde monokulaire RGB-videostreams verwerkt. Het verenigt visie, taal en geometrie binnen een sliding window factor graph optimalisatie-kader.

A. Systeempijplijn

Initialisatie: Camera-intrinsieken worden gebootstrapt uit uniform gesamplede frames met GeoCalib, zonder kalibratiedoelen.
Keyframe-selectie: Frames worden geselecteerd op basis van gewogen dichte optische stroming.
Multi-modale kenmerkextractie:
- Gebruik van RADSeg (gebaseerd op het agglomeratieve foundation model RADIO) om dichte, taal-uitgelijnde visuele embeddings te extraheren.
- Kenmerken worden gecomprimeerd via PCA (naar 256 dimensies) voor geheugenefficiëntie.
- Diepte wordt geschat met monokulaire foundation dieptemodellen en omgezet naar inverse diepte (dispariteit).
Semantische stroming initialisatie: Om textuurloze oppervlakken te hanteren, fuseert het systeem geometrische optische stromingspriors met een semantische correspondentieterm afgeleid van RADIO-kenmerken. Dit creëert een robuust initiële stromingsveld.
Strak gekoppelde Bundle Adjustment (BA):
- Optimaliseert gezamenlijk camera-posities ( $T_i$ ), intrinsieken ( $K_q$ ) en dichte dispariteitskaarten ( $d_i$ ).
- Minimaliseert een gewogen energiefunctie die fotometrische stroming en semantische embeddingsimilariteit combineert.
- Factor Graph Connectiviteit: Naast geometrische nabijheid worden randen toegevoegd op basis van embeddings-gebaseerde co-zichtbaarheid (het afstemmen van globale beschrijvers van keyframes via cosijn-similariteit).

B. Kerntechnische innovaties

Visie-Taal-Geometrische Fusie:
- Het systeem introduceert een nieuwe Embedding Similarity Term in de Bundle Adjustment. Deze dwingt cross-view kenmerkuitlijning af door source-embeddings te projecteren op targetframes en de cosijnafstand tussen hen te minimaliseren.
- Hierdoor kan de geometrische optimalisatie worden geleid door semantische consistentie, waardoor wordt gegarandeerd dat de 3D-kaart consistent blijft met de visuele taalkenmerken.
Temporaal consistente adaptieve robuuste kernel:
- Om dynamische omgevingen te hanteren, onderscheidt het systeem tussen statische oppervlakken, verplaatsbare objecten (bijv. verplaatst meubilair) en actief bewegende agenten (bijv. mensen).
- Het berekent een Temporaal Stabiliteitsveld ( $S_i(u)$ ) door de gemiddelde waarde en variantie van embeddingsimilariteiten over meerdere temporele randen te analyseren.
- Dit veld wordt gemapt naar een Barron loss vormparameter ( $\alpha$ ):
  - $\alpha \approx 2$ ( $\ell_2$ loss) voor statische oppervlakken.
  - $\alpha \approx 1$ (Huber loss) voor verplaatsbare objecten.
  - $\alpha \to 0$ (Cauchy loss) voor actief bewegende agenten.
- Deze adaptieve kernel verlaagt het gewicht van dynamische regio's tijdens optimalisatie, waardoor wordt voorkomen dat ze de kaart corrumperen.
Open-vocabulary verankering:
- 3D-punten worden gedecodeerd uit gecomprimeerde Radio-kenmerken en geprojecteerd in de SigLip-latentruimte.
- Hierdoor kan het systeem willekeurige natuurlijke taalqueries in real-time afstemmen op gelokaliseerde 3D-regio's zonder categorie-specifieke supervisie.

3. Belangrijkste bijdragen

Visie-Taal-Geometrische Fusie via Dichte Bundle Adjustment: Een nieuw strak gekoppeld kader dat high-level foundation model-kenmerken direct in de geometrische optimalisatielus inbedt, waardoor kaartconsistentie over modaliteiten wordt gegarandeerd.
Temporaal consistente adaptieve robuuste kernel: Een dynamische-bewuste optimalisatieschema dat temporele stabiliteitsanalyse gebruikt om automatisch de geschikte loss-functie ( $\ell_2$ , Huber of Cauchy) te selecteren voor verschillende scene-elementen, waardoor dynamische ruis effectief wordt onderdrukt.
Kalibratievrije online open-vocabulary SLAM: Het eerste systeem dat deze capaciteiten verenigt in een enkele online pijplijn die geen dieptesensoren, geen pose-priors en geen camera-kalibratie vereist, en direct werkt op ruwe monokulaire video.

4. Experimentele resultaten

Het systeem werd geëvalueerd op twee benchmarks: TUM-RGBD (dynamische SLAM) en Replica (open-vocabulary semantische segmentatie).

SLAM-prestaties (TUM-RGBD):
- RADIO-ViPE behaalde State-of-the-Art (SOTA) resultaten op de dynamische TUM-RGBD-benchmark.
- De variant met de adaptieve robuuste kernel (RADIO-ViPE $^{ark}$ ) behaalde een gemiddelde Absolute Traject Error (ATE) van 1,63 cm, en presteerde beter dan gespecialiseerde dynamische SLAM-methoden zoals Dyna-SLAM (2,00 cm) en ViPE (2,17 cm).
- Het toonde superieure robuustheid tegen bewegende objecten en herschikkingen van de scène in vergelijking met bestaande methoden.
Semantische segmentatie (Replica):
- Geëvalueerd op open-vocabulary semantische segmentatie (mIoU, f-mIoU, Accuracy).
- RADIO-ViPE behaalde een top-3 ranking onder alle vergeleken benaderingen, inclusief offline methoden zoals ConceptGraphs en RayFronts.
- Efficiëntie: Ondanks het gebruik van PCA-gecomprimeerde kenmerken (256D) en het ontbreken van ground-truth diepte/pose, behield het prestaties binnen 1–2% van de ground-truth variant (RADIO-ViPE $^{GT}$ ), wat de effectiviteit van zijn zelf-supervisie geometrische leer bewijst.
- In tegenstelling tot concurrenten werkt het online en zonder kalibratie.

5. Betekenis en impact

Real-world implementatie: RADIO-ViPE overbrugt de kloof tussen theoretische foundation modellen en praktische robotica. Door de noodzaak van kalibratie en dieptesensoren te verwijderen, maakt het het gebruik van onbeperkte "in-the-wild" video (bijv. van smartphones of egocentrische camera's) mogelijk voor 3D-mapping.
Dynamische robuustheid: Het adaptieve kernelmechanisme biedt een robuuste oplossing voor het "dynamische scène"-probleem, waardoor robots omgevingen kunnen navigeren en mappen waar meubilair wordt verplaatst of mensen lopen, zonder te falen.
Open-vocabulary flexibiliteit: Door willekeurige taalqueries in de 3D-ruimte te verankeren, stelt het algemene robots in staat om omgevingen te begrijpen en ermee te interageren op basis van natuurlijke taal instructies in plaats van rigide objecttaxonomieën.
Ressource-efficiëntie: Het systeem draait op 8–10 FPS op standaard hardware (Intel Xeon + RTX 4090), waardoor het geschikt is voor real-time toepassingen in AR/VR en autonome navigatie.

Kortom, RADIO-ViPE vertegenwoordigt een significante sprong voorwaarts in semantische SLAM, waarbij met succes foundation model-capaciteiten worden geïntegreerd met robuuste geometrische optimalisatie om een flexibele, kalibratievrije en dynamische-bewuste 3D-perceptiesysteem te creëren.