RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments

1. Enunciato del Problema

Il paper affronta una lacuna critica nella percezione robotica: la mancanza di sistemi SLAM semantico open-vocabulary, online e senza calibrazione capaci di operare in ambienti dinamici.

• Limitazioni Attuali: I sistemi SLAM semantici esistenti richiedono tipicamente:
  • Sensori calibrati (RGB-D o intrinseche note).
  • Assunzioni di scena statica (falliscono quando gli oggetti si muovono o i mobili vengono riorganizzati).
  • Categorie di oggetti predefinite (insieme chiuso), limitando la flessibilità.
  • Elaborazione offline, rendendoli inadatti alla robotica in tempo reale.
• La Sfida: Gli ambienti reali coinvolgono video monoculare non calibrato, agenti dinamici (persone) e cambiamenti quasi-statici (mobili spostati). I metodi attuali faticano a distinguere tra geometria statica e disturbi dinamici, mentre simultaneamente ancorano query in linguaggio naturale libero allo spazio 3D.

2. Metodologia

RADIO-ViPE (Reduce All Domains Into One — Video Pose Engine) è un sistema online che elabora flussi video RGB monoculare grezzi e non calibrati. Unifica visione, linguaggio e geometria all'interno di un framework di ottimizzazione a grafo fattoriale a finestra scorrevole.

A. Pipeline del Sistema

1. Inizializzazione: Le intrinseche della telecamera vengono avviate da frame campionati uniformemente utilizzando GeoCalib, senza richiedere target di calibrazione.
2. Selezione dei Keyframe: I frame vengono selezionati in base a un flusso ottico denso ponderato.
3. Estrazione di Caratteristiche Multi-Modali:
   • Utilizza RADSeg (basato sul modello fondazionale agglomerativo RADIO) per estrarre embedding visivi densi e allineati al linguaggio.
   • Le caratteristiche vengono compresse tramite PCA (a 256 dimensioni) per l'efficienza della memoria.
   • La profondità viene stimata utilizzando modelli fondazionali di profondità monoculare e convertita in profondità inversa (disparità).
4. Inizializzazione del Flusso Semantico: Per gestire superfici senza texture, il sistema fonde i priori geometrici del flusso ottico con un termine di corrispondenza semantica derivato dalle caratteristiche RADIO. Questo crea un campo di flusso iniziale robusto.
5. Bundle Adjustment (BA) Strettamente Accoppiato:
   • Ottimizza congiuntamente le pose della telecamera ($T_i$), le intrinseche ($K_q$) e le mappe di disparità dense ($d_i$).
   • Minimizza una funzione di energia ponderata che combina flusso fotometrico e similarità degli embedding semantici.
   • Connessione del Grafo Fattoriale: Oltre alla prossimità geometrica, gli archi vengono aggiunti in base alla co-visibilità basata su embedding (corrispondenza dei descrittori globali dei keyframe tramite similarità del coseno).

B. Innovazioni Tecniche Centrali

• Fusione Visione-Linguaggio-Geometria:
  • Il sistema introduce un nuovo Termine di Similarità degli Embedding nel Bundle Adjustment. Impone un allineamento delle caratteristiche tra viste proiettando gli embedding sorgente sui frame target e minimizzando la distanza del coseno tra di essi.
  • Ciò permette all'ottimizzazione geometrica di essere guidata dalla coerenza semantica, garantendo che la mappa 3D rimanga coerente con le caratteristiche visive linguistiche.
• Kernel Robusto Adattivo Temporalmente Coerente:
  • Per gestire ambienti dinamici, il sistema distingue tra superfici statiche, oggetti mobili (es. mobili spostati) e agenti in movimento attivo (es. persone).
  • Calcola un Campo di Stabilità Temporale ($S_i(u)$) analizzando la media e la varianza delle similarità degli embedding attraverso multiple archi temporali.
  • Questo campo mappatura a un parametro di forma della perdita Barron ($\alpha$):
    • $\alpha \approx 2$ (perdita $\ell_2$) per superfici statiche.
    • $\alpha \approx 1$ (perdita Huber) per oggetti mobili.
    • $\alpha \to 0$ (perdita Cauchy) per agenti in movimento attivo.
  • Questo kernel adattivo riduce il peso delle regioni dinamiche durante l'ottimizzazione, impedendo loro di corrompere la mappa.
• Ancoraggio Open-Vocabulary:
  • I punti 3D vengono decodificati dalle caratteristiche Radio compresse e proiettati nello spazio latente SigLip.
  • Ciò permette al sistema di corrispondere query in linguaggio naturale arbitrario a regioni 3D localizzate in tempo reale senza supervisione specifica per categoria.

3. Contributi Chiave

1. Fusione Visione-Linguaggio-Geometria tramite Bundle Adjustment Denso: Un nuovo framework strettamente accoppiato che incorpora direttamente caratteristiche di modelli fondazionali di alto livello nel ciclo di ottimizzazione geometrica, garantendo la coerenza della mappa tra le modalità.
2. Kernel Robusto Adattivo Temporalmente Coerente: Uno schema di ottimizzazione consapevole del dinamismo che utilizza l'analisi di stabilità temporale per selezionare automaticamente la funzione di perdita appropriata ($\ell_2$, Huber o Cauchy) per diversi elementi della scena, sopprimendo efficacemente il rumore dinamico.
3. SLAM Open-Vocabulary Online Senza Calibrazione: Il primo sistema a unificare queste capacità in un'unica pipeline online che richiede nessun sensore di profondità, nessun priori di posa e nessuna calibrazione della telecamera, operando direttamente su video monoculare grezzo.

4. Risultati Sperimentali

Il sistema è stato valutato su due benchmark: TUM-RGBD (SLAM dinamico) e Replica (segmentazione semantica open-vocabulary).

• Prestazioni SLAM (TUM-RGBD):

  • RADIO-ViPE ha ottenuto risultati State-of-the-Art (SOTA) sul benchmark dinamico TUM-RGBD.
  • La variante con il kernel robusto adattivo (RADIO-ViPE$^{ark}$) ha raggiunto un errore di traiettoria assoluta medio (ATE) di 1.63 cm, superando metodi SLAM dinamici specializzati come Dyna-SLAM (2.00 cm) e ViPE (2.17 cm).
  • Ha dimostrato una robustezza superiore agli oggetti in movimento e alle riorganizzazioni della scena rispetto ai metodi esistenti.

• Segmentazione Semantica (Replica):

  • Valutato sulla segmentazione semantica open-vocabulary (mIoU, f-mIoU, Accuratezza).
  • RADIO-ViPE si è classificato tra i top-3 tra tutti gli approcci confrontati, inclusi metodi offline come ConceptGraphs e RayFronts.
  • Efficienza: Nonostante l'uso di caratteristiche compresse tramite PCA (256D) e la mancanza di profondità/posa ground-truth, ha mantenuto prestazioni entro 1–2% della variante ground-truth (RADIO-ViPE$^{GT}$), dimostrando l'efficacia del suo apprendimento geometrico auto-supervisionato.
  • A differenza dei concorrenti, opera online e senza calibrazione.

5. Significato e Impatto

• Deploy nel Mondo Reale: RADIO-ViPE colma il divario tra modelli fondazionali teorici e robotica pratica. Rimuovendo la necessità di calibrazione e sensori di profondità, abilita l'uso di video "in-the-wild" non vincolati (es. da smartphone o telecamere egocentriche) per la mappatura 3D.
• Robustezza Dinamica: Il meccanismo del kernel adattivo fornisce una soluzione robusta al problema della "scena dinamica", permettendo ai robot di navigare e mappare ambienti in cui i mobili vengono spostati o le persone camminano, senza fallire.
• Flessibilità Open-Vocabulary: Ancorando query linguistiche arbitrarie allo spazio 3D, abilita robot a scopo generale a comprendere e interagire con ambienti basandosi su istruzioni in linguaggio naturale piuttosto che su tassonomie rigide di oggetti.
• Efficienza delle Risorse: Il sistema gira a 8–10 FPS su hardware standard (Intel Xeon + RTX 4090), rendendolo adatto ad applicazioni in tempo reale in AR/VR e navigazione autonoma.

In sintesi, RADIO-ViPE rappresenta un significativo passo avanti nello SLAM semantico, integrando con successo le capacità dei modelli fondazionali con un'ottimizzazione geometrica robusta per creare un sistema di percezione 3D flessibile, senza calibrazione e consapevole del dinamismo.