Feasibility of Indoor Frame-Wise Lidar Semantic Segmentation via Distillation from Visual Foundation Model

1. Il Problema

La segmentazione semantica frame-wise (fotogramma per fotogramma) delle scansioni Lidar indoor è un passo fondamentale per applicazioni di alto livello come il Scan-to-BIM, il Scan-to-USD e il SLAM semantico-metrico. Tuttavia, l'addestramento di modelli di deep learning per questo compito si scontra con due ostacoli principali:

• Costo dell'annotazione: Ottenere ground truth (etichette reali) frame-wise per dati Lidar indoor è estremamente costoso e laborioso.
• Mancanza di dataset: A differenza degli scenari di guida autonoma (esterna), non esistono benchmark standardizzati o dataset su larga scala con annotazioni frame-wise per ambienti indoor.
• Divario di dominio: I modelli pre-addestrati su dataset esterni (come SemanticKITTI) o su dati indoor a livello di scena (come S3DIS) soffrono di un elevato divario di dominio quando applicati a scansioni Lidar frame-wise indoor, a causa delle differenze nella densità dei punti, nella geometria e nelle caratteristiche visive.

L'obiettivo della ricerca è determinare se sia possibile ottenere una segmentazione semantica efficace per scansioni Lidar indoor frame-wise senza ricorrere a annotazioni manuali, sfruttando invece la conoscenza estratta da modelli fondazionali visivi (Visual Foundation Models - VFMs).

2. Metodologia

Gli autori propongono un adattamento del framework ScaLR (originariamente sviluppato per la guida autonoma) al contesto indoor, utilizzando una pipeline di distillazione 2D-3D.

• Distillazione Cross-Modale:

  • Insegnante (Teacher): Un modello VFM 2D pre-addestrato (in particolare DINOv2 o OneFormer) che elabora le immagini RGB associate alle scansioni Lidar. Il VFM estrae descrittori semantici a livello di pixel.
  • Studente (Student): Una rete 3D (WaffleIron) che processa direttamente le nuvole di punti Lidar.
  • Meccanismo: Per ogni punto 3D $p_i$, viene proiettato sul piano dell'immagine corrispondente per trovare il pixel $\rho(i)$. La rete studente impara a mappare le caratteristiche del punto 3D ($\tilde{f}_i$) a quelle del pixel 2D ($g_{\rho(i)}$) minimizzando la distanza tra i vettori di caratteristiche normalizzati (loss di similarità coseno). Questo trasferisce la conoscenza semantica dal dominio 2D al 3D senza bisogno di etichette 3D.

• Adattamento ai Dati Indoor:

  • È stata sviluppata una pipeline dedicata per gestire dataset SLAM indoor eterogenei (NTU-VIRAL, TIERS, M2DGR, ITC), che presentano configurazioni di sensori e geometrie di proiezione diverse (es. Lidar singoli vs doppi, diverse risoluzioni angolari).
  • La pipeline sincronizza le coppie Lidar-Camera utilizzando timestamp specifici del dataset e calcola le trasformazioni intrinseche ed estrinseche per allineare correttamente i punti 3D ai pixel 2D.

• Generazione di Pseudo-Label:

  • Per supervisionare le fasi successive (linear probing e fine-tuning) e per la valutazione, le maschere di segmentazione generate dal VFM (OneFormer) vengono proiettate sulle nuvole di punti Lidar per creare pseudo-label.
  • Queste pseudo-label permettono di addestrare e valutare il modello su dataset privi di annotazioni manuali.

• Validazione Reale:

  • Per verificare l'affidabilità delle pseudo-label, gli autori hanno creato manualmente un piccolo subset di ground truth (1.720 frame) sul dataset ITC, utilizzando il software CloudCompare.

3. Contributi Chiave

1. Pipeline di Adattamento Indoor: Sviluppo di un flusso di lavoro dati specifico per adattare il framework ScaLR (nato per l'esterno) a dataset SLAM indoor multi-sensore eterogenei.
2. Dimostrazione di Fattibilità senza Annotazioni: Validazione che è possibile addestrare e affinare modelli per la segmentazione Lidar indoor frame-wise utilizzando esclusivamente pseudo-label generate da VFMs, eliminando la necessità di annotazioni manuali costose.
3. Valutazione Rigorosa: Fornitura di un dataset indoor parzialmente annotato manualmente per validare l'accuratezza delle pseudo-label e misurare le prestazioni reali del modello, un'azione rara data la scarsità di tali risorse.
4. Analisi di Robustezza: Studio dell'impatto di diversi VFMs (DINOv2 vs OneFormer) e di diverse profondità della rete 3D (WaffleIron) su accuratezza ed efficienza computazionale.

4. Risultati

I risultati sono stati valutati su quattro dataset indoor (NTU-VIRAL, TIERS, M2DGR, ITC) utilizzando metriche come mIoU (mean Intersection over Union) e accuratezza globale.

• Prestazioni con Pseudo-Label: Il modello distillato e affinato (fine-tuned) raggiunge fino al 56% di mIoU quando valutato contro le pseudo-label generate dal VFM.
• Prestazioni con Ground Truth Reale: Quando valutato sul piccolo subset manualmente annotato (ITC), il modello ottiene circa il 35.8% di mIoU. Sebbene inferiore alle pseudo-label (a causa del rumore nelle etichette e delle discrepanze di mappatura), questo risultato è significativamente superiore rispetto a un baseline supervisionato (RandLA-Net pre-addestrato su S3DIS) che ottiene solo il 10.7% di mIoU sullo stesso set.
• Generalizzazione Cross-Dataset: Si osserva una forte dipendenza dal dominio; le prestazioni calano significativamente quando un modello addestrato su un dataset viene testato su un altro (es. da NTU-VIRAL a TIERS). Tuttavia, l'addestramento congiunto su tutti i dataset indoor ("All Indoor") migliora la generalizzazione, portando a mIoU tra il 34% e il 48% sui vari set.
• Robustezza al VFM: Le prestazioni sono simili indipendentemente dal fatto che si usi DINOv2 o OneFormer come insegnante, indicando che la rappresentazione 3D appresa è stabile rispetto alla scelta del modello visivo.
• Efficienza: La configurazione con 24 layer di WaffleIron offre il miglior compromesso tra accuratezza (~51% mIoU) ed efficienza, permettendo un'inferenza in tempo reale a oltre 15 Hz con un consumo di memoria gestibile.

5. Significato e Conclusione

Questo studio dimostra la fattibilità dell'uso della distillazione cross-modale per la segmentazione semantica Lidar indoor frame-wise in assenza di dati etichettati.

• Impatto Pratico: Offre una soluzione praticabile per applicazioni di SLAM semantico e modellazione 3D in tempo reale, dove l'annotazione manuale è proibitiva.
• Limiti e Sfide: Il lavoro evidenzia che il divario di dominio (dovuto a diverse configurazioni di sensori e layout degli ambienti) rimane una sfida significativa. Inoltre, le pseudo-label contengono rumore che può sovrastimare le prestazioni reali, sebbene fungano da proxy affidabile per l'ottimizzazione.
• Prospettive Future: La ricerca suggerisce la necessità di benchmark indoor standardizzati, il miglioramento della qualità delle pseudo-label (tramite filtraggio basato sulla confidenza o consistenza temporale) e l'integrazione di informazioni temporali per migliorare la continuità geometrica tra i fotogrammi.

In sintesi, il paper stabilisce un nuovo punto di riferimento per la segmentazione Lidar indoor, dimostrando che la conoscenza visiva 2D può essere efficacemente trasferita al dominio 3D per superare la carenza di dati annotati.