X-Lens: Real-Time Metric Depth Estimation with Heterogeneous Cameras

Riepilogo Tecnico: X-Lens

Problema

I moderni sistemi incarnati (embodied systems), inclusi i robot autonomi e i modelli Vision-Language-Action (VLA), si affidano sempre più a configurazioni multi-camera che combinano telecamere pinhole a FOV stretto e telecamere fisheye a FOV ampio per ottenere una copertura spaziale completa. Tuttavia, i modelli esistenti di stima della profondità 3D e di fondazione geometrica affrontano limitazioni significative in questo scenario di telecamere eterogenee:

1. Mismatch del Modello: La maggior parte dei metodi è basata su assunzioni centriche sulla proiezione pinhole o su modelli a singola telecamera, fallendo nel gestire la geometria di proiezione non uniforme e la distorsione dipendente dalla vista tipica delle configurazioni miste.
2. Costo Computazionale: I modelli di fondazione geometrica esistenti sono spesso computazionalmente esigenti, rendendo difficile l'inferenza in tempo reale su dispositivi edge sotto rigorosi budget di latenza e memoria.
3. Scarsità di Dati: Esiste una mancanza di dataset su larga scala, sincronizzati e contenenti una densa verità metrica (ground truth) per configurazioni multi-view eterogenee (fisheye + pinhole).
4. Inefficienza: Gli approcci attuali spesso si affidano alla cucitura panoramica (stitching, che altera la geometria nativa) o ad obiettivi di ricostruzione ausiliari (che aumentano la complessità dell'ottimizzazione) per gestire input a FOV ampio.

Metodologia

X-Lens è un modello compatto e feed-forward progettato per la stima della profondità metrica in tempo reale da un numero variabile di viste fisheye e pinhole calibrate. Evita la cucitura panoramica e gli obiettivi di ricostruzione ausiliari, concentrandosi direttamente sulla predizione della profondità densa e di una scala metrica globale.

1. Formulazione e Design

• Rappresentazione dei Raggi Generica: Invece di fare affidamento su una specifica matrice intrinseca pinhole $K$, X-Lens astrae le telecamere utilizzando una mappa di unproiezione generica $G$. Questa mappa trasforma le coordinate dei pixel in raggi unitari retro-proiettati in uno spazio di raggi condiviso, accogliendo sia modelli pinhole che fisheye (distorsione parametrica) senza modifiche all'architettura.
• Predizione Fattorizzata: Il modello produce una tripletta:
  • $\hat{D}$: Campo di profondità normalizzato (invariante rispetto alla scala).
  • $\hat{C}$: Mappa di confidenza auto-calibrata.
  • $\hat{m}$: Un singolo scalare metrico globale.
  • La profondità metrica finale viene ricostruita come $\hat{D}_m = \hat{m} \cdot \hat{D}$. Questo isola la scala assoluta in un percorso monodimensionale, permettendo alle perdite geometriche di operare in uno spazio invariante rispetto alla scala.

2. Transformer di Proiezione Eterogenea

L'architettura centrale è un backbone Vision Transformer (ViT) con strati alternati locali (all'interno della vista) e globali (cross-view), potenziati da due componenti chiave:

• Token di Calibrazione Apprendibili: Per evitare che le distorsioni specifiche della lente corrompano i token visivi condivisi, il modello inietta nel sequence dei token di calibrazione ($\Theta$) specifici per lo strato e per il tipo di telecamera. Questi token effettuano l'attenzione localmente sulla propria vista per correggere i pattern di distorsione, ma vengono rimossi prima dello strato successivo per evitarne la persistenza, garantendo che non interferiscano con la fusione metrica globale.
• Bias di Distorsione Parametrizzato tramite Jacobiano: Per colmare il divario geometrico tra le viste, un termine di bias viene iniettato nel meccanismo di cross-attention. Questo bias è derivato dal Jacobiano della mappa di unproiezione (direzione del raggio locale e distorsione di proiezione). Esso modula i pesi dell'attenzione per favorire i patch con una geometria dei raggi 3D e una struttura di proiezione locale compatibili, invece di fare affidamento solo sulla somiglianza dell'aspetto in coordinate distorte.
• Attenzione di Scala: Per garantire una predizione della scala metrica robusta, il modello scarta il 25% più basso dei pixel di confidenza (spesso vicino ai bordi fisheye) ed esegue un pooling pesato sulla confidenza sulle regioni rimanenti affidabili prima di regredire la scala globale $\hat{m}$.

3. Strategia di Training Multi-stadio

X-Lens impiega una pipeline di training progressiva in tre stadi per isolare l'adattamento specifico della lente dall'ottimizzazione congiunta:

1. Stadio 1 (Pre-training Pinhole): Il modello viene addestrato su dati multi-view pinhole per apprendere prior geometrici robusti e consapevolezza della scala. I token di calibrazione e il bias di distorsione sono disabilitati.
2. Stadio 2 (Adattamento Token Fisheye): Il backbone è congelato e solo i token di calibrazione vengono aggiornati utilizzando dati fisheye. Questo adatta il modello alla distorsione a FOV ampio senza sovrascrivere i prior pinhole stabiliti.
3. Stadio 3 (Training Congiunto Eterogeneo): Il bias di distorsione giacobiana viene attivato e il modello viene sottoposto a fine-tuning congiunto su dati misti fisheye-pinhole (inclusi il nuovo dataset OmniScene) e dati puramente pinhole per riconciliare le interazioni cross-view.

4. Il Dataset OmniScene

Per affrontare la scarsità di dati, gli autori introducono OmniScene, un dataset sintetico su larga scala:

• Scala: Circa 266.000 frame sincronizzati a sei viste (1,7 milioni di immagini) attraverso 103 scene indoor e outdoor.
• Configurazione: Una rigida configurazione a sei telecamere con quattro fisheye (180° FOV) e due pinhole.
• Qualità: Fornisce una densa verità metrica (z-depth) priva di rumore, maschere di validità e intrinseci/estrinseci calibrati per ogni frame.

Risultati Chiave

Esperimenti estesi su dataset reali (KITKI360, ETH3D, ScanNet++) e sintetici (OmniScene) dimostrano la superiorità di X-Lens in termini di accuratezza ed efficienza:

• Performance Eterogenee: Sul benchmark OmniScene-Full (6 viste: 4 fisheye + 2 pinhole), X-Lens riduce l'AbsRel del 25,4% rispetto al baseline più forte (MapAnything) utilizzando l'88,9% in meno di parametri (0,04B vs 1,23B).
• Inferenza in Tempo Reale: X-Lens raggiunge 41 FPS su singole viste fisheye e 22 FPS su input eterogenei completi a 6 viste su una GPU NVIDIA H100, superando significativamente i modelli più grandi in velocità.
• Generalizzazione: Il modello dimostra una forte generalizzazione zero-shot su ambienti non visti e mantiene prestazioni competitive nelle impostazioni omogenee solo-pinhole e solo-fisheye.
• Efficienza dei Parametri: Raggiunge un'accuratezza della profondità metrica allo stato dell'arte con soli 0,04B di parametri, una frazione delle dimensioni di altri modelli di fondazione geometrica (es. VGGT, DepthAnything3).

Significato e Rivendicazioni

Il paper sostiene che X-Lens rappresenti un passo significativo verso l'intelligenza spaziale in tempo reale per i sistemi incarnati. I suoi principali contributi sono:

1. Supporto Nativo Eterogeneo: È il primo modello compatto a supportare nativamente input grezzi misti fisheye e pinhole senza richiedere la cucitura panoramica o volumi stereo specifici per l'hardware.
2. Compromesso Efficienza-Accuratezza: Decoppiando la percezione della profondità dalla ricostruzione 3D completa (pose, intrinseci, mappe di punti) e concentrandosi sulla profondità metrica e sulla scala, X-Lens raggiunge un equilibrio tra alta accuratezza e bassa latenza adatto all'implementazione edge.
3. Risorsa di Dati: Il rilascio di OmniScene fornisce una risorsa critica per l'addestramento e la valutazione della percezione della profondità multi-view eterogenea, colmando un importante vuoto nel campo.

Gli autori posizionano X-Lens non solo come un estimatore di profondità, ma come un encoder visivo consapevole della geometria capace di colmare il divario tra la modellazione della profondità metrica e le applicazioni downstream in tempo reale come la pianificazione robotica e l'interazione. Essi riconoscono i limiti riguardanti la dipendenza dalla calibrazione ground-truth e il potenziale gap sim-to-real con configurazioni di lenti estreme e non viste, suggerendo come lavoro futuro l'aggregazione temporale e una maggiore diversità degli intrinseci.