Extending Foundational Monocular Depth Estimators to Fisheye Cameras with Calibration Tokens

Il paper propone un metodo auto-supervisionato che estende gli stimatori di profondità monoculare fondazionali addestrati su immagini prospettiche alle immagini fish-eye tramite l'uso di "Calibration Tokens", permettendo un allineamento efficace degli embedding latenti senza necessità di riaddestramento o fine-tuning.

L'essenziale

Immagina di avere un super-eroe della visione (chiamiamolo "Profondo") che è stato addestrato per anni guardando milioni di foto scattate con normali fotocamere. Questo super-eroe è bravissimo a capire quanto sono lontani gli oggetti in una stanza o in una strada: sa dire se un tavolo è a un metro o a dieci metri di distanza.

Il problema? Questo super-eroe è stato addestrato solo con lenti "normali" (perspettive). Se gli mostri una foto scattata con una lente "pesce" (fisheye), quella che vedi nei video di YouTube o nelle auto a guida autonoma, va in crisi.

Il Problema: La Distorsione del Pesce

Le lenti "pesce" sono curve e catturano un campo visivo enorme, ma deformano tutto: le linee dritte diventano curve, gli angoli si allungano. È come guardare il mondo attraverso un vetro di un bagno o una sfera di cristallo.
Quando il nostro "Profondo" guarda queste foto deformate, si confonde. Pensa che un muro curvo sia lontano quando è vicino, o viceversa. È come se gli avessi dato gli occhiali sbagliati: il suo cervello (il modello di intelligenza artificiale) non sa più interpretare la realtà.

La Soluzione: I "Gettoni di Calibrazione"

Gli autori di questo paper hanno avuto un'idea geniale e molto semplice. Invece di costringere il super-eroe a rifare tutta la scuola (ri-addestrare il modello da zero, che richiederebbe milioni di foto di lenti pesce che non esistono), hanno deciso di dargli un piccolo accessorio magico.

Hanno creato dei "Gettoni di Calibrazione" (Calibration Tokens).

Ecco come funzionano con un'analogia:
Immagina che il super-eroe "Profondo" stia leggendo un libro. Il testo è scritto in una lingua strana (la foto distorta della lente pesce) che lui non capisce bene. Invece di riscrivere tutto il libro (il modello), gli dai un piccolo dizionario portatile (i Gettoni) che si attacca alla pagina.
Questo dizionario dice al cervello del super-eroe: "Ehi, ricorda che questa curva qui in realtà è una linea dritta, e questo angolo allungato è in realtà vicino".

Questi "gettoni" sono piccoli pezzi di codice che si inseriscono nel cervello del super-eroe mentre guarda la foto. Servono a "riallineare" la sua visione, trasformando mentalmente l'immagine distorta in qualcosa che assomiglia a una foto normale, senza toccare la foto stessa.

Perché è così intelligente?

1. Non serve riscrivere il libro: Il super-eroe rimane lo stesso, non cambia la sua conoscenza di base. Si limita a usare il nuovo accessorio quando serve.
2. Funziona con tutto: Puoi usare lo stesso super-eroe per foto normali (togliendo il gettone) e per foto pesce (aggiungendo il gettone). È come avere un unico occhiale che cambia lente a seconda di cosa guardi.
3. Nessuna perdita di qualità: Spesso, per correggere le lenti pesce, si prova a "raddrizzare" l'immagine prima di mostrarla al super-eroe. Ma è come stirare una foto: si perde qualità, si creano buchi o distorsioni. Con i gettoni, il super-eroe guarda la foto così com'è, ma la capisce come se fosse raddrizzata. È come se avesse un "super-potere" interno invece di dover usare uno strumento esterno.
4. Impara da solo: Non hanno bisogno di milioni di foto reali con lenti pesce (che sono rare). Hanno preso foto normali, le hanno "deformate" al computer per farle sembrare foto pesce, e hanno insegnato al super-eroe a correggere l'errore. È come se gli avessero fatto fare un allenamento in una palestra virtuale.

Il Risultato

Grazie a questi piccoli "gettoni", il super-eroe "Profondo" ora riesce a vedere perfettamente anche attraverso le lenti curve.

• Nelle auto: Può vedere meglio gli angoli ciechi e le strade curve.
• Nella realtà virtuale: Può ricostruire stanze e ambienti in 3D in modo molto più preciso.

In sintesi: invece di costruire un nuovo super-eroe da zero per ogni tipo di lente, hanno trovato un modo per "aggiornare" quelli esistenti con un piccolo, economico e potente accessorio digitale. È un po' come dare a un vecchio smartphone un nuovo software che lo fa funzionare come un modello di ultima generazione, senza dover comprare il telefono nuovo.

Sommario tecnico

1. Il Problema

Le stime di profondità monoculare fondazionali (FMDE), addestrate su centinaia di milioni di immagini prospettiche (standard), falliscono quando applicate a immagini catturate da telecamere fish-eye (grandangolo estremo).

• Causa: Il fallimento è dovuto a uno spostamento di covariata (covariate shift) introdotto dalle differenze nei parametri di calibrazione della telecamera, in particolare la distorsione ottica. Le linee dritte nel mondo reale appaiono curve nelle immagini fish-eye, creando una discrepanza nella distribuzione dei dati rispetto a quella su cui i modelli sono stati addestrati.
• Limiti delle soluzioni esistenti:
  • Ricalibrazione/Correzione della distorsione: Richiede parametri di calibrazione precisi (spesso difficili da ottenere o soggetti a errori) e introduce artefatti spaziali (allungamento, aliasing, perdita di informazioni) durante la proiezione su un piano prospettico.
  • Addestramento di modelli specifici: I dataset fish-eye pubblici sono molto più piccoli rispetto a quelli prospettici, rendendo difficile addestrare modelli fondazionali da zero senza perdere la generalizzazione.
  • Fine-tuning: Adattare un modello esistente a immagini fish-eye rischia di causare "deriva dei parametri" (parameter drift), degradando le prestazioni su immagini prospettiche e richiedendo modelli separati per diversi tipi di telecamere.

2. Metodologia: Calibration Tokens

Gli autori propongono un approccio leggero basato su Calibration Tokens (Gettoni di Calibrazione) per adattare i modelli fondazionali esistenti senza riaddestrare l'intera rete.

• Concetto Chiave: Invece di modificare l'architettura o riaddestrare il modello, l'obiettivo è allineare le embedding latenti delle immagini fish-eye a quelle delle immagini prospettiche. Si ipotizza che lo spostamento di covariata risieda nello spazio latente e non nella struttura del decoder.
• Meccanismo:
  • I modelli FMDE moderni (es. basati su Transformer) elaborano le immagini come sequenze di token.
  • Vengono introdotti un piccolo set di token addestrabili (Calibration Tokens) che vengono concatenati all'input delle immagini fish-eye.
  • Questi token agiscono come un meccanismo di modulazione leggera che sfrutta i meccanismi di attenzione (self- and cross-attention) del Transformer per "ricalibrare" le embedding latenti, spostandole verso la distribuzione delle immagini prospettiche.
  • I token vengono inseriti a ogni layer dell'encoder (schema "Layer-wise") per massimizzare l'effetto di modulazione, ma vengono rimossi prima dell'output finale per non alterare la struttura del decoder.
• Vantaggi:
  • Lossless: Non richiede proiezioni spaziali o correzione della distorsione sull'immagine di input, preservando i pixel originali.
  • Compatibilità: Il modello rimane invariato per le immagini prospettiche (basta rimuovere i token).
  • Efficienza: Solo i token sono addestrabili, aggiungendo un overhead computazionale e di memoria trascurabile (<1% in più).

3. Obiettivo di Addestramento (Self-Supervised)

Il metodo non richiede dataset fish-eye etichettati, sfruttando invece l'abbondanza di dataset prospettici.

1. Sintesi: Le immagini prospettiche del dataset di addestramento vengono distorte artificialmente per simulare immagini fish-eye utilizzando un modello di distorsione (Kannala & Brandt).
2. Inversione della Loss:
   • L'input fish-eye sintetico passa attraverso il modello (con i Calibration Tokens).
   • L'output (mappa di profondità fish-eye) viene ri-proiettato (undistorted) nello spazio di riferimento prospettico originale.
   • La Loss viene calcolata confrontando questa mappa ri-proiettata con la stima di profondità ad alta fedeltà ottenuta dal modello originale sull'immagine prospettica non distorta (usata come pseudo-ground truth).
3. Funzione di Loss: Viene utilizzata una loss LogL1 (logaritmo della differenza assoluta) per migliorare la stabilità e gestire meglio le regioni di bordo dove le discrepanze sono maggiori.

4. Risultati Sperimentali

Il metodo è stato valutato su diversi modelli fondazionali (MiDaS, DepthAnything, UniDepth) e su dataset interni ed esterni (ScanNet++ per interni, KITTI-360 per esterni).

• Prestazioni: L'approccio con Calibration Tokens supera costantemente i metodi state-of-the-art (come DepthAnyCamera e FoVA-Depth) sia in ambienti interni che esterni.
  • Su ScanNet++ (Indoor): UniDepth + Calibration Tokens ha migliorato l'RMSE del 13% rispetto alla baseline e ha superato DepthAnyCamera del 11%.
  • Su KITTI-360 (Outdoor): Ha dimostrato robustezza su distorsioni estreme (>180° FOV), superando i baselines senza bisogno di dataset di addestramento specifici per ogni scenario.
• Generalizzazione: Un singolo set di token addestrato su un mix di dati indoor e outdoor funziona bene su entrambi i domini, eliminando la necessità di modelli separati.
• Efficienza: L'aggiunta dei token aumenta il tempo di inferenza di meno di 1 ms e la memoria di meno dell'1%.
• Confronto con Fine-tuning: Il fine-tuning diretto ha portato a un crollo delle prestazioni (es. RMSE molto più alto), confermando che i Calibration Tokens preservano meglio la conoscenza originale del modello fondazionale.

5. Contributi Chiave

1. Estensione dei FMDE: Un metodo innovativo per estendere i modelli di profondità monoculare addestrati su prospettiche alle telecamere fish-eye senza riaddestrare l'intera rete.
2. Calibration Tokens: Introduzione di un meccanismo di adattamento leggero che modula le embedding latenti per allinearle alla distribuzione prospettica, sfruttando l'architettura Transformer.
3. Obiettivo Self-Supervised: Una strategia di addestramento che sintetizza distorsioni su immagini prospettiche e calcola la loss nello spazio prospettico originale, evitando artefatti di proiezione e la necessità di dataset fish-eye etichettati.
4. Prestazioni SOTA: Dimostrazione di risultati superiori rispetto allo stato dell'arte su scenari indoor e outdoor con un unico set di token, mantenendo la compatibilità con le immagini prospettiche.

6. Significato e Impatto

Questo lavoro risolve un problema critico per applicazioni come la guida autonoma, la robotica e la Realtà Aumentata, dove le telecamere fish-eye sono essenziali per la copertura del campo visivo, ma i modelli di visione esistenti falliscono.

• Operatività: Riduce l'overhead operativo nei sistemi multi-telecamera, permettendo l'uso di un unico modello fondazionale per diversi tipi di sensori (prospettici e fish-eye) semplicemente aggiungendo o rimuovendo i token.
• Scalabilità: Elimina la necessità di raccogliere e annotare enormi dataset fish-eye, rendendo l'adattamento dei modelli fondazionali accessibile e scalabile.
• Qualità: Preserva l'integrità dei dati grezzi evitando le perdite di informazione associate alle tecniche di correzione della distorsione tradizionali.