Riepilogo Tecnico: RayTun3R

Definizione del Problema

I recenti modelli di fondazione 3D (ad es. DUSt3R, MASt3R, VGGT, $\pi^3$, Depth Anything 3) eccellono nella stima di profondità e posa feed-forward su immagini pinhole standard. Tuttavia, le loro prestazioni degradano significativamente quando applicati a input fisheye o grandangolari. Gli autori identificano che questo fallimento deriva da un bias pinhole intrinseco nelle codifiche posizionali di questi modelli pre-addestrati.

Mentre i metodi standard di fine-tuning efficiente dei parametri (PEFT) come LoRA o gli strati di adattamento modificano trasformazioni di feature generiche, essi non riescono ad affrontare il mismatch geometrico specifico: le telecamere pinhole e fisheye assegnano geometrie di raggi differenti alle stesse posizioni sulla griglia dell'immagine. I workaround esistenti, come la suddivisione delle immagini fisheye in più ritagli pinhole virtuali (ad es. Center-PH, Multi-PH), introducono un overhead computazionale e richiedono una complessa fusione delle predizioni senza modellare direttamente la geometria fisheye.

Metodologia: RayTun3R

RayTun3R è un approccio di adattamento della telecamera leggero e online, progettato per correggere il bias pinhole nei modelli di fondazione 3D congelati senza riaddestrare il backbone. L'ipotesi centrale è che l'adattamento dei componenti che collegano le locazioni dei token ai raggi della telecamera sia più efficace rispetto all'adattamento di feature generiche.

Componenti Chiave

1. Backbone Congelato: Il modello 3D pre-addestrato (pesi $\theta$) rimane completamente fisso.
2. Adattatore Leggero: Solo componenti specifici legati alla posizione del token e alla geometria della telecamera vengono aggiornati. Il numero totale di parametri addestrabili è minimo (10.752 per DA3-Small).
   • Correzione della Codifica Posizionale: Gli autori parametrizzano le correzioni per le codifiche posizionali assolute ($P_A$) in coordinate polari (raggio $\rho$ e angolo $\theta$) rispetto al punto principale. Queste sono implementate come tabelle di lookup radiali e angolari apprendibili.
   • Correzione della Codifica Posizionale Rotatoria (RoPE): Per i modelli che utilizzano RoPE, viene applicata una correzione radiale apprendibile agli angoli rotatori.
   • Correzioni Senza Parametri:
     • Coordinate della Griglia di Predizione: Sostituisce le regolari coordinate di griglia con coordinate consapevoli della telecamera, ottenute tramite la distorsione inversa delle posizioni della griglia fisheye.
     • Tokenizzazione a Patch: Le patch al di fuori della lente fisheye valida sono sostituite con la media delle token valide, e le patch vengono distorte localmente prima della tokenizzazione per approssimare i ritagli pinhole.

Strategia di Addestramento

L'adattatore viene addestrato online su un breve segmento temporale di frame fisheye utilizzando perdite geometriche auto-supervisionate, senza richiedere la verità fondamentale (ground-truth) di profondità o posa:

• Perdita di Riproiezione ($L_{reproj}$): Impone la coerenza tra i punti 3D predetti e le corrispondenze da un matcher off-the-shelf (UFM).
• Regolarizzazione della Posa ($L_{pose}$): Utilizza una stima della posa relativa fissa (da MAGSAC++) come pseudo-label per stabilizzare l'ottimizzazione iniziale.
• Prior di Smoothness: Include una fluidità della profondità consapevole dei bordi e la regolarizzazione L2/Total Variation per garantire che le correzioni posizionali rimangano piccole e fluide rispetto alla tabella pre-addestrata.

Contributi Chiave

1. Analisi del Bias Pinhole: Gli autori dimostrano che il Jacobiano locale delle codifiche posizionali pre-addestrate segue la geometria costante di una telecamera pinhole. Mostrano che, dopo l'adattamento, questo Jacobiano diventa dipendente dal raggio, allineandosi con la geometria fisheye.
2. Design dell'Adattatore Leggero: Introduzione di RayTun3R, che adatta solo i componenti posizionali (assoluti e rotatori) mantenendo il backbone congelato. Questo approccio utilizza circa 14 volte meno parametri addestrabili rispetto a LoRA e aggiunge un overhead di inferenza trascurabile.
3. Validazione Empirica: Il metodo è validato su diversi dataset fisheye (FOV 110°–200°) e tre diversi backbone congelati (Depth Anything 3, VGGT, $\pi^3$).

Risultati

Gli esperimenti su cinque dataset (ETH3D, KITTI-360, TUM-VI, ScanNet++, FIORD) mostrano che RayTun3R supera costantemente i baseline:

• Accuratezza della Posa: RayTun3R riduce l'errore di rotazione di 2–12× rispetto al modello non adattato e supera significativamente LoRA e i token di calibrazione (CalTok). Ad esempio, su KITTI-360, raggiunge un errore di rotazione di 0,84° rispetto a 1,69° (Vanilla) e 1,37° (LoRA).
• Accuratezza della Profondità: Mentre i metodi basati sulla proiezione (Center-PH) possono talvolta fornire una profondità competitiva su FOV moderati imitando la distribuzione di addestramento, RayTun3R ottiene una profondità competitiva utilizzando l'intero campo visivo fisheye.
• Efficienza: A differenza di Multi-PH, che comporta un costo di inferenza di circa il 300% elaborando più viste, RayTun3R mantiene la velocità di inferenza originale (~100ms/frame) con zero overhead. Utilizza solo 10,8K parametri addestrabili rispetto ai 147,5K di LoRA.

Significato e Claim

Il paper sostiene che il fallimento dei modelli di fondazione 3D sulle immagini fisheye sia fondamentalmente un mismatch nella rappresentazione posizionale piuttosto che una mancanza di capacità delle feature. Isolando e correggendo la mappatura dipendente dalla telecamera tra i token dell'immagine e i raggi di visualizzazione, RayTun3R consente a questi modelli di generalizzare agli input grandangolari in modo efficiente.

Gli autori pongono questo lavoro come una soluzione che evita i costi computazionali della fusione multi-vista e le modifiche architettoniche richieste dall'addestramento consapevole della telecamera. Enfatizzano che il loro metodo è "efficiente nei parametri" e "efficiente nel runtime", rendendolo adatto a scenari di adattamento online.

Limitazioni Riconosciute dagli Autori

• Specificità della Telecamera: La correzione è specifica per la telecamera; un diverso modello fisheye o un profilo di distorsione richiede un nuovo adattamento.
• Assunzioni sulla Distorsione: Il metodo assume un punto principale e una distorsione prevalentemente radiale, non coprendo esplicitamente ottiche tangenziali forti o non radiali.
• Dipendenza dalla Calibrazione: Richiede parametri della telecamera noti (sebbene la calibrazione predetta sia stata mostrata come fattibile).
• Requisiti di Movimento: L'addestramento auto-supervisionato richiede un sufficiente spostamento inter-frame; il moto degenerato può indebolire i vincoli.
• Ambito: L'attuale lavoro si concentra sulle immagini fisheye, lasciando i dati panoramici/equirettangolari come lavoro futuro.