RePer-360: Releasing Perspective Priors for 360$^\circ$ Depth Estimation via Self-Modulation

Il paper introduce RePer-360, un framework di auto-modulazione che adatta modelli di profondità preaddestrati su immagini prospettiche al dominio panoramico a 360° preservando le conoscenze pregresse e utilizzando solo l'1% dei dati di addestramento, ottenendo così una significativa riduzione dell'errore RMSE rispetto ai metodi di fine-tuning standard.

L'essenziale

Immagina di avere un esperto architetto (il modello di intelligenza artificiale) che è stato addestrato per anni guardando solo foto normali, rettangolari, come quelle che scatti con il tuo telefono. Questo architetto è bravissimo a capire le distanze, le profondità e la struttura degli oggetti in quelle foto.

Ora, immagina di volergli mostrare una foto a 360 gradi (una panorama sferica che ti circonda da tutte le parti). Se provi a dargli questa foto così com'è, l'architetto va in confusione. Perché? Perché le foto a 360 gradi sono come una pizza stesa su un tavolo: se provi a piegarla per farla tornare sferica, i bordi si allungano e si deformano in modo strano. L'architetto, abituato alle foto "piatte" e perfette, non sa come interpretare queste distorsioni e spesso sbaglia a calcolare le distanze.

Finora, per risolvere il problema, gli scienziati provavano due strade:

1. Tagliare la pizza in fette: Prendevano la foto a 360, la tagliavano in tanti piccoli rettangoli, chiedevano all'architetto di analizzare ogni pezzo e poi provavano a ricucirli. Il risultato? Spesso le cuciture si vedevano e il processo era lento e macchinoso.
2. Riaddestrare l'architetto: Costruivano un nuovo architetto da zero, mostrandogli milioni di foto a 360 gradi. Il problema? Servivano miliardi di dati e costava un occhio della testa.

La soluzione magica: RePer-360

Gli autori di questo paper hanno pensato: "Perché distruggere la conoscenza dell'architetto esperto o tagliare la foto? Perché non dargli solo un aiuto mirato?"

Hanno creato RePer-360, che funziona come un traduttore in tempo reale o un occhiale speciale. Ecco come funziona, passo dopo passo:

1. Due punti di vista (ERP e CP)

Immagina di guardare la stanza attraverso due finestre diverse:

• Una finestra è la foto originale a 360 (che è distorta).
• L'altra finestra è una versione "scomposta" della stanza in 6 facce di un cubo (come se la stanza fosse dentro un dado). Questa versione è più vicina a come l'architetto vede il mondo (foto normali).

Invece di mescolare confusamente le due visioni, il sistema usa la visione "cubica" come una bussola. Dice all'architetto: "Ehi, guarda qui, questa parte della foto a 360 è distorta, ma se la guardi come se fosse su un cubo, vedi che è dritta. Usa questa informazione per correggerti, ma non dimenticare quello che sai già!"

2. La "Modulazione Self-Conditioned" (Il regolatore di volume)

Qui sta il trucco geniale. Invece di forzare l'architetto a cambiare completamente il suo modo di pensare (che richiederebbe enormi dati), RePer-360 agisce come un regolatore di volume e equalizzatore sul suo cervello.

• Non riscrive i suoi ricordi (i "priors" prospettici).
• Invece, applica piccoli aggiustamenti matematici (chiamati scaling e shifting) solo dove serve.
• È come se l'architetto avesse un assistente che gli sussurra: "Qui la linea è curva perché è la foto a 360, ma in realtà è dritta. Correggi leggermente la tua percezione qui, ma lascia tutto il resto invariato."

Questo permette al modello di adattarsi alla distorsione 360 senza "dimenticare" la sua esperienza precedente.

3. La coerenza del Cubo (Il controllo qualità)

Per assicurarsi che l'architetto non stia allucinando, il sistema controlla che la profondità calcolata sia coerente sia nella foto a 360 che nella versione a cubo. È come se l'architetto disegnasse la mappa della stanza su due fogli diversi e il sistema controllasse che le due mappe corrispondano. Se non corrispondono, il sistema lo corregge.

Perché è così speciale?

• Efficienza dei dati: Mentre altri metodi hanno bisogno di 120.000 foto a 360 per imparare, RePer-360 impara quasi perfettamente con solo 1.000 foto (lo 0,8% dei dati!). È come se un cuoco esperto, con un solo consiglio su come usare il forno a microonde, riuscisse a cucinare un pasto perfetto senza dover ricominciare da zero.
• Migliore qualità: I risultati mostrano che RePer-360 commette meno errori di distanza rispetto ai metodi precedenti, anche quando la luce è strana o la stanza è complessa.
• Non distrugge il passato: Preserva la conoscenza originale dell'IA, evitando che l'adattamento a un nuovo tipo di immagine rovini le sue capacità originali.

In sintesi: RePer-360 non costringe un esperto di foto normali a diventare un esperto di foto a 360 con la forza. Gli dà invece una mappa di riferimento e un regolatore fine per adattarsi alla nuova situazione, mantenendo intatta la sua intelligenza originale. È un approccio intelligente, economico e molto efficace.

Sommario tecnico

1. Il Problema

I recenti modelli fondazione per la stima della profondità (come Depth Anything Models - DAM), addestrati su immagini prospettiche standard, ottengono prestazioni eccellenti in quel dominio. Tuttavia, la loro generalizzazione alle immagini panoramiche a 360° è scarsa.
Le cause principali sono:

• Discrepanza Geometrica: Le immagini panoramiche soffrono di distorsioni significative (specialmente nelle proiezioni equirettangolari, ERP) che violano le statistiche geometriche su cui i modelli sono stati pre-addestrati.
• Limitazioni delle Soluzioni Esistenti:
  • Fusione basata su proiezioni: Metodi che dividono il panorama in viste prospettiche e fondono i risultati (es. MoGe-2) introducono artefatti, non modellano esplicitamente la geometria sferica globale e hanno un alto costo computazionale.
  • Fine-tuning completo: Adattare i modelli esistenti richiedendo grandi quantità di dati panoramici (es. PanDA) può portare a una deriva delle rappresentazioni (representation drift), dove i preziosi "priors" prospettici pre-addestrati vengono sovrascritti o danneggiati, richiedendo comunque dataset massicci.

2. Metodologia: RePer-360

Gli autori propongono RePer-360, un framework di auto-modulazione (self-modulation) consapevole delle distorsioni. L'obiettivo è adattare i modelli fondazione al dominio panoramico preservando i loro potenti priors prospettici, senza sovrascriverli tramite fusione diretta delle feature.

L'architettura segue una pipeline di Guida - Modulazione - Supervisione:

A. Guida Allineata alla Geometria (Geometry-Aligned Guidance - GAG)

Invece di fondere direttamente le feature di due proiezioni complementari (ERP e Cubemap Projection - CP), il modulo GAG estrae un segnale di modulazione strutturato:

• Allineamento Statistico: Le feature della proiezione Cubemap (CP), che sono più coerenti con la geometria prospettica del backbone pre-addestrato, vengono allineate statisticamente (normalizzazione affine) alle feature ERP.
• Gating Adattivo: Un meccanismo di "gating" (pesatura spaziale) combina dinamicamente le feature CP allineate (ricche di dettagli locali) e le feature ERP (ricche di contesto globale) per generare un segnale di guida $F_{GAG}$.
• Funzione: Questo segnale non sostituisce le feature del backbone, ma funge da condizione strutturata per la modulazione successiva.

B. Modulo Self-Conditioned AdaLN-Zero (SCAdaLN-Zero)

Questo è il cuore dell'adattamento. Invece di usare l'attenzione incrociata esplicita (che può destabilizzare l'ottimizzazione), RePer-360 inietta il segnale di guida nei parametri di normalizzazione del modello:

• Meccanismo: Utilizza una variante di AdaLN-Zero (Adaptive Layer Normalization con inizializzazione a zero). Il segnale $F_{GAG}$ viene elaborato da una rete leggera per generare fattori di scala ($\gamma$) e spostamento ($\beta$) specifici per ogni pixel e canale.
• Vantaggio: Questi parametri modulano le feature normalizzate all'interno dei layer Transformer. Questo permette un adattamento controllato alla distorsione (correzione della distribuzione) senza alterare direttamente il contenuto delle feature pre-addestrate, preservando la coerenza geometrica.
• Inizializzazione a Zero: I parametri finali sono inizializzati a zero, garantendo che all'inizio dell'addestramento il modello si comporti come il backbone originale, assicurando stabilità.

C. Funzione di Perdita: E2C Consistency Loss (ECCLoss)

Per mitigare lo squilibrio causato dalla distorsione sferica (dove le regioni polari occupano più pixel ma contengono meno informazioni geometriche rispetto all'equatore), viene introdotta una perdita di coerenza nel dominio del cubemap:

• Le mappe di profondità previste e le ground truth vengono proiettate dal dominio ERP al dominio Cubemap (CP).
• Viene applicata una perdita SSI-MAE (Scale-Shift Invariant Mean Absolute Error) sul dominio CP, dove ogni faccia segue una geometria prospettica standard.
• Questo forza il modello a imparare strutture 3D autentiche in modo geometricamente bilanciato, riducendo i bias introdotti dalla proiezione ERP.

3. Contributi Chiave

1. Riformulazione dell'Adattamento: Spostano il paradigma dalla "fusione di feature" all'"adattamento guidato dai priors". Usano le proiezioni complementari come segnali di guida strutturale anziché come input da fondere.
2. Framework di Auto-Modulazione: Propongono RePer-360, che allinea le distribuzioni delle feature tra i domini prospettico e panoramico tramite normalizzazione basata su segnali geometrici interni, evitando la deriva delle rappresentazioni.
3. Efficienza dei Dati: Dimostrano che è possibile ottenere prestazioni superiori con una frazione minima dei dati di addestramento rispetto ai metodi attuali.

4. Risultati Sperimentali

I risultati sono stati valutati sui dataset Matterport3D e Stanford2D3D, confrontando il metodo con lo stato dell'arte (SOTA) come PanDA-L e BiFuse.

• Efficienza dei Dati: RePer-360 supera i metodi precedenti utilizzando solo l'1% dei dati di addestramento (circa 1k-8k coppie di immagini contro le 120k usate da PanDA-L per il pre-addestramento semi-supervisionato).
• Prestazioni Quantitative:
  • In un confronto equo (addestramento solo su dati in-domain), RePer-360 migliora l'RMSE di circa il 22% rispetto a PanDA-L su Matterport3D e fino al 34% su Stanford2D3D.
  • Riduce significativamente l'errore Abs Rel e Sq Rel.
• Generalizzazione Zero-Shot: Addestrato solo su dati sintetici (Structured3D e Deep360), il modello mostra una forte capacità di generalizzazione su dati reali non visti, superando PanDA-L anche in scenari zero-shot.
• Analisi delle Feature: Le visualizzazioni mostrano che RePer-360 mantiene una maggiore coerenza con il backbone pre-addestrato (minore "drift" delle rappresentazioni) rispetto ai metodi basati su fusione esplicita, preservando meglio i dettagli strutturali e riducendo gli artefatti su pareti e soffitti.

5. Significato e Impatto

Il lavoro di RePer-360 è significativo perché sfida l'assunzione comune secondo cui l'adattamento a domini geometricamente diversi richieda la fusione esplicita di feature o un massiccio fine-tuning che distrugga i priors originali.
Dimostra che modulare i parametri di normalizzazione basandosi su segnali geometrici interni è una strategia più stabile ed efficiente. Questo approccio apre la strada a un adattamento più "principale" (principled) dei modelli visivi fondazione a domini complessi (come la realtà virtuale e i sistemi autonomi) con costi computazionali e di dati drasticamente ridotti.