One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models

Problematica

I modelli di fondazione per la stima della profondità monoculare (MDE) operano tipicamente sotto un paradigma a "profondità singola", mappando un singolo fotogramma RGB in un unico valore di profondità scalare per pixel. Questa ipotesi è valida per scene opache, ma fallisce nelle scene 3D stratificate (ad esempio, il vetro trasparente), dove un singolo raggio della telecamera interseca più superfici geometricamente valide (un piano di vetro in primo piano e un oggetto sullo sfondo).

Il documento sostiene che l'attuale addestramento supervisionato collassi questa geometria multi-strato in un unico "target scalare determinato dal dataset". La risultante mappa di profondità non è una verità intrinseca della scena, ma una convenzione determinata dalle scelte di annotazione, dai limiti dei sensori (ad esempio, LiDAR rispetto all'ultrasuoni) e dai bias dei dati di addestramento. Di conseguenza, i modelli di fondazione congelati non apprendono una geometria "priva di strati"; apprendono invece una preferenza per lo strato di profondità — un bias verso la segnalazione dello strato prossimale (primo piano) o di quello distale (sfondo) quando si presenta un'ambiguità. Le metriche di valutazione standard, che premiano l'accordo con una singola verità di base (ground truth), penalizzano interpretazioni alternative valide, oscurando le reali capacità di ragionamento geometrico del modello.

Metodologia

1. Benchmark MultiDepth-3k (MD-3k)
Per misurare questa preferenza senza richiedere una ground truth metrica densa e neutra rispetto ai sensori (difficile da ottenere per gli strati trasparenti), gli autori introducono MD-3k, un benchmark ordinale sparso.

• Dati: 3.161 immagini RGB provenienti dal dataset GDD, contenenti oggetti trasparenti.
• Annotazione: Invece di mappe di profondità dense, ogni immagine è annotata con una coppia di punti sparsi in una regione ambigua. Fondamentalmente, l'annotazione fornisce due etichette ordinali: l'ordine di profondità relativa per lo strato trasparente in primo piano e per lo strato visibile sullo sfondo.
• Sottogruppi: Il dataset è diviso in un sottogruppo "Same" (dove gli ordini di profondità del primo piano e dello sfondo concordano) e un sottogruppo "Reverse" (dove confliggono). Il sottogruppo "Reverse" è il caso di test critico in cui un modello a output singolo non può soddisfare contemporaneamente entrambi gli strati.

2. Laplacian Visual Prompting (LVP)
Gli autori propongono un metodo senza addestramento per indagare se la preferenza di uno strato di profondità di un modello congelato possa essere modulata cambiando la rappresentazione dell'input.

• Meccanismo: LVP applica un kernel Laplaciano discreto (una trasformata spettrale ad alta frequenza) all'immagine RGB in input. I residui con segno risultanti vengono normalizzati e mappati nuovamente nell'intervallo di input del modello (ad esempio, 0–255).
• Ipotesi: Enfatizzando i bordi ad alta frequenza, LVP agisce come una sonda spettrale che può indirizzare il modello congelato verso un'ipotesi di profondità alternativa valida (ad esempio, passare dalla preferenza per il primo piano alla preferenza per lo sfondo) senza riaddestrare o modificare i pesi.

3. Metriche di Valutazione

• Spatial Relationship Accuracy (SRA): Misura la frazione di coppie di punti in cui l'ordine di profondità predetto corrisponde alla verità di base per uno specifico strato (primo piano o sfondo).
• Depth-Layer Preference ($\alpha$): Definita come $SRA(2) - SRA(1)$. Un $\alpha$ positivo indica una preferenza per lo sfondo; un $\alpha$ negativo indica una preferenza per il primo piano.
• Multi-Layer Spatial Relationship Accuracy (ML-SRA): Valuta una coppia di ipotesi (ad esempio, l'output RGB e l'output LVP). Verifica se la coppia, quando assegnata in modo ottimale ai due strati, soddisfa simultaneamente i vincoli ordinali per entrambi gli strati.

Contributi Chiave

1. Caratterizzazione della Preferenza per lo Strato di Profondità: Il documento fornisce la prima caratterizzazione sistematica di come diversi modelli di fondazione per la profondità monoculare (inclusi Depth Anything v1/v2, DPT, Marigold, ecc.) esibiscano bias distinti e specifici del modello verso il primo piano o lo sfondo sotto un normale input RGB.
2. Benchmark MD-3k: Introduzione di un benchmark del mondo reale che rende misurabile la preferenza per lo strato di profondità tramite relazioni ordinali sparse, superando la necessità di una impossibile ground truth metrica multi-strato densa.
3. Modulazione Dipendente dall'Input: Dimostrazione che il Laplacian Visual Prompting (LVP) può alterare significativamente la preferenza espressa per lo strato di profondità nei modelli congelati. Per certi modelli, LVP agisce come un "interruttore" che rivela un'ipotesi geometrica complementare, permettendo a un modello a output singolo di coprire efficacemente più interpretazioni valide quando interrogato con input differenti.

Risultati

• Bias Diversificati: Sotto l'input RGB standard, i modelli mostrano bias forti ma inconsistenti. Ad esempio, le varianti di Depth Anything v2 ottimizzate per ambienti interni tendono a preferire il primo piano (vetro), mentre le varianti ottimizzate per l'esterno e i modelli generativi (come Marigold) spesso preferiscono lo sfondo.
• Efficacia di LVP: LVP induce spostamenti sostanziali nella preferenza per modelli specifici (ad esempio, DPT, Depth Pro e DAv2-L), ma ha poco effetto su altri (ad esempio, DAv1, alcuni modelli generativi).
  • Caso DAv2-L: L'esempio più forte è DAv2-L. Sotto RGB, è orientato verso il primo piano ($\alpha \approx -30.6$). Sotto LVP, si sposta verso una preferenza per lo sfondo ($\alpha \approx +68.2$).
• Performance ML-SRA:
  • Una baseline "collassata" (che duplica una singola mappa di profondità) raggiunge un tetto massimo rigido del 56.4% sul sottogruppo Reverse di MD-3k perché non può soddisfare vincoli ordinali conflittuali.
  • La coppia RGB/LVP utilizzando DAv2-L raggiunge un ML-SRA complessivo del 75.5% e un 52.2% sul sottogruppo Reverse. Ciò rappresenta un guadagno significativo rispetto al tetto della singola ipotesi, provando che il modello congelato può esprimere relazioni ordinali complementari quando cambia la rappresentazione dell'input.
• Ablazione: L'effetto è specifico per il prompting ad alta frequenza; i prompt Gaussiani passa-basso falliscono nel modulare la preferenza per lo strato. L'effetto non è esclusivo dell'operatore Laplaciano ma si generalizza ad altre trasformate ad alta frequenza (Sobel, Fourier), sebbene LVP rimanga un default robusto.

Significato e Rivendicazioni

Il documento afferma che l'inferenza RGB standard cattura solo una singola fetta di una posteriore geometrica più ricca. Trattando l'ambiguità non come rumore ma come una struttura geometrica misurabile, gli autori dimostrano che:

1. L'ambiguità è Intrinseca: I modelli di fondazione per la profondità codificano molteplici ipotesi geometriche valide, ma l'attuale addestramento e valutazione li costringono a collassare in un'unica convenzione polarizzata.
2. La Modulazione è Possibile: Semplici trasformazioni di input spettrali senza addestramento (LVP) possono sbloccare queste ipotesi complementari latenti nei modelli congelati.
3. Ripensare la Valutazione: I futuri sistemi di profondità dovrebbero essere valutati sulla loro capacità di rappresentare e preservare molteplici interpretazioni 3D valide, piuttosto che forzare un singolo output scalare.

Limitazioni Riconosciute:

• LVP è dipendente dal modello e non è un estrattore di strati universale; fallisce su superfici semi-trasparenti dove i segnali di frequenza sono intrecciati.
• Il benchmark è sparso e focalizzato sulla trasparenza; non fornisce una validazione metrica densa.
• LVP spesso degrada l'accuratezza della profondità singola standard su scene non ambigue, indicando che è uno strumento diagnostico/di sonda piuttosto che un sostituto dell'inferenza standard in scene chiare.

Gli autori invitano la comunità ad adottare una lente "consapevole dell'ambiguità" per la supervisione e la valutazione della profondità, dove molteplici interpretazioni 3D valide sono trattate come struttura geometrica da misurare ed esprimere.