Riepilogo Tecnico: Stima della Profondità Monoculare Focalizzabile

Formulazione del Problema

I modelli fondazionali attuali per la stima della profondità monoculare (ad esempio, Depth Anything, UniDepth, Metric3D) eccellono nel recuperare la geometria densa della scena attraverso domini diversi. Tuttavia, sono prevalentemente ottimizzati utilizzando obiettivi uniformi a livello di pixel che trattano tutte le regioni dell'immagine in modo uguale. Questo approccio "centrato sull'immagine" non riesce a distinguere le regioni target specificate dall'utente o rilevanti per il compito dal contesto circostante. In applicazioni come la robotica e l'IA incarnata, dove la precisione della profondità vicino a un oggetto target e le transizioni nette dei confini sono critiche, l'ottimizzazione globale uniforme spesso comporta una precisione sottopesata del primo piano e confini sfocati, anche quando la geometria globale della scena rimane coerente.

Per colmare questa lacuna, gli autori introducono la Stima della Profondità Monoculare Focalizzabile (FDE). La FDE riformula il compito di stima della profondità da una previsione densa uniforme a un'inferenza condizionata al target. Data un'immagine di input e una regione target specificata dall'utente (tramite riquadri o prompt testuali), il modello è tenuto a:

1. Prioritizzare l'accuratezza della profondità nella regione target del primo piano.
2. Preservare transizioni nette della profondità ai confini del target.
3. Mantenere una geometria globale coerente della scena su tutta l'immagine.

Metodologia: FocusDepth

Per risolvere il compito FDE, gli autori propongono FocusDepth, un framework di stima della profondità relativa monoculare condizionato al prompt. L'intuizione fondamentale è combinare i priors complementari della segmentazione promptabile (Segment Anything Model 3, o SAM3) e dei modelli fondazionali per la geometria densa (famiglia Depth Anything, o DA).

Panoramica dell'Architettura

FocusDepth è composto da due rami principali:

1. Ramo della Profondità Geometrica: Utilizza DA preaddestrati (DA2 o DA3) per estrarre token geometrici multi-scala ($X_g$) che rappresentano la struttura globale della scena.
2. Ramo Condizionato al Prompt: Utilizza SAM3 per elaborare l'immagine di input e il prompt dell'utente (riquadro o testo) per generare caratteristiche token condizionate al prompt ($X_p$) che identificano la regione target.

Modulo Centrale: Fusione Spaziale Allineata Multi-Scala (MSSA)

L'innovazione centrale è il modulo MSSA, che inietta segnali condizionati al prompt nella rappresentazione geometrica senza disturbare il prior geometrico preaddestrato. MSSA opera a ogni scala dell'encoder geometrico e coinvolge tre passaggi chiave:

• Allineamento Spaziale per Scala: Poiché entrambi i rami elaborano l'immagine sulla stessa griglia di patch ViT, i token sono in corrispondenza spaziale uno-a-uno. I token del prompt sono proiettati nello spazio dei token geometrici specifico per la scala e concatenati con i token geometrici.
• Fusione Condizionata Instradata: Un leggero strato Mixture of Experts (MoE) elabora i token concatenati. Un router calcola combinazioni dipendenti dall'input degli output degli esperti, permettendo al modello di applicare correzioni diverse in base alla posizione spaziale senza supervisione esplicita per regioni specifiche (primo piano vs sfondo).
• Output di Fusione con Cancello: Per impedire che i segnali del prompt sovrascrivano la geometria globale, un cancello apprendibile ($G_s$) controlla l'iniezione. La caratteristica finale è una somma pesata delle caratteristiche instradate e dei token geometrici originali: $Y_s = G_s \odot F_s + (1 - G_s) \odot X_g^s$. Questo garantisce che le correzioni condizionate al prompt vengano applicate selettivamente, mantenendo il prior globale.

Obiettivo di Apprendimento e Addestramento

Il modello è addestrato con una funzione di perdita sensibile alla regione che partiziona l'immagine in tre regioni basate sulla maschera ground-truth: Primo Piano, Confine e Globale. La perdita totale ($L$) è la somma delle perdite di profondità ($L_{fg}, L_{bd}, L_{glb}$) calcolate su queste regioni, più una perdita di segmentazione ausiliaria ($L_{seg}$).

L'addestramento segue una strategia a due stadi per garantire stabilità:

1. Stadio 1: Solo il modulo MSSA viene ottimizzato mentre tutti i backbones preaddestrati sono congelati, permettendo a MSSA di apprendere l'allineamento senza disturbare il prior geometrico.
2. Stadio 2: Il decoder di profondità, il transformer guidato dal prompt di SAM3 e il decoder di segmentazione ausiliario vengono ottimizzati insieme a MSSA, mentre gli encoder rimangono congelati.

Benchmark: FDE-Bench

Per valutare la FDE, gli autori stabiliscono FDE-Bench, una suite di benchmark che converte i dataset RGB-D esistenti in triple immagine–target–profondità standardizzate.

• Dataset: Costruiti da NYU v2, TUM RGB-D, YCB-Video, RLBench e RoboTwin, coprendo scene interne, oggetti su tavoli e ambienti di manipolazione incarnata.
• Scala: Contiene 252.9K triple di addestramento e 72.5K triple di validazione che coprono 972 categorie di target.
• Metriche di Valutazione: A differenza dei benchmark standard che riportano l'errore su tutta l'immagine, FDE-Bench valuta le prestazioni su tre regioni complementari:
  • Primo Piano: Qualità della profondità localizzata al target.
  • Confine: Nitidezza della transizione della profondità.
  • Globale: Coerenza geometrica dell'intera immagine.
    Le metriche riportate includono $\delta_1$ e AbsRel, calcolate in modo per-target per evitare la dominanza di immagini con molti target.

Risultati Sperimentali

Gli esperimenti sono stati condotti su FDE-Bench confrontando FocusDepth con modelli fondazionali zero-shot (UniDepth, Metric3D, DA2, DA3) e baseline affinate globalmente (DA2-ft, DA3-ft).

• Miglioramenti delle Prestazioni: FocusDepth supera costantemente le baseline affinate globalmente, in particolare nelle regioni centrate sul target. Ad esempio, su RLBench con prompt a riquadro, FocusDepth(DA3) ha ridotto l'AbsRel del confine da 0.073 a 0.049 e l'AbsRel del primo piano da 0.095 a 0.056 rispetto a DA3-ft, migliorando simultaneamente l'AbsRel globale da 0.042 a 0.030.
• Robustezza del Prompt: Uno studio sulla correttezza del prompt ha mostrato che, sebbene i prompt corretti producano i migliori risultati, anche prompt errati o vuoti comportano prestazioni migliori rispetto alla baseline senza prompt, suggerendo che il ramo condizionato al prompt fornisce segnali locali e globali utili anche senza una guida perfetta.
• Analisi Qualitativa: Le visualizzazioni dimostrano che FocusDepth produce confini target più netti e errori di profondità inferiori nella regione specificata rispetto all'affinamento standard, senza introdurre artefatti nello sfondo.

Studi di Ablazione

Gli studi di ablazione su RLBench evidenziano l'importanza di scelte progettuali specifiche:

• Allineamento Spaziale: Interrompere la corrispondenza spaziale tra token del prompt e token geometrici (mescolandoli) causa il degrado più significativo, aumentando l'AbsRel globale fino al 13.8%. Ciò conferma che l'allineamento spaziale è il fattore chiave di progettazione.
• Fusione Specifica per Scala e Instradata: Rimuovere la fusione specifica per scala o sostituire il router MoE con un singolo MLP peggiora costantemente l'accuratezza del primo piano e del confine, indicando la necessità di una fusione consapevole della scala e condizionata.
• Iniezione con Cancello: Rimuovere il meccanismo di cancellazione porta a un degrado costante, confermando il suo ruolo nel bilanciare le correzioni del prompt con il prior geometrico preaddestrato.
• Strategia di Addestramento: Un approccio di addestramento a uno stadio indebolisce il raffinamento locale, validando la strategia a due stadi per separare l'allineamento cross-modello dall'adattamento a valle.

Significato e Affermazioni

Il documento afferma di stabilire la FDE come una formulazione concreta del compito per la stima della profondità prioritaria alla regione, superando i limiti degli obiettivi uniformi centrati sull'immagine. Gli autori affermano che FocusDepth trasferisce con successo le evidenze del target basate sul prompt nelle rappresentazioni della geometria densa tramite MSSA, abilitando un raffinamento condizionato allineato spazialmente e con cancellazione.

Il significato risiede nel dimostrare che è possibile migliorare l'accuratezza locale del target e la fedeltà del confine senza compromettere la coerenza geometrica globale della scena. Gli autori posizionano la FDE come un passo necessario per applicazioni che richiedono un'interazione precisa con oggetti specifici (ad esempio, manipolazione robotica), dove i modelli di profondità standard potrebbero non riuscire a dare priorità alla geometria rilevante. Il lavoro conclude notando le limitazioni, come la necessità di un addestramento congiunto su scala più ampia e un'ulteriore esplorazione delle applicazioni dei compiti a valle, che sono lasciate per lavori futuri.