Any to Full: Prompting Depth Anything for Depth Completion in One Stage

Il paper presenta Any2Full, un framework innovativo a stadio singolo che adatta un modello di stima della profondità monoculare preaddestrato tramite un codificatore di prompt consapevole della scala per ottenere una completazione della profondità robusta ed efficiente, superando i metodi esistenti in termini di accuratezza e velocità.

L'essenziale

Immagina di avere una fotografia in bianco e nero (la tua immagine RGB) e una mappa del tesoro che però è quasi completamente cancellata, con solo qualche punto sparso di inchiostro (la tua "profondità" o depth incompleta). Il tuo obiettivo è ricostruire l'intera mappa del tesoro, rendendola densa e precisa, per poter navigare in sicurezza.

Fino a oggi, i robot e le macchine usavano due metodi principali per fare questo, ma avevano dei grossi difetti:

1. Il metodo "Copia e Incolla" (RGB-D Fusion): Imparavano a memoria come appare il mondo solo guardando i dati di addestramento. Se cambiavi il luogo (es. da un interno luminoso a un esterno buio) o il tipo di mappa (es. buchi diversi), si confondevano. Era come se un cuoco sapesse fare solo la pasta se usava il pomodoro di una specifica marca, ma fallisse con un pomodoro diverso.
2. Il metodo "Due Passi" (Two-Stage): Prima facevano una stima approssimativa e poi provavano a correggerla. Il problema? La prima stima era spesso storta o distorta, e la correzione successiva non riusciva mai a sistemare tutto perfettamente, lasciando artefatti strani (come se avessi ritoccato una foto e poi avessi cercato di cancellare le macchie, ma rimanevano ancora visibili).

La Soluzione: Any2Full (Da "Qualsiasi" a "Completo")

Gli autori di questo paper hanno inventato Any2Full, un nuovo approccio che funziona come un magico correttore di bozze che non deve mai ricominciare da capo.

Ecco come funziona, usando un'analogia:

1. Il "Genio Geometrico" (Il Modello MDE)

Immagina di avere un architetto esperto (chiamato MDE o Monocular Depth Estimation) che ha studiato milioni di foto. Questo architetto non ha mai visto un righello, ma sa perfettamente come sono fatti gli oggetti: sa che una sedia è solida, che un muro è piatto e che le persone hanno una certa altezza. Sa la "geometria" del mondo. Tuttavia, non sa esattamente quanto sono lontani gli oggetti in metri (manca la scala).

2. Il "Prompt di Scala" (Lo Sticker Magico)

Il problema è che l'architetto non sa quanto è grande la stanza. Qui entra in gioco Any2Full.
Invece di costringere l'architetto a ridisegnare tutto da zero (come facevano i vecchi metodi), Any2Full prende i pochi punti di profondità che hai (i tuoi dati sparsi) e li trasforma in un adesivo magico (chiamato Scale Prompt).

• L'adesivo dice: "Ehi Architetto, guarda qui: questo punto è a 2 metri, quello a 5. Usa la tua conoscenza geometrica per riempire il resto, ma assicurati che le distanze siano coerenti con questi punti!"

3. Il "Codice di Trasmissione" (Scale-Aware Prompt Encoder)

Come fa Any2Full a creare questo adesivo perfetto anche se i tuoi punti sono sparsi in modo strano (alcuni buchi enormi, altri punti casuali)?
Usa un sistema intelligente chiamato Scale-Aware Prompt Encoder.

• Immagina di avere un puzzle: Se hai solo 5 pezzi sparsi, è difficile capire l'immagine.
• Il sistema di Any2Full: Prende quei 5 pezzi, guarda come si collegano alla "geometria" che l'architetto già conosce (le ombre, le linee degli edifici nella foto) e crea un ponte invisibile. Trasforma quei pochi punti sparsi in un messaggio chiaro e uniforme che dice all'architetto: "La scala è questa, ora disegna tutto il resto mantenendo questa coerenza".

Perché è rivoluzionario?

1. È "One-Stage" (Un solo passo): Non fa prima una bozza brutta e poi la corregge. Fa tutto in un colpo solo, direttamente dal dato sparso alla mappa perfetta. È come se l'architetto disegnasse la mappa finale istantaneamente appena riceve l'adesivo, senza bozze intermedie.
2. È "Pattern-Agnostic" (Indifferente ai buchi): Non importa se i tuoi dati mancanti sono buchi grandi, linee sottili o punti casuali. Il sistema è così intelligente da adattarsi a qualsiasi "forma" di mancanza, perché si affida alla geometria dell'architetto e non cerca di imparare a memoria i buchi.
3. È velocissimo: Poiché non fa calcoli inutili o correzioni successive, è molto più veloce dei metodi precedenti (fino a 1,4 volte più veloce, e con versioni piccole addirittura 1000 volte più veloci!).

L'Applicazione Reale: Il Magazzino Robotico

Gli autori hanno testato questo sistema in un magazzino reale pieno di pacchi neri.

• Il problema: Le telecamere dei robot (ToF) non vedono i pacchi neri perché assorbono la luce. Per il robot, i pacchi neri sono "buchi neri" invisibili. Il robot non sa dove afferrarli e spesso li rompe o li lascia cadere.
• La soluzione Any2Full: Il robot guarda il pacco nero, vede solo buchi, ma Any2Full usa la sua "intelligenza geometrica" per immaginare la forma completa del pacco nero basandosi sui pochi punti che riesce a catturare e sulla forma tipica di un pacco.
• Risultato: Il tasso di successo nell'afferrare i pacchi neri è passato dal 28% al 91,6%. Il robot ora "vede" l'invisibile.

In sintesi

Any2Full è come dare a un robot un occhio che non solo vede, ma immagina la forma completa degli oggetti anche quando sono parzialmente nascosti o mal misurati. Non impara a memoria i buchi, ma impara a usare la logica della geometria per colmarli in un solo istante, rendendo i robot più sicuri, veloci e capaci di lavorare in ambienti reali e difficili.

Sommario tecnico

1. Il Problema

La stima accurata e densa della profondità è fondamentale per la percezione robotica (navigazione, manipolazione, comprensione della scena). Tuttavia, i sensori di profondità commerciali (LiDAR, ToF, telecamere a luce strutturata) producono spesso mappe di profondità sparse o incomplete a causa di limitazioni hardware, riflessioni, assorbimento della luce o risoluzione insufficiente.

Le sfide principali identificate dagli autori sono:

• Limitazioni dei metodi esistenti: I metodi tradizionali di completamento della profondità (RGB-D) apprendono prior geometrici condizionati sia alla distribuzione RGB che a specifici pattern di profondità osservati durante l'addestramento. Questo porta a una scarsa generalizzazione di dominio (performance crollano con cambi di illuminazione o texture) e a una sensibilità ai pattern di profondità (es. diverse densità di punti o regioni mancanti).
• Inefficienza delle strategie attuali basate su MDE: I recenti tentativi di integrare modelli di stima della profondità monoculare (MDE) per sfruttare i loro prior geometrici generalizzabili utilizzano strategie a due stadi. Queste richiedono un allineamento esplicito tra la profondità relativa (MDE) e quella metrica (sparse), introducendo distorsioni strutturate, artefatti e un sovraccarico computazionale.

2. Metodologia: Any2Full

Gli autori propongono Any2Full, un framework monostadio, generalizzabile per dominio e agnostico rispetto al pattern di profondità. L'idea centrale è riformulare il completamento della profondità non come una fusione diretta, ma come un'adattamento tramite "prompting" di scala di un modello MDE pre-addestrato.

Concetti Chiave:

• Riformulazione del problema: Invece di prevedere una profondità grezza e poi raffinarla, Any2Full utilizza le informazioni di scala sparse per "promptare" un modello MDE (come Depth Anything v2) affinché produca una profondità relativa consistente su scala globale.
• Scale-Aware Prompt Encoder (SAPE): È il cuore del sistema, progettato per gestire input sparsi con livelli di sparsità variabili e distribuzioni spaziali irregolari (es. buchi casuali). Il SAPE distilla i segnali di scala dagli input sparsi in prompt unificati.
  • Modulo di Arricchimento Locale (Local Enrichment): Combina i segnali di scala dai dati sparsi con i densi prior geometrici del modello MDE tramite un meccanismo Feature-wise Linear Modulation (FiLM). Questo crea caratteristiche locali robuste alle variazioni di sparsità.
  • Modulo di Propagazione Globale (Global Propagation): Diffonde queste caratteristiche attraverso l'intera scena utilizzando l'attenzione guidata dalla geometria MDE. A differenza delle attention standard, qui i pesi sono calcolati solo dalle caratteristiche geometriche MDE (Query/Key) mentre i segnali di scala agiscono come Valori. Questo garantisce che la diffusione segua la struttura geometrica dell'immagine e non i pattern irregolari dei dati sparsi.
• Fusione del Prompt: I prompt di scala risultanti vengono iniettati nel decoder del modello MDE per modulare le caratteristiche a più livelli, guidando il modello verso una previsione relativa che può essere convertita in profondità metrica tramite un semplice allineamento globale (scala e bias).

Vantaggi dell'approccio Monostadio:

• Elimina la necessità di prevedere una profondità "grezza" intermedia, riducendo l'overhead computazionale.
• Preserva i prior geometrici robusti del modello MDE pre-addestrato senza distorcerli con allineamenti espliciti intermedi.
• È agnostico rispetto al pattern di profondità (funziona bene con buchi, sparsità casuale, limitazioni di range, ecc.).

3. Contributi Chiave

1. Framework Any2Full: Un nuovo paradigma monostadio che tratta il completamento della profondità come un adattamento tramite prompting di scala, sbloccando il potenziale dei modelli MDE pre-addestrati per compiti di completamento generalizzabili.
2. Scale-Aware Prompt Encoder: Un modulo efficiente che trasforma segnali di scala sparsi e irregolari in caratteristiche globalmente consistenti e invarianti al pattern, sotto la guida della geometria MDE.
3. Performance Superiori: Dimostrazione sperimentale che il metodo supera lo stato dell'arte (SOTA) in termini di robustezza, accuratezza ed efficienza.

4. Risultati Sperimentali

Il modello è stato valutato su sei dataset pubblici (NYU-Depth V2, iBims-1, KITTI, DIODE, ETH3D, VOID) e su un dataset reale raccolto in un magazzino logistico (Logistic-Black).

• Generalizzazione di Dominio: Any2Full ottiene il miglior ranking medio (2.3) su tutti gli scenari, superando metodi specifici per dominio (come CompFormer) e metodi MDE-based a due stadi.
• Generalizzazione del Pattern: Il metodo dimostra una robustezza eccezionale su pattern di profondità non visti durante l'addestramento (es. pattern "Range" con limitazioni di distanza), dove metodi come OMNI-DC e PriorDA falliscono o mostrano artefatti significativi.
• Efficienza:
  • Rispetto a PriorDA (che usa lo stesso backbone MDE), Any2Full è 1.4 volte più veloce (0.49s vs 0.68s) con una precisione superiore.
  • Rispetto a OMNI-DC, riduce l'errore medio AbsREL del 32.2%.
  • La variante più piccola (Any2Full-S) è circa 1000 volte più veloce dei metodi di adattamento al test-time (come TestPromptDC).
• Applicazione Reale: Il modello è stato deployato in un magazzino robotico per la manipolazione di pacchi neri (che assorbono la luce e causano buchi nei dati ToF). Il completamento della profondità ha aumentato il tasso di successo della presa da 28% a 91.6% (fino al 100% per alcuni casi), dimostrando il valore pratico del metodo.

5. Significato e Impatto

Il lavoro di Any2Full segna un cambio di paradigma nel campo del completamento della profondità:

• Semplificazione: Sostituisce pipeline complesse a due stadi con un approccio monostadio elegante che sfrutta direttamente i prior geometrici dei foundation model.
• Robustezza Industriale: Dimostra che i modelli di visione generativa/pre-addestrati possono essere adattati efficientemente per compiti di percezione robotica critica, risolvendo problemi reali come la perdita di dati su materiali scuri o riflettenti.
• Efficienza Computazionale: Offre un compromesso ottimale tra accuratezza e velocità, rendendo possibile l'uso in tempo reale su hardware robotico senza la necessità di costosi adattamenti al test-time.

In sintesi, Any2Full dimostra che la chiave per un completamento della profondità universale non risiede nell'addestrare modelli da zero su enormi dataset specifici, ma nell'intelligente integrazione dei prior geometrici esistenti con segnali di scala locali attraverso un meccanismo di prompting efficiente.