Any to Full: Prompting Depth Anything for Depth Completion in One Stage

Das Paper stellt Any2Full vor, ein einstufiges, domainspezifisches Framework, das vortrainierte monokulare Tiefenschätzmodelle durch einen skalabewussten Prompt-Encoder anpasst, um aus unvollständigen Tiefendaten präzise und dichte Tiefenkarten zu generieren und dabei sowohl Recheneffizienz als auch Robustheit gegenüber verschiedenen Sparsity-Mustern zu verbessern.

Das Wesentliche

Das Problem: Der unvollständige Puzzle

Stell dir vor, du möchtest dir ein riesiges Puzzle zusammenlegen, das dir zeigt, wie weit alles im Raum entfernt ist (eine sogenannte Tiefenkarte). Das ist für Roboter extrem wichtig, damit sie nicht gegen Wände fahren oder Dinge fallen lassen.

Das Problem ist: Die Sensoren, die wir heute in Kameras oder Robotern haben (wie LiDAR oder ToF-Kameras), sind nicht perfekt. Sie liefern oft nur ein lückenhaftes Bild.

• Manche Teile fehlen ganz (wie Löcher im Puzzle).
• Manche Teile sind nur spärlich verteilt (wie ein Puzzle, bei dem nur 10% der Steine da sind).
• Bei schwarzen Objekten oder sehr weit entfernten Dingen versagen die Sensoren oft komplett.

Frühere Methoden waren wie ein zweistufiger Prozess:

1. Zuerst schaut ein Roboter auf das lückenhafte Bild und versucht, eine grobe Schätzung zu machen.
2. Dann kommt ein zweiter Roboter, der diese grobe Schätzung versucht zu verfeinern.
   Das Problem dabei: Der erste Schritt macht oft Fehler, die der zweite Schritt nur schwer korrigieren kann. Es ist, als würde man versuchen, ein verwackeltes Foto zu reparieren, indem man erst ein neues, unscharfes Bild malt und dann versucht, es zu schärfen. Das Ergebnis wird oft verzerrt.

Die Lösung: Any2Full – Der „Ein-Schritt"-Magier

Die Autoren dieses Papers haben eine neue Methode namens Any2Full entwickelt. Sie nennen es „Any to Full" (Von „Beliebig" zu „Vollständig").

Stell dir vor, du hast einen Meistermaler, der schon Millionen von Bildern gesehen hat und weiß, wie die Welt normalerweise aussieht (wie Berge, Autos oder Möbel strukturiert sind). Dieser Maler ist ein KI-Modell namens „Depth Anything". Er kann aus einem einzigen Foto eine sehr gute Schätzung der Tiefe machen, kennt aber die genaue Entfernung in Metern nicht (er weiß nur, dass das Auto näher ist als der Berg, aber nicht, ob es 5 oder 10 Meter sind).

Any2Full ist wie ein genialer Assistent, der diesem Meistermaler hilft:

1. Der Assistent liest die Lücken: Er nimmt das lückenhafte, unvollständige Bild vom Sensor.
2. Er gibt einen „Skalen-Hinweis" (Scale Prompt): Anstatt das Bild neu zu malen, flüstert der Assistent dem Maler zu: „Hey, schau mal hier, diese Punkte sind genau 2 Meter entfernt."
3. Der Maler passt sich an: Der Meistermaler nutzt sein riesiges Wissen über die Welt (Geometrie), kombiniert es mit dem kleinen Hinweis des Assistenten und malt sofort das perfekte, vollständige Bild.

Das Geniale daran: Es passiert alles in einem einzigen Schritt. Kein grobes Vorzeichnen, kein zweites Nachbessern.

Warum ist das so besonders?

Hier kommen die kreativen Vergleiche:

• Der „Universal-Schlüssel": Frühere Methoden waren wie Schlüssel, die nur für eine bestimmte Tür (z. B. nur für Innenräume oder nur für bestimmte Lichtverhältnisse) passten. Any2Full ist wie ein Master-Schlüssel. Er funktioniert überall: im dunklen Lagerhaus, bei grellem Sonnenlicht, mit schwarzen Paketen oder in der Wüste. Er ist „domänengeneral" (universell einsetzbar).
• Unempfindlich gegen Muster: Wenn die Sensoren unterschiedliche Lücken haben (mal fehlen die Ecken, mal die Mitte), passen sich frühere Modelle schlecht an. Any2Full ist wie ein Schwamm, der jede Form von Lücke ausfüllt, egal wie seltsam die Form ist.
• Geschwindigkeit: Da es nur einen Schritt gibt, ist es extrem schnell. Es ist wie der Unterschied zwischen einem Handwerker, der erst ein Gerüst baut und dann streicht, und einem 3D-Drucker, der das fertige Objekt in einem Durchgang herstellt.

Das Ergebnis in der echten Welt

Die Autoren haben das System in einem echten Robotermagazin getestet. Dort gab es ein riesiges Problem: Schwarze Pakete.

• Das Problem: Schwarze Pakete schlucken das Licht der Sensoren. Die Roboter sahen sie oft gar nicht oder nur als „Lücke" und griffen daneben oder quetschten die Pakete.
• Die Lösung: Any2Full füllte die Lücken bei den schwarzen Paketen perfekt auf.
• Der Erfolg: Die Erfolgsrate beim Greifen dieser schwierigen Pakete stieg von 28 % auf über 90 %. Die Roboter konnten nun sicher und präzise arbeiten, ohne die Pakete zu beschädigen.

Zusammenfassung

Any2Full ist eine neue Art, wie Roboter die Welt „sehen" und messen.

• Alt: Erst raten, dann korrigieren (langsam und oft ungenau).
• Neu (Any2Full): Ein kluger Assistent gibt einem erfahrenen Experten einen kurzen Hinweis, und sofort ist das Bild perfekt, schnell und überall einsetzbar.

Es ist ein großer Schritt hin zu Robotern, die sicher in unserer komplexen, unordentlichen Welt arbeiten können, ohne ständig gegen Dinge zu laufen oder Dinge fallen zu lassen.

Technische Zusammenfassung

1. Problemstellung

Die präzise und dichte Tiefenschätzung ist fundamental für die robotische Wahrnehmung (z. B. Navigation, Manipulation). Kommerzielle Tiefensensoren (wie LiDAR, ToF oder strukturiertes Licht) liefern jedoch aufgrund von Hardwarebeschränkungen oft nur sparse (spärliche) oder unvollständige Tiefenkarten. Dies liegt an Problemen wie begrenzter Auflösung, Reichweitenbeschränkungen oder Lichtinteraktionen (Reflexion/Absorption).

Bestehende Lösungen für die Tiefenvervollständigung (Depth Completion) leiden unter zwei Hauptproblemen:

• Domain-Spezifität: Traditionelle RGB-D-Fusionsmethoden lernen Priors, die stark an die Trainingsdaten (spezifische Beleuchtung, Texturen, Szenen) gebunden sind, was zu schlechter Generalisierung auf neue Domänen führt.
• Muster-Sensitivität: Viele Methoden sind anfällig für verschiedene Sparsity-Muster (z. B. zufällige Lücken vs. große fehlende Bereiche).
• Ineffiziente Zwei-Stage-Ansätze: Neuere Ansätze nutzen monokulare Tiefenschätzung (MDE) Modelle für geometrische Priors, verwenden aber oft eine Zwei-Stage-Architektur. Diese erzeugt zunächst eine grobe Tiefenkarte und richtet diese explizit an den metrischen Eingaben aus. Dies führt zu zusätzlichen Rechenaufwand, strukturellen Verzerrungen und Artefakten, da die relative Tiefe von MDE-Modellen oft nicht-linear verzerrt ist.

2. Methodik: Any2Full

Die Autoren stellen Any2Full vor, ein einstufiges (one-stage), domänenunabhängiges und musteragnostisches Framework. Der Kern der Methode ist die Umformulierung der Tiefenvervollständigung als Skalen-Prompting-Adaptation eines vortrainierten MDE-Modells (basierend auf Depth Anything v2).

Kernkonzepte:

• Skalen-Prompting statt Fusion: Anstatt RGB und sparse Tiefe direkt zu fusionieren, wird die sparse Tiefe in Skalen-Prompts kodiert. Diese Prompts steuern (modulieren) die Features des vortrainierten MDE-Modells, um eine skalen-konsistente relative Tiefenvorhersage zu erzeugen.
• Skalen-Konsistenz: Das Ziel ist eine Vorhersage, die durch einen einzigen globalen Skalierungsfaktor und Bias in die metrische Tiefe umgewandelt werden kann, ohne lokale Verzerrungen.

Architektur: Scale-Aware Prompt Encoder (SAPE)

Um die Herausforderungen variierender Sparsity-Level und unregelmäßiger räumlicher Verteilungen zu bewältigen, wurde ein hierarchischer Encoder entworfen:

1. Local Enrichment Module: Extrahiert Skalenhinweise aus den sparse Eingaben und koppelt sie mit den dichten geometrischen Features des MDE-Backbones mittels Feature-wise Linear Modulation (FiLM). Dies macht die Features robust gegenüber unterschiedlichen Sparsity-Leveln.
2. Global Propagation Module: Verteilt diese lokalen Features über die gesamte Szene. Im Gegensatz zu Standard-Cross-Attention nutzt dieses Modul die geometrischen Features des MDE-Modells als Query und Key, während die Skalen-Features als Value dienen. Dies stellt sicher, dass die Skalierung entlang der geometrischen Strukturen (definiert durch das RGB-Bild) propagiert wird und nicht durch das unregelmäßige Sampling der sparse Tiefe verzerrt wird.
3. Scale Prompt Fusion: Die resultierenden global konsistenten Prompts werden in den Decoder des MDE-Modells injiziert, um die finale relative Tiefenkarte zu erzeugen.

Der Prozess ist einstufig: Es gibt keine Zwischenschritte zur Vorhersage einer groben Karte oder separate Verfeinerungsnetzwerke. Die metrische Tiefe wird am Ende durch eine nicht-parametrische Least-Squares-Anpassung (globale Skalierung/Bias) abgeleitet.

3. Wichtige Beiträge

• Neues Paradigma: Einführung von Any2Full als erster einstufiger Ansatz, der Tiefenvervollständigung als Skalen-Prompting für MDE-Modelle formuliert. Dies nutzt die starken domänenübergreifenden geometrischen Priors von vortrainierten MDE-Modellen optimal aus.
• Scale-Aware Prompt Encoder: Entwicklung eines effizienten Encoders, der sparse und unregelmäßige Skalenhinweise in robuste, musterinvariante Features umwandelt, ohne die ursprünglichen MDE-Repräsentationen zu zerstören.
• Überlegene Generalisierung: Der Ansatz ist sowohl domänengeneral (funktioniert gut auf neuen visuellen Domänen) als auch musteragnostisch (funktioniert robust bei verschiedenen Sparsity-Mustern wie Löchern, Reichweitenbeschränkungen oder zufälliger Sparsity).

4. Ergebnisse

Die Evaluation erfolgte auf sechs öffentlichen Benchmarks (NYU-Depth V2, iBims-1, KITTI, DIODE, ETH3D, VOID) sowie einem neuen realen Datensatz (Logistic-Black für Robotik).

• Quantitative Leistung: Any2Full übertrifft den aktuellen State-of-the-Art (SOTA) OMNI-DC um durchschnittlich 32,2 % in der AbsREL-Metrik (Absolute Relative Error).
• Vergleich mit PriorDA: Im direkten Vergleich mit dem starken MDE-basierten Ansatz PriorDA (gleicher Backbone) erreicht Any2Full eine 1,4-fache Geschwindigkeitssteigerung bei höherer Genauigkeit.
• Effizienz: Das Modell fügt dem MDE-Backbone weniger als 20 % zusätzliche Parameter hinzu. Die kleinste Variante (DA-S) ist ca. 7-mal schneller als PriorDA und 1000-mal schneller als Test-Time-Adaptation-Methoden.
• Robustheit: Das Modell zeigt eine außergewöhnliche Stabilität bei extremen Sparsity-Leveln (z. B. 4-Linien LiDAR) und ungesichteten Mustern (z. B. „Range"-Pattern, bei dem nur ein mittlerer Tiefenbereich verfügbar ist), wo andere Methoden versagen.
• Qualität: Visuelle Vergleiche zeigen, dass Any2Full feine geometrische Details bewahrt und keine Artefakte (wie „Depth Bleeding" oder Ringe) erzeugt, die bei Zwei-Stage-Methoden auftreten.

5. Bedeutung und Anwendung

• Praktische Relevanz: Die Methode wurde erfolgreich in einer realen robotischen Lagerumgebung eingesetzt, um das Greifen von schwarzen Paketen zu ermöglichen, die von ToF-Sensoren oft nicht erkannt werden (da sie Infrarotlicht absorbieren). Die Greiferfolgsrate stieg von 28 % auf 91,6 %, ohne Pakete zu beschädigen.
• Paradigmenwechsel: Any2Full beweist, dass Tiefenvervollständigung nicht als separates Fusionsproblem, sondern als Adaptation eines generischen geometrischen Modells durch Prompting gelöst werden kann. Dies bietet einen effizienten, robusten und universellen Weg für die Tiefenwahrnehmung in der Robotik und anderen Anwendungen, die mit unvollständigen Sensordaten arbeiten.

Zusammenfassend stellt Any2Full einen bedeutenden Fortschritt dar, der die Lücke zwischen der hohen Generalisierungsfähigkeit von MDE-Modellen und der Notwendigkeit metrischer Genauigkeit bei sparse Eingaben schließt, und dies mit einer einstufigen, rechen-effizienten Architektur.