Any to Full: Prompting Depth Anything for Depth Completion in One Stage

Het paper introduceert Any2Full, een efficiënt en robuust één-staps framework dat bestaande monokulaire dieptemodellen aanpast via schaalbewuste prompts om nauwkeurige en dichte dieptekaarten te genereren vanuit onvolledige metingen zonder de beperkingen van eerdere twee-staps methoden.

De kern

Stel je voor dat je een robot wilt bouwen die een magazijn kan beheren. Deze robot heeft een camera nodig om te zien hoe diep de ruimte is en waar objecten staan, zodat hij veilig kan grijpen. Maar de sensoren die we in de echte wereld hebben (zoals LiDAR of tijd-vlucht camera's) zijn niet perfect. Ze zijn als een regenjas met gaten: op sommige plekken is het waterdicht, maar op andere plekken (waar het licht wordt geabsorbeerd door zwarte dozen, of waar het te ver weg is) komen er gaten in het beeld.

De robot kijkt dan naar een "halfvol" dieptebild: hij ziet de randen van een doos, maar het midden is een zwart gat. Hij kan niet grijpen als hij niet weet hoe diep dat gat is.

Het probleem met de oude methoden
Vroeger probeerden robots dit op te lossen door twee stappen te nemen:

1. Gissen: De robot probeerde eerst een ruwe schatting te maken van het hele beeld (alsof je een schilderij maakt met je ogen gesloten).
2. Verbeteren: Vervolgens probeerde hij die ruwe schatting te "repareren" door de echte metingen eroverheen te leggen.

Het probleem hiermee is dat deze robots vaak "overgeleverd" waren aan de specifieke training die ze kregen. Als ze getraind waren op een lichte kamer, faalden ze in een donkere. Als ze getraind waren op gaten die eruitzagen als regen, faalden ze bij gaten die eruitzagen als mist. Ze waren niet flexibel genoeg.

De oplossing: Any2Full
De onderzoekers van dit papier hebben een slimme nieuwe manier bedacht, genaamd Any2Full. Ze vergelijken dit met het gebruik van een meester-architect die al duizenden gebouwen heeft ontworpen.

Hier is hoe het werkt, in simpele termen:

1. De Meester-architect (MDE): Er bestaat al een zeer slim AI-model (een "Monocular Depth Estimator") dat geweldig is in het raden van diepte op basis van één foto. Het begrijpt perfect hoe objecten eruitzien, hoe schaduwen werken en hoe ruimtes eruitzien. Maar dit model heeft een zwak punt: het weet niet precies hoe groot de dingen zijn in meters. Het ziet een auto, maar het weet niet of die 4 meter of 4 kilometer lang is. Het is als een schilder dat perfect perspectief tekent, maar geen schaal heeft.

2. De Gatenvuller (De Prompt): In plaats van de architect te dwingen om het hele beeld opnieuw te tekenen (wat fouten introduceert), geven we de architect een hint (een "prompt"). We kijken naar de echte metingen die we wel hebben (de gatenloze plekken in het regenjas-beeld) en we zeggen tegen de architect: "Kijk, op deze plekken is het 2 meter diep. Pas je schaal daarop aan."

3. De Slimme Vertaler (Scale-Aware Prompt Encoder): Dit is het echte genie van Any2Full. De gaten in het beeld zijn vaak onregelmatig. Soms is er een groot zwart gat, soms zijn het kleine stipjes. De "Vertaler" neemt deze onregelmatige hints en verpakt ze in een universele boodschap. Hij zegt niet: "Hier is een gat," maar hij zegt: "Hier is de verhouding tussen de diepte van punt A en punt B."

   • Analogie: Stel je voor dat je een puzzel hebt met ontbrekende stukjes. De oude methoden probeerden de puzzel te maken en daarna de stukjes erin te plakken, wat vaak scheef liep. Any2Full neemt de randen van de ontbrekende stukjes, vertaalt ze naar een "sleutel" en geeft die sleutel aan de meester-architect. De architect gebruikt zijn kennis van hoe puzzels eruitzien (geometrie) en past zijn schaal direct aan op basis van die sleutel.

Waarom is dit zo goed?

• Één stap, niet twee: De robot hoeft niet eerst te gissen en daarna te verbeteren. Hij doet het in één keer. Dit is veel sneller (zoals het verschil tussen een snelle auto en een auto die eerst moet parkeren en dan weer wegrijden).
• Altijd goed, overal: Omdat de robot vertrouwt op de "meester-architect" (die al alles heeft gezien), werkt het ook in nieuwe omgevingen. Of het nu een donker magazijn is of een zonnige straat, de architect begrijpt de geometrie.
• Ongevoelig voor gaten: Of de gaten in je beeld nu groot zijn, klein, willekeurig of in een rechte lijn, de "Vertaler" maakt er altijd een duidelijke boodschap van.

Het resultaat in de praktijk
De onderzoekers hebben dit getest in een echt magazijn met zwarte dozen. Normaal gesproken verliezen de camera's hun signaal op zwarte oppervlakken (ze absorberen het licht), waardoor de robot blind is en de dozen vaak laat vallen of vervormt.

Met Any2Full kon de robot de "gaten" in het beeld perfect invullen. Het resultaat? De robots grepen de zwarte dozen niet alleen veel vaker (van 28% naar 91,6% succes), maar ze deden het ook zonder de dozen te beschadigen.

Kortom:
Any2Full is als het geven van een kompas en een schaalverdeling aan een kunstenaar die al weet hoe de wereld eruitziet. In plaats van hem te laten raden, geven we hem precies genoeg informatie om zijn kennis direct en perfect toe te passen, ongeacht hoe onvolledig de oorspronkelijke metingen zijn. Het maakt robots slimmer, sneller en betrouwbaarder in de echte wereld.

Technische samenvatting

Titel: Any to Full: Prompting Depth Anything for Depth Completion in One Stage

1. Het Probleem

Accurate en dichte dieptekaarten zijn essentieel voor robotperceptie (navigatie, manipulatie, scene-interpretatie). Echter, commodity-sensoren zoals LiDAR, ToF (Time-of-Flight) en gestructureerd licht leveren vaak spaarzame of onvolledige dieptemetingen op door hardwarebeperkingen (resolutie, bereik, reflectie/absorptie).

Bestaande oplossingen voor dieptevulling (depth completion) hebben twee belangrijke beperkingen:

1. RGBD-gebaseerde methoden: Deze leren priors die specifiek zijn voor de trainingsdata (zowel RGB-distributie als specifieke dieptepatronen). Dit leidt tot slechte domein-generalisatie (bij veranderingen in licht, textuur of scène) en patroon-sensitiviteit (bij verschillende soorten sensor-sparsiteit).
2. Twee-staps methoden met Monoculaire Diepte Schatting (MDE): Recentere methoden proberen de sterke geometrische priors van voorgeöorde MDE-modellen (zoals Depth Anything) te gebruiken. Deze volgen echter vaak een twee-staps proces: eerst een ruwe dieptekaart genereren en deze vervolgens expliciet aligneren met de spaarzame metingen. Dit introduceert extra rekenkosten en veroorzaakt gestructureerde vervormingen en artefacten omdat de relatieve diepte van MDE niet lineair consistent is met de metrische werkelijkheid.

2. Methodologie: Any2Full

De auteurs stellen Any2Full voor, een één-staps (one-stage), domein-generiek en patroon-agnostisch framework. In plaats van een ruwe dieptekaart te voorspellen en te herschikken, reformuleren ze het probleem als een schaal-prompting adaptatie van een voorgeöorde MDE-model.

Kernconcepten:

• Schaal-Prompting: Het doel is om de MDE-model te "prompten" met schaalinformatie uit de spaarzame input, zodat het model een relatieve diepte voorspelt die globaal consistent is met de metrische schaal.
• Scale-Aware Prompt Encoder (SAPE): Dit is de kerninnovatie. Omdat spaarzame inputs variëren in dichtheid en ruimtelijke verdeling (bijv. willekeurige gaten), is het moeilijk om directe schaalinformatie te extraheren. De SAPE lost dit op door de structuur van de spaarzame input te reconstrueren tot een uniforme "scale prompt" onder leiding van de geometrische priors van de MDE.

Architectuur van de SAPE:
De encoder bestaat uit twee hiërarchische modules:

1. Local Enrichment Module: Koppelt schaalhints uit de spaarzame diepte (geëmbed als patch-level features) met de dichte geometrische features van de MDE-backbone. Dit gebeurt via een Feature-wise Linear Modulation (FiLM) mechanisme. Hierdoor worden lokale features robuust gemaakt tegen variaties in sparsiteit.
2. Global Propagation Module: Propageert deze lokale features over het hele beeld via een reeks Transformer-blokken. Cruciaal is dat de attention-mechanismen gebaseerd zijn op de MDE-geometrie (Query en Key komen van de RGB-gebaseerde MDE features), terwijl de spaarzame diepte alleen als Value dient. Dit zorgt ervoor dat schaalinformatie zich verspreidt langs de geometrische structuur van de scène en niet beïnvloed wordt door de onregelmatige sampling van de sensor.
3. Fusie: De resulterende globale schaal-prompten worden via FiLM geïnjecteerd in de decoder van de MDE, waardoor het model een schaal-consistente relatieve diepte voorspelt in één doorloop.

Post-processing:
De voorspelde relatieve diepte wordt uiteindelijk omgezet naar een dichte metrische dieptekaart door een niet-parametrische least-squares fit (globale schaal en bias) toe te passen op de voorspelling, zonder extra leerbare modules.

3. Belangrijkste Bijdragen

• Any2Full Framework: Een één-staps oplossing die dieptevulling reformuleert als schaal-prompting, waardoor de kracht van voorgeöorde MDE-modellen (zoals Depth Anything v2) volledig benut wordt voor domein-generieke en patroon-agnostische prestaties.
• Scale-Aware Prompt Encoder: Een lichtgewicht encoder die spaarzame en onregelmatige schaalhints omzet in globale, patroon-invariante features, wat zorgt voor robuuste schaal-prompting met minimale extra rekentijd.
• Superieure Efficiëntie en Nauwkeurigheid: Het framework vermijdt de overhead van twee-staps methoden en iteratieve aanpassing (test-time adaptation), wat leidt tot snellere inferentie en betere nauwkeurigheid.

4. Resultaten

De auteurs hebben Any2Full uitgebreid getest op diverse benchmarks en real-world scenario's:

• Benchmarks: Getest op zes public datasets (NYU-Depth V2, iBims-1, KITTI DC, DIODE, ETH3D, VOID) met verschillende dieptepatronen (gaten, bereik-beperkingen, willekeurige sparsiteit, LiDAR, SfM).
• Prestaties:
  • Any2Full overtreft de state-of-the-art methode OMNI-DC met 32,2% in gemiddelde AbsREL (Absolute Relative Error).
  • Tegenover PriorDA (met dezelfde MDE-backbone) behaalt Any2Full een 1,4x snelheidswinst (0,49s vs 0,68s) met superieure precisie.
  • De kleinste variant (met Depth Anything Small) is ongeveer 7x sneller dan PriorDA en 1000x sneller dan test-time adaptatie methoden, terwijl het toch beter presteert dan eerdere methoden.
• Robuustheid: Het model toont uitstekende generalisatie over verschillende domeinen (binnen/buiten) en dieptepatronen, waarbij het geen last heeft van de artefacten of "depth bleeding" die bij andere methoden voorkomen.
• Real-world Applicatie: Het model is succesvol ingezet in een robotisch magazijn voor het grijpen van zwarte pakketten (die normaal gesproken veel licht absorberen en onbetrouwbare dieptedata geven). Dit resulteerde in een stijging van het grijpsucces van 28% naar 91,6% zonder schade aan de pakketten.

5. Betekenis en Impact

Any2Full introduceert een nieuw paradigma voor universele dieptevulling. Door het probleem te herschrijven als een prompt-based adaptatie in plaats van een complexe fusie of twee-staps proces, lost het fundamentele problemen op rondom domein-generalisatie en patroon-afhankelijkheid.

De methode maakt het mogelijk om robuuste, dichte en metrisch accurate dieptekaarten te genereren vanuit zeer spaarzame of onvolledige sensormetingen, wat cruciaal is voor de inzetbaarheid van robots in dynamische en onvoorspelbare omgevingen. De hoge efficiëntie en de "zero-shot" capaciteit (werken op nieuwe domeinen zonder hertraining) maken het direct toepasbaar in industriële settings.