ReDepth Anything: Test-Time Depth Refinement via Self-Supervised Re-lighting

Dit paper introduceert Re-Depth Anything, een testtijd-framework dat monokulaire diepsschatting verbetert door foundation modellen te combineren met grote 2D-diffusiemodellen via zelftoezicht op basis van hersynthese van belichting en Shape-from-Shading, zonder labels te vereisen.

De kern

Re-Depth Anything: De Dieptewereld Verbeteren met een Digitale "Lichtknop"

Stel je voor dat je een foto bekijkt van een tijger. Een slimme computer (een AI) kijkt naar die foto en probeert te raden hoe diep de afbeelding is: welke delen dichterbij zijn en welke verder weg. Dit heet "monoculaire dieptebepaling".

Het probleem is dat deze slimme computers, hoe goed ze ook zijn, soms de verkeerde gissingen doen. Ze zien misschien een tijger, maar denken dat het een hond is, of ze maken de neus van de tijger te plat. Dit gebeurt omdat ze getraind zijn op specifieke data en moeite hebben met nieuwe, onbekende situaties.

De auteurs van dit paper, Ananta R. Bhattarai en Helge Rhodin, hebben een oplossing bedacht die ze Re-Depth Anything noemen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Gokker"

Stel je voor dat de AI een gokker is die een 3D-standbeeld van de tijger maakt op basis van de foto. Omdat hij niet zeker weet hoe het eruit moet zien, maakt hij een standbeeld dat er een beetje op lijkt, maar niet perfect is. De neus is misschien te breed, of de oren staan verkeerd.

2. De Oplossing: Het "Opnieuw Verlichten"

In plaats van de AI te dwingen om de foto opnieuw te tekenen (wat vaak leidt tot rommel), doen de onderzoekers iets slim: ze veranderen het licht.

Stel je voor dat je dat ruwe 3D-standbeeld van de tijger in een donkere kamer zet. Nu doe je er een lamp bij en verplaatst je die lamp willekeurig: eens links, eens rechts, eens van boven.

• Als het standbeeld goed is, zullen de schaduwen die het werpt er echt uitzien.
• Als het standbeeld fout is (bijvoorbeeld een platte neus), zullen de schaduwen er raar uitzien, alsof er iets mis is met de vorm.

3. De "Super-Visie" (De Diffusiemodel)

Hier komt de magie van de moderne AI om de hoek kijken. De onderzoekers gebruiken een heel slimme "kunstenaar" (een zogenaamd diffusiemodel, vergelijkbaar met de technologie achter DALL-E of Midjourney). Deze kunstenaar heeft miljoenen foto's gezien en weet precies hoe schaduwen er op een echte tijger moeten uitzien.

Het proces ziet er zo uit:

1. De AI maakt een ruw 3D-model van de tijger.
2. Ze "verlichten" dit model met een willekeurige lamp.
3. De "kunstenaar" kijkt naar de schaduwen en zegt: "Hé, die schaduw op die neus klopt niet! Een echte tijger heeft hier een ronde vorm, niet zo'n vlakke."
4. De AI luistert naar de kunstenaar en past het 3D-model direct aan om de schaduw te verbeteren.

4. Waarom is dit zo slim? (De Creatieve Analogie)

Vroeger probeerden computers dit door de hele foto pixel-perfect na te bouwen (fotometrische reconstructie). Dat is alsof je probeert een schilderij te maken door elke penseelstreek exact te kopiëren. Dat werkt vaak niet goed als de oorspronkelijke foto lastig is.

Re-Depth Anything doet het anders:

• Ze bouwen geen perfect schilderij.
• Ze gebruiken alleen de schaduwen als test.
• Ze zeggen: "We hoeven niet te weten welke kleur de vacht precies is, we weten alleen dat de vorm van de schaduw logisch moet zijn."

Dit is als het testen van een leemstandbeeld door er een lamp op te houden. Als de schaduw er goed uitziet, is de vorm goed. Je hoeft de leem niet te verven om te weten of de vorm klopt.

5. Het Resultaat: Een Verbeterde Tijger

Door dit proces herhaaldelijk te doen (met verschillende lichtstanden), wordt het 3D-model van de tijger steeds beter.

• De neus krijgt de juiste ronde vorm.
• De details (zoals de haren of de textuur) worden scherper.
• De AI "vergeet" niet dat het een tijger is, maar corrigeert de fouten die hij in het begin maakte.

Samenvatting

In plaats van de AI te dwingen om alles opnieuw te leren, geven ze hem een spiegel in de vorm van een slimme kunstenaar. Ze vragen de AI: "Kijk eens naar de schaduwen die jouw 3D-model maakt. Zien die er echt uit?" Als het antwoord "nee" is, past de AI het model aan tot de schaduwen perfect zijn.

Dit werkt niet alleen voor tijgers, maar voor elke foto: auto's, gebouwen, gezichten. Het maakt de dieptekaarten van AI veel realistischer en nauwkeuriger, zonder dat er extra menselijke training nodig is. Het is alsof je een ruwe schets krijgt en hem laat "oplichten" tot hij perfect is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Re-Depth Anything: Test-Time Depth Refinement via Self-Supervised Re-lighting" in het Nederlands.

Probleemstelling

Monoculaire diepteschattting (MDE) blijft een uitdagend probleem in de computer vision, vooral bij het toepassen van foundation-modellen (zoals Depth Anything V2 of DA-V2) op real-world beelden die afwijken van de trainingsdistributie ("in-the-wild"). Hoewel deze modellen uitstekende prestaties leveren, vertonen ze vaak onnauwkeurigheden, zoals vervormde geometrie of gebrek aan detail, wanneer ze geconfronteerd worden met beelden die niet goed vertegenwoordigd zijn in de trainingsdata. Bestaande methoden voor test-tijd aanpassing (Test-Time Adaptation - TTA) vertrouwen vaak op fotometrische reconstructie of vereisen extra priors (zoals 3D-meshes), wat leidt tot ambiguïteiten of complexe inverse graphics-problemen die slecht opgelost kunnen worden vanuit één enkel beeld.

Methodologie: Re-Depth Anything

De auteurs introduceren Re-Depth Anything, een framework voor zelftoezicht (self-supervision) dat de voorspellingen van een pre-getraind model (zoals DA-V2) verfijnt tijdens de inferentie (test-time) zonder extra gelabelde data. De kern van de methode is het vervangen van klassieke fotometrische reconstructie door een herverlichtingsstrategie (re-lighting) gekoppeld aan een 2D-diffusiemodel.

De werking verloopt als volgt:

1. Herverlichting (Re-lighting): Het framework neemt de voorspelde dieptekaart (of disparity map) van het inputbeeld en genereert een nieuw, "herverlicht" beeld. Dit gebeurt door:

   • Het omzetten van de dieptekaart naar een 3D-mesh en het berekenen van oppervlaktenormals.
   • Het toepassen van een eenvoudige, differentieerbare Blinn-Phong-verlichtingsmodel (diffuus en speculair) met willekeurig gegenereerde lichtbronnen en materiaaleigenschappen.
   • Het combineren van deze schaduweffecten met het originele inputbeeld (gebruikt als albedo-proxy).
   • Belangrijk: Het doel is niet om een fotorealistische reconstructie te maken, maar om het inputbeeld te augmenteren met plausibele schaduwcues.

2. Zelftoezicht via Diffusie (SDS Loss): Het gegenereerde herverlichte beeld wordt geëvalueerd door een pre-getraind 2D-diffusiemodel (Stable Diffusion). Met behulp van Score Distillation Sampling (SDS) wordt een verliesfunctie berekend die meet hoe "realistisch" de schaduwen en het licht in het gegenereerde beeld zijn, gezien de kennis van het diffusiemodel over natuurlijke objecten. Een tekstprompt (gegenereerd door BLIP-2) dient als conditionering voor het diffusiemodel.

3. Doelgerichte Optimalisatie: In plaats van de dieptekaart direct te optimaliseren of het hele netwerk te finetunen (wat leidt tot overfitting of instabiliteit), optimaliseert het framework alleen:

   • De intermediare feature embeddings van de ViT-encoder (die vast blijven).
   • De weights van de DPT-decoder.
     Dit behoudt de sterke geometrische kennis van het basismodel terwijl het de output specifiek aanpast aan het inputbeeld.

4. Ensembling: Vanwege de stochastische aard van de SDS-loss worden meerdere optimalisatieruns uitgevoerd met verschillende random seeds, waarna de resultaten worden gemiddeld voor een stabiele eindvoorspelling.

Belangrijkste Bijdragen

• Nieuw Test-Time Framework: Een innovatief systeem dat foundation-modellen aanpast aan specifieke inputbeelden via zelftoezicht met 2D-diffusie, zonder gelabelde data.
• Re-lighting i.p.v. Fotometrische Reconstructie: Een unieke aanpak die het inverse graphics-probleem omzeilt door het inputbeeld te augmenteren met schaduwcues in plaats van te proberen het beeld perfect te reconstrueren. Dit maakt het gebruik van SDS-loss mogelijk voor geometrische verfijning vanuit één enkel zicht.
• Doelgerichte Optimalisatie: Een strategie die alleen de decoder en embeddings aanpast, wat cruciaal is om overfitting te voorkomen en de onderliggende geometrische structuur intact te houden.
• Generalisatie: De methode is ontwikkeld op DA-V2 maar werkt ook effectief op de nieuwste Depth Anything 3 (DA3), wat leidt tot state-of-the-art resultaten.

Resultaten

De methode is geëvalueerd op drie benchmarks: CO3Dv2 (objecten), KITTI (autonoom rijden) en ETH3D (indoor/outdoor).

• Kwantitatief: Re-Depth Anything levert consistente verbeteringen op ten opzichte van de baselines (DA-V2 en DA3) over alle evaluatiemetrics (zoals AbsRel, RMSE, en δ1-δ3).
  • Op de KITTI-dataset werd een relatieve foutreductie van tot 11,4% bereikt.
  • Op de ETH3D-dataset werd een verbetering van 14,7% in de normal map nauwkeurigheid waargenomen.
  • Bij toepassing op DA3 werden state-of-the-art resultaten behaald, met name in het herstel van fijne details.
• Kwalitatief: Visuele vergelijkingen tonen aan dat de methode ruis op vlakke oppervlakken verwijdert en ontbrekende details (zoals textuur op objecten of draden) toevoegt. Het corrigeert ook bias in de basismodellen (bijvoorbeeld een hond die eruitziet als een tijger in de training, wordt gecorrigeerd naar een tijger).
• Ablatie Studies: Deze tonen aan dat directe optimalisatie van de dieptepixels of het finetunen van het volledige model leidt tot instabiliteit of overfitting, terwijl de gekozen strategie van het optimaliseren van embeddings en decoder weights de beste balans biedt.

Betekenis en Impact

Re-Depth Anything opent nieuwe wegen voor zelftoezicht in 3D-vision door geometrisch redeneren te koppelen aan de krachtige priors van generatieve 2D-modellen. De paper demonstreert dat het niet nodig is om complexe 3D-representaties (zoals NeRF of Gaussian Splatting) volledig te reconstrueren om de geometrie te verbeteren; het is voldoende om de schaduweffecten te "scoreren" via een diffusiemodel. Dit biedt een robuuste manier om foundation-modellen te verbeteren voor out-of-distribution scenario's, wat essentieel is voor toepassingen zoals robotica, augmented reality en autonoom rijden waar trainingsdata nooit alle mogelijke real-world situaties dekt.