🤖 AI

Focusable Monocular Depth Estimation

Dit artikel introduceert Focusable Monocular Depth Estimation (FDE), een regio-bewuste taak en het bijbehorende FocusDepth-framework dat prompt-geconditioneerde multi-schaal kenmerkfusie benut om de nauwkeurigheid van de doelregio te prioriteren terwijl de globale scènegeometrie behouden blijft, gevalideerd door de nieuwe FDE-Bench-benchmark.

Oorspronkelijke auteurs: Yuxin Du, Tao Lin, Zile Zhong, Runting Li, Xiyao Chen, Jiting Liu, Chenglin Liu, Ying-Cong Chen, Yuqian Fu, Bo Zhao

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuxin Du, Tao Lin, Zile Zhong, Runting Li, Xiyao Chen, Jiting Liu, Chenglin Liu, Ying-Cong Chen, Yuqian Fu, Bo Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een foto van een drukke keukenkast kijkt. Er staat een koffiekopje, een laptop, een banaan en een stapel papieren.

De oude manier (Standaard diepsschatting):
Huidige AI-modellen gedragen zich als een zeer beleefde, maar licht afgeleide rondleider. Als er wordt gevraagd: "Hoe ver weg is alles?", kijken ze naar het hele beeld en geven ze één uniforme antwoord voor elke pixel. Ze behandelen het koffiekopje en de muur erachter met exact hetzelfde niveau van aandacht. Hoewel ze over het algemeen goed zijn in het raden van de 3D-vorm van de ruimte, worden de randen van specifieke objecten vaak wat wazig, of missen ze de exacte afstand van het koffiekopje omdat ze proberen om "eerlijk" te zijn ten opzichte van het hele beeld tegelijk.

Het nieuwe idee (Focuserbare diepsschatting - FDE):
De auteurs van dit artikel zeggen: "Wat als we de AI konden vertellen: 'Hé, ik geef nu echt om dit koffiekopje. Negeer even de rest van de kamer en zorg dat je de afstand van dit kopje perfect krijgt, terwijl je de rest van de kamer er nog steeds goed laat uitzien'?"

Ze noemen dit Focusable Monocular Depth Estimation (FDE). Het is alsof je de AI een bril met "smart glasses" geeft die het toelaten om hun aandacht in te zoomen op een specifiek object dat je aanwijst, terwijl ze tegelijkertijd de indeling van de hele kamer onthouden.

Hoe ze het bouwden (De "FocusDepth"-tool)

Om dit mogelijk te maken, bouwden ze een nieuw systeem genaamd FocusDepth. Denk hierbij aan een team van twee personen dat samenwerkt:

De Architect (Depth Anything): Dit is een superslimme AI die al miljoenen foto's heeft gezien. Hij kent de algemene vorm van de wereld (de "globale geometrie"). Hij is uitstekend in het begrijpen van de kamer, maar hij weet niet welk object je interessant vindt.
De Spotter (Segment Anything Model 3): Dit is een AI die echt goed is in het luisteren naar instructies. Als je zegt: "Kijk naar het koffiekopje", of er een kader om tekent, weet deze AI precies waar dat object zich bevindt.

De magische lijm (MSSA):
Het lastige deel is het laten samenwerken van deze twee zonder dat ze in de war raken. Als je ze zomaar aan elkaar plakt, kan de "Spotter" per ongeluk de "Architect" vertellen om de muren te vergeten, of de "Architect" kan het koffiekopje negeren.

De auteurs creëerden een speciale connector genaamd Multi-Scale Spatial-Aligned Fusion (MSSA).

De analogie: Stel je voor dat de "Architect" een kaart van de hele stad tekent. De "Spotter" houdt een rode marker vast en zegt: "Markeer de bibliotheek!"
Het probleem: Als de Spotter alleen maar "Bibliotheek!" schreeuwt zonder te wijzen, kan de Architect het verkeerde gebouw markeren of de hele kaart rood maken.
De oplossing (MSSA): Deze connector zorgt ervoor dat de rode marker precies op de bibliotheek op de kaart wordt geplaatst, op het juiste zoomniveau, zonder de rest van de stadskaart te smeren. Het stelt het systeem in staat om de instructie om zich te focussen op het kopje alleen daar te "injecteren" waar het kopje is, de randen scherper te maken en de afstand correct te krijgen, terwijl de achtergrondmuren precies blijven zoals de Architect ze tekende.

De proefrit (FDE-Bench)

Om te bewijzen dat dit werkt, kon het team niet zomaar oude tests gebruiken, omdat oude tests alleen controleren of de AI het hele beeld goed had. Ze hadden een test nodig die controleert of de AI het specifieke object goed had.

Ze bouwden een nieuw speelveld genaamd FDE-Bench.

De opzet: Ze namen duizenden afbeeldingen en koppelden ze aan specifieke doelen (zoals "het rode kopje" of "de robotarm") en de juiste 3D-afstandsgegevens.
De regels: De test vraagt niet zomaar: "Is het beeld 3D?" Het stelt drie specifieke vragen:
1. Voorgrond: Is de afstand van het doelobject accuraat?
2. Grens: Zijn de randen van het doelobject scherp en duidelijk (niet wazig)?
3. Globaal: Heeft de AI de rest van de kamer verpest terwijl hij zich focuste op het doel?

Wat ze ontdekten

Toen ze hun nieuwe systeem (FocusDepth) lieten concurreren met de oude, standaard systemen:

Scherpere randen: Toen de AI werd gevraagd om zich te focussen op een object, werden de randen van dat object veel scherper. Het zag er niet langer uit als een wazige vlek.
Betere nauwkeurigheid: De afstand tot het specifieke doelobject was veel nauwkeuriger dan voorheen.
Geen collaterale schade: Cruciaal: terwijl de AI beter werd in het doel, verpestte het de rest van het beeld niet. De achtergrond bleef geometrisch consistent.

Ze testten ook wat er gebeurt als je de AI een "verkeerde" instructie geeft (zoals wijzen naar een banaan terwijl je het kopje bedoelde). Het systeem presteerde nog steeds beter dan de oude standaard, maar uiteraard kwamen de beste resultaten voort uit een correcte instructie.

Het oordeel

Dit artikel introduceert een nieuwe manier voor computers om diepte te zien. In plaats van elk deel van een beeld gelijk te behandelen, stelt het de computer in staat om zich te focussen op een specifiek object dat je kiest, waardoor de 3D-vorm en randen van dat object veel duidelijker worden, terwijl de rest van het tafereel er natuurlijk blijft uitzien. Ze bewezen dat dit werkt door een nieuwe testset te bouwen die specifiek is ontworpen om deze "focus"-capaciteit te meten.

Technische Samenvatting: Focuserbare Monoculaire Diepteschatting

Probleemformulering

Huidige monoculaire dieptefundatiemodellen (bijv. Depth Anything, UniDepth, Metric3D) blinken uit in het herstellen van dichte scenes-geometrie over diverse domeinen. Ze zijn echter voornamelijk geoptimaliseerd met uniforme, pixelgewijze doelstellingen die alle beeldregio's gelijk behandelen. Deze "beeldgerichte" aanpak faalt erin door de gebruiker gespecificeerde of taakrelevante doelregio's te onderscheiden van de omringende context. In toepassingen zoals robotica en embodied AI, waar precieze diepte nabij een doelobject en scherpe grensovergangen cruciaal zijn, leidt uniforme globale optimalisatie vaak tot ondergewaardeerde nauwkeurigheid in de voorgrond en onscherpe grenzen, zelfs wanneer de globale scenes-geometrie coherent blijft.

Om deze kloof aan te pakken, introduceren de auteurs Focuserbare Monoculaire Diepteschatting (FDE). FDE herformuleert de taak van diepteschatting van uniforme dichte voorspelling naar inferentie conditioned op een doel. Gegeven een invoerbeeld en een door de gebruiker gespecificeerde doelregio (via box- of tekstprompts), wordt het model geacht:

Diepenauwkeurigheid in de voorgrond-doelregio te prioriteren.
Scherpe diepte-overgangen bij de doelgrenzen te behouden.
Coherente globale scenes-geometrie over het gehele beeld te handhaven.

Methodologie: FocusDepth

Om de FDE-taak op te lossen, stellen de auteurs FocusDepth voor, een prompt-geconditioneerd raamwerk voor monoculaire relatieve diepteschatting. De kernintuïtie is om de complementaire priors van promptbare segmentatie (Segment Anything Model 3, of SAM3) en dichte geometriefundatiemodellen (Depth Anything-familie, of DAs) te combineren.

Overzicht Architectuur

FocusDepth bestaat uit twee primaire takken:

Geometrie-Dieptetak: Gebruikt voorgeprente DAs (DA2 of DA3) om multi-schaal geometrietokens ( $X_g$ ) te extraheren die de globale scenes-structuur representeren.
Prompt-Geconditioneerde Tak: Gebruikt SAM3 om het invoerbeeld en de gebruikersprompt (box of tekst) te verwerken en prompt-geconditioneerde token-features ( $X_p$ ) te genereren die de doelregio identificeren.

Kernmodule: Multi-Schaal Ruimtelijk-Gealigneerde Fusie (MSSA)

De centrale innovatie is de MSSA-module, die prompt-geconditioneerde aanwijzingen injecteert in de geometrierepresentatie zonder de voorgeprente geometrische prior te verstoren. MSSA werkt op elke schaal van de geometrie-encoder en omvat drie sleutelstappen:

Schaalgewijze Ruimtelijke Alignering: Omdat beide takken het beeld verwerken op hetzelfde ViT-patchrooster, bevinden tokens zich in een-op-een ruimtelijke correspondentie. De prompt-tokens worden geprojecteerd naar de schaal-specifieke geometrietokenruimte en geconcateneerd met de geometrietokens.
Geraouteerde Conditionele Fusie: Een lichtgewicht Mixture of Experts (MoE)-laag verwerkt de geconcateneerde tokens. Een router berekent input-afhankelijke combinaties van expert-uitkomsten, waardoor het model verschillende correcties kan toepassen op basis van de ruimtelijke locatie zonder expliciete supervisie voor specifieke regio's (voorgrond versus achtergrond).
Gegateerde Fusie-uitvoer: Om te voorkomen dat de prompt-aanwijzingen de globale geometrie overschrijven, regelt een leerbare gate ( $G_s$ ) de injectie. De finale feature is een gewogen som van de gerouteerde features en de originele geometrietokens: $Y_s = G_s \odot F_s + (1 - G_s) \odot X_g^s$ . Dit zorgt ervoor dat prompt-geconditioneerde correcties selectief worden toegepast terwijl de globale prior behouden blijft.

Leerdoel en Training

Het model wordt getraind met een regio-bewuste verliesfunctie die het beeld partitioneert in drie regio's gebaseerd op het ground-truth masker: Voorgrond, Grens en Globaal. Het totale verlies ( $L$ ) is de som van diepteverliezen ( $L_{fg}, L_{bd}, L_{glb}$ ) berekend over deze regio's, plus een auxiliair segmentatieverlies ( $L_{seg}$ ).

Training volgt een tweestapsstrategie om stabiliteit te waarborgen:

Stap 1: Alleen de MSSA-module wordt geoptimaliseerd terwijl alle voorgeprente backbones bevroren blijven, waardoor MSSA alignering kan leren zonder de geometrische prior te verstoren.
Stap 2: De dieptedecoder, de SAM3 prompt-geleide transformer en de auxiliaire segmentatiedecoder worden geoptimaliseerd samen met MSSA, terwijl de encoders bevroren blijven.

Benchmark: FDE-Bench

Om FDE te evalueren, stellen de auteurs FDE-Bench op, een benchmark-suite die bestaande RGB-D-datasets converteert naar gestandaardiseerde beeld–doel–diepte-triplets.

Datasets: Opgebouwd uit NYU v2, TUM RGB-D, YCB-Video, RLBench en RoboTwin, met dekking van indoor-scenes, tafelobjecten en omgevingen voor embodied manipulatie.
Schaal: Bevat 252,9K trainings- en 72,5K validatietriplets die zich uitstrekken over 972 doelcategorieën.
Evaluatiemetrieken: In tegenstelling tot standaard benchmarks die volledige-beeldfout rapporteren, evalueert FDE-Bench prestaties over drie complementaire regio's:
- Voorgrond: Kwaliteit van doel-lokale diepte.
- Grens: Scherpte van diepte-overgangen.
- Globaal: Geometrische consistentie van het hele beeld.
  Gerapporteerde metrieken omvatten $\delta_1$ en AbsRel, berekend per doel om dominantie door afbeeldingen met veel doelen te voorkomen.

Experimentele Resultaten

Experimenten werden uitgevoerd op FDE-Bench waarbij FocusDepth werd vergeleken met zero-shot fundatiemodellen (UniDepth, Metric3D, DA2, DA3) en globaal fijngefineerde baselines (DA2-ft, DA3-ft).

Prestatiewinst: FocusDepth presteert consequent beter dan globaal fijngefineerde baselines, met name in doelgerichte regio's. Bijvoorbeeld, op RLBench met box-prompts verlaagde FocusDepth(DA3) de grens-AbsRel van 0,073 naar 0,049 en de voorgrond-AbsRel van 0,095 naar 0,056 vergeleken met DA3-ft, terwijl tegelijkertijd de globale AbsRel verbeterde van 0,042 naar 0,030.
Prompt-robustheid: Een studie over prompt-correctheid toonde aan dat hoewel correcte prompts de beste resultaten opleveren, zelfs incorrecte of lege prompts leiden tot betere prestaties dan de no-prompt baseline. Dit suggereert dat de prompt-geconditioneerde tak nuttige lokale en globale aanwijzingen biedt, zelfs zonder perfecte begeleiding.
Kwalitatieve Analyse: Visualisaties tonen aan dat FocusDepth scherpere doelgrenzen en lagere dieptefouten in de gespecificeerde regio produceert vergeleken met standaard fijnfineren, zonder artefacten in de achtergrond in te brengen.

Ablatiestudies

Ablatiestudies op RLBench benadrukken het belang van specifieke ontwerpkeuzes:

Ruimtelijke Alignering: Het verstoren van de ruimtelijke correspondentie tussen prompt- en geometrietokens (shuffelen) veroorzaakt de meest significante degradatie, met een toename van de globale AbsRel tot 13,8%. Dit bevestigt dat ruimtelijke alignering de belangrijkste ontwerpfactor is.
Schaal-specifieke en Geraouteerde Fusie: Het verwijderen van schaal-specifieke fusie of het vervangen van de MoE-router door een enkele MLP verslechtert consequent de voorgrond- en grensnauwkeurigheid, wat de noodzaak aangeeft van schaal-bewuste en conditionele fusie.
Gegateerde Injectie: Het verwijderen van het gate-mechanisme leidt tot consistente degradatie, wat zijn rol bevestigt in het balanceren van prompt-correcties met de voorgeprente geometrische prior.
Trainingsstrategie: Een trainingsbenadering in één stap verzwakt lokale verfijning, wat de tweestapsstrategie valideert voor het scheiden van cross-model alignering van downstream aanpassing.

Betekenis en Claims

Het artikel claimt FDE te vestigen als een concrete taakformulering voor regio-prioritaire diepteschatting, verdergaand dan de beperkingen van uniforme beeldgerichte doelstellingen. De auteurs stellen dat FocusDepth succesvol prompt-gegrondeerde doelbewijzen overdraagt naar dichte geometrische representaties via MSSA, waardoor ruimtelijk gealigneerde en gegateerde conditionele verfijning mogelijk wordt.

De betekenis ligt in het aantonen dat het mogelijk is om lokale doelnauwkeurigheid en grenstrouw te verbeteren zonder de globale scenes-geometrische coherentie te compromitteren. De auteurs positioneren FDE als een noodzakelijke stap voor toepassingen die precieze interactie vereisen met specifieke objecten (bijv. robotische manipulatie), waarbij standaard dieptemodellen erin kunnen falen om de relevante geometrie te prioriteren. Het werk concludeert met het benoemen van beperkingen, zoals de behoefte aan grootschalige gezamenlijke training en verdere verkenning van downstream taaktoepassingen, die voor toekomstig werk worden gelaten.