🤖 AI

Focusable Monocular Depth Estimation

Dieser Artikel stellt die fokussierbare monokulare Tiefenschätzung (FDE) vor, eine regionsbewusste Aufgabe, sowie das entsprechende FocusDepth-Framework, das prompt-konditionierte Multi-Scale-Feature-Fusion nutzt, um die Genauigkeit der Zielregion zu priorisieren und gleichzeitig die globale Szenengeometrie zu erhalten, was durch den neuen FDE-Bench-Benchmark validiert wird.

Ursprüngliche Autoren: Yuxin Du, Tao Lin, Zile Zhong, Runting Li, Xiyao Chen, Jiting Liu, Chenglin Liu, Ying-Cong Chen, Yuqian Fu, Bo Zhao

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuxin Du, Tao Lin, Zile Zhong, Runting Li, Xiyao Chen, Jiting Liu, Chenglin Liu, Ying-Cong Chen, Yuqian Fu, Bo Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betrachten ein Foto einer belebten Küchenarbeitsplatte. Darauf stehen eine Kaffeetasse, ein Laptop, eine Banane und ein Stapel Papiere.

Der alte Weg (Standard-Tiefenschätzung):
Aktuelle KI-Modelle verhalten sich wie ein sehr höflicher, aber leicht abgelenkter Reiseführer. Wenn man sie fragt: „Wie weit ist alles entfernt?", schauen sie sich das gesamte Bild an und geben für jeden Pixel eine einzige, einheitliche Antwort. Sie behandeln die Kaffeetasse und die dahinterliegende Wand mit exakt demselben Maß an Aufmerksamkeit. Zwar sind sie im Allgemeinen gut darin, die 3D-Form des Raums zu erraten, doch oft werden die Ränder spezifischer Objekte etwas verschwommen, oder sie verpassen die exakte Entfernung der Kaffeetasse, weil sie versuchen, dem gesamten Bild auf einmal „gerecht" zu werden.

Die neue Idee (Fokussierbare Tiefenschätzung – FDE):
Die Autoren dieses Papers sagen: „Was wäre, wenn wir der KI sagen könnten: ‚Hey, ich interessiere mich gerade wirklich für diese Kaffeetasse. Bitte ignoriere den Rest des Raums für einen Moment und sorge dafür, dass du die Entfernung dieser Tasse perfekt bestimmst, während du gleichzeitig dafür sorgst, dass der Rest des Raums ordentlich aussieht'?"

Sie nennen dies Fokussierbare monokulare Tiefenschätzung (FDE). Es ist, als würde man der KI eine Brille mit „intelligenter Fokussierung" aufsetzen, die es ihr erlaubt, ihre Aufmerksamkeit auf ein spezifisches Objekt zu zoomen, auf das Sie zeigen, während sie gleichzeitig den Grundriss des gesamten Raums im Gedächtnis behält.

Wie sie es gebaut haben (Das „FocusDepth"-Werkzeug)

Um dies zu ermöglichen, entwickelten sie ein neues System namens FocusDepth. Stellen Sie es sich als ein Team aus zwei Personen vor, die zusammenarbeiten:

Der Architekt (Depth Anything): Dies ist eine superschlue KI, die bereits Millionen von Fotos gesehen hat. Sie kennt die allgemeine Form der Welt (die „globale Geometrie"). Sie ist hervorragend darin, den Raum zu verstehen, weiß aber nicht, welches Objekt Sie interessieren.
Der Späher (Segment Anything Model 3): Dies ist eine KI, die sehr gut darin ist, Anweisungen zu hören. Wenn Sie sagen: „Schauen Sie sich die Kaffeetasse an", oder einen Kasten darum zeichnen, weiß diese KI genau, wo sich dieses Objekt befindet.

Der magische Kleber (MSSA):
Der knifflige Teil besteht darin, diese beiden so zusammenarbeiten zu lassen, dass sie nicht durcheinandergeraten. Wenn man sie einfach so zusammenwirft, könnte der „Späher" dem „Architekten" versehentlich sagen, er solle die Wände vergessen, oder der „Architekt" könnte die Kaffeetasse ignorieren.

Die Autoren schufen einen speziellen Verbinder namens Multi-Scale Spatial-Aligned Fusion (MSSA).

Die Analogie: Stellen Sie sich vor, der „Architekt" zeichnet eine Karte der gesamten Stadt. Der „Späher" hält einen roten Marker und sagt: „Markieren Sie die Bibliothek!"
Das Problem: Wenn der Späher einfach nur „Bibliothek!" ruft, ohne zu zeigen, könnte der Architekt das falsche Gebäude markieren oder die gesamte Karte rot färben.
Die Lösung (MSSA): Dieser Verbinder stellt sicher, dass der rote Marker exakt auf der Bibliothek auf der Karte platziert wird, in der richtigen Zoomstufe, ohne den Rest des Stadtplans zu verschmieren. Es ermöglicht dem System, die Anweisung, sich auf die Tasse zu fokussieren, nur dort einzuspeisen, wo die Tasse ist, wodurch die Ränder geschärft und die Entfernung korrekt bestimmt werden, während die Hintergrundwände genau so bleiben, wie der Architekt sie gezeichnet hat.

Die Testfahrt (FDE-Bench)

Um zu beweisen, dass dies funktioniert, konnte das Team nicht einfach alte Tests verwenden, da diese nur prüfen, ob die KI das gesamte Bild richtig erfasst hat. Sie benötigten einen Test, der prüft, ob die KI das spezifische Objekt richtig erfasst hat.

Sie schufen einen neuen Spielplatz namens FDE-Bench.

Das Setup: Sie nahmen Tausende von Bildern und verknüpften sie mit spezifischen Zielen (wie „die rote Tasse" oder „der Roboterarm") sowie den korrekten 3D-Entfernungsdaten.
Die Regeln: Der Test fragt nicht nur: „Ist das Bild 3D?" Er stellt drei spezifische Fragen:
1. Vordergrund: Ist die Entfernung des Zielobjekts genau?
2. Grenze: Sind die Ränder des Zielobjekts scharf und klar (nicht verschwommen)?
3. Global: Hat die KI den Rest des Raums beschädigt, während sie sich auf das Ziel fokussierte?

Was sie herausfanden

Als sie ihr neues System (FocusDepth) gegen die alten, Standard-Systeme antraten:

Schärfere Ränder: Wenn die KI angewiesen wurde, sich auf ein Objekt zu fokussieren, wurden die Ränder dieses Objekts viel schärfer. Es sah nicht mehr wie ein verschwommener Klecks aus.
Bessere Genauigkeit: Die Entfernung zum spezifischen Zielobjekt war viel genauer als zuvor.
Keine Kollateralschäden: Entscheidend ist, dass die KI, während sie beim Ziel besser wurde, den Rest des Bildes nicht ruinier. Der Hintergrund blieb geometrisch konsistent.

Sie testeten auch, was passiert, wenn man der KI eine „falsche" Anweisung gibt (wie zum Beispiel auf eine Banane zu zeigen, wenn man die Tasse meinte). Das System schnitt immer noch besser ab als der alte Standard, aber natürlich waren die besten Ergebnisse erzielt, wenn die Anweisung korrekt war.

Das Fazit

Dieses Paper stellt eine neue Art vor, wie Computer Tiefe wahrnehmen können. Anstatt jeden Teil eines Bildes gleich zu behandeln, ermöglicht es dem Computer, sich auf ein spezifisches Objekt zu fokussieren, das Sie auswählen, wodurch die 3D-Form und die Ränder dieses Objekts viel klarer werden, während der Rest der Szene natürlich bleibt. Sie bewiesen, dass dies funktioniert, indem sie eine neue Testsuite entwickelten, die speziell darauf ausgelegt ist, diese „Fokus"-Fähigkeit zu messen.

Technische Zusammenfassung: Fokussierbare monokulare Tiefenschätzung

Problemformulierung

Aktuelle monokulare Tiefen-Grundmodelle (z. B. Depth Anything, UniDepth, Metric3D) sind hervorragend darin, dichte Szenengeometrien über diverse Domänen hinweg zu rekonstruieren. Sie werden jedoch überwiegend mit uniformen, pixelweisen Zielfunktionen optimiert, die alle Bildregionen gleich behandeln. Dieser „bildzentrierte" Ansatz unterscheidet nicht zwischen benutzerspezifischen oder aufgabenrelevanten Zielregionen und dem umgebenden Kontext. In Anwendungen wie Robotik und Embodied AI, wo präzise Tiefenwerte in der Nähe eines Zielobjekts und scharfe Grenzübergänge entscheidend sind, führt eine uniforme globale Optimierung oft zu einer untergewichteten Genauigkeit im Vordergrund und zu unscharfen Grenzen, selbst wenn die globale Szenengeometrie kohärent bleibt.

Um diese Lücke zu schließen, stellen die Autoren die fokussierbare monokulare Tiefenschätzung (FDE) vor. FDE neuformuliert die Aufgabe der Tiefenschätzung von einer uniformen dichten Vorhersage hin zu einer zielkonditionierten Inferenz. Gegeben ein Eingabebild und eine benutzerspezifizierte Zielregion (via Box- oder Text-Prompts), muss das Modell:

Die Tiefengenauigkeit in der Vordergrund-Zielregion priorisieren.
Scharfe Tiefenübergänge an den Zielgrenzen bewahren.
Eine kohärente globale Szenengeometrie über das gesamte Bild hinweg aufrechterhalten.

Methodik: FocusDepth

Zur Lösung der FDE-Aufgabe schlagen die Autoren FocusDepth vor, ein prompt-konditioniertes Framework zur monokularen relativen Tiefenschätzung. Die zentrale Intuition besteht darin, die komplementären Priors von promptierbarer Segmentierung (Segment Anything Model 3, oder SAM3) und dichten Geometrie-Grundmodellen (Depth Anything-Familie, oder DAs) zu kombinieren.

Architekturübersicht

FocusDepth besteht aus zwei Hauptzweigen:

Geometrie-Tiefenzweig: Nutzt vortrainierte DAs (DA2 oder DA3), um mehrskalige Geometrie-Token ( $X_g$ ) zu extrahieren, die die globale Szenenstruktur repräsentieren.
Prompt-konditionierter Zweig: Nutzt SAM3, um das Eingabebild und den benutzerspezifischen Prompt (Box oder Text) zu verarbeiten und prompt-konditionierte Token-Features ( $X_p$ ) zu generieren, die die Zielregion identifizieren.

Kernmodul: Multi-Scale Spatial-Aligned Fusion (MSSA)

Die zentrale Innovation ist das MSSA-Modul, das prompt-konditionierte Hinweise in die Geometriedarstellung injiziert, ohne den vortrainierten geometrischen Prior zu stören. MSSA arbeitet auf jeder Skala des Geometrie-Encoders und umfasst drei Schlüsselschritte:

Skalenweise räumliche Ausrichtung: Da beide Zweige das Bild auf demselben ViT-Patch-Gitter verarbeiten, stehen die Token in einer eins-zu-eins räumlichen Korrespondenz. Die Prompt-Token werden in den skalen-spezifischen Geometrie-Token-Raum projiziert und mit den Geometrie-Token konkateniert.
Gelenkte konditionierte Fusion: Eine leichte Mixture-of-Experts (MoE)-Schicht verarbeitet die konkatenierten Token. Ein Router berechnet input-abhängige Kombinationen der Expertenausgaben, wodurch das Modell unterschiedliche Korrekturen basierend auf dem räumlichen Standort anwenden kann, ohne explizite Überwachung für spezifische Regionen (Vordergrund vs. Hintergrund).
Gated-Fusion-Ausgabe: Um zu verhindern, dass die Prompt-Hinweise die globale Geometrie überschreiben, steuert ein lernbarer Gate ( $G_s$ ) die Injektion. Das finale Feature ist eine gewichtete Summe der gelenkten Features und der ursprünglichen Geometrie-Token: $Y_s = G_s \odot F_s + (1 - G_s) \odot X_g^s$ . Dies stellt sicher, dass prompt-konditionierte Korrekturen selektiv angewendet werden, während der globale Prior erhalten bleibt.

Lernziel und Training

Das Modell wird mit einer regionsbewussten Verlustfunktion trainiert, die das Bild basierend auf der Ground-Truth-Maske in drei Regionen unterteilt: Vordergrund, Grenze und Global. Der Gesamtverlust ( $L$ ) ist die Summe der Tiefenverluste ( $L_{fg}, L_{bd}, L_{glb}$ ), die über diese Regionen berechnet werden, plus eines zusätzlichen Segmentierungsverlusts ( $L_{seg}$ ).

Das Training folgt einer Zwei-Phasen-Strategie zur Gewährleistung der Stabilität:

Phase 1: Nur das MSSA-Modul wird optimiert, während alle vortrainierten Backbones eingefroren bleiben, sodass MSSA die Ausrichtung lernen kann, ohne den Geometrie-Prior zu stören.
Phase 2: Der Tiefendecoder, der prompt-gesteuerte Transformer von SAM3 und der zusätzliche Segmentierungsdecoder werden gemeinsam mit MSSA optimiert, während die Encoder eingefroren bleiben.

Benchmark: FDE-Bench

Um FDE zu evaluieren, etablieren die Autoren FDE-Bench, eine Benchmark-Suite, die bestehende RGB-D-Datensätze in standardisierte Bild–Ziel–Tiefe-Triplets umwandelt.

Datensätze: Zusammengestellt aus NYU v2, TUM RGB-D, YCB-Video, RLBench und RoboTwin, deckt sie Innenszenen, Tischobjekte und Umgebungen für embodied Manipulation ab.
Skala: Enthält 252,9K Trainings- und 72,5K Validierungs-Triplets über 972 Zielkategorien.
Evaluationsmetriken: Im Gegensatz zu Standard-Benchmarks, die den Fehler über das gesamte Bild berichten, bewertet FDE-Bench die Leistung über drei komplementäre Regionen:
- Vordergrund: Ziel-lokale Tiefenqualität.
- Grenze: Schärfe der Tiefenübergänge.
- Global: Geometrische Konsistenz des gesamten Bildes.
  Berichtete Metriken umfassen $\delta_1$ und AbsRel, die pro Ziel berechnet werden, um eine Dominanz durch Bilder mit vielen Zielen zu verhindern.

Experimentelle Ergebnisse

Experimente wurden auf FDE-Bench durchgeführt, wobei FocusDepth mit Zero-Shot-Grundmodellen (UniDepth, Metric3D, DA2, DA3) und global feinabgestimmten Baselines (DA2-ft, DA3-ft) verglichen wurde.

Leistungssteigerungen: FocusDepth übertrifft global feinabgestimmte Baselines konsistent, insbesondere in zielzentrierten Regionen. Beispielsweise reduzierte FocusDepth(DA3) auf RLBench mit Box-Prompts den boundary-AbsRel von 0,073 auf 0,049 und den foreground-AbsRel von 0,095 auf 0,056 im Vergleich zu DA3-ft, während gleichzeitig der globale AbsRel von 0,042 auf 0,030 verbessert wurde.
Prompt-Robustheit: Eine Studie zur Prompt-Korrektheit zeigte, dass zwar korrekte Prompts die besten Ergebnisse liefern, aber selbst falsche oder leere Prompts zu einer besseren Leistung führen als die Prompt-freie Baseline. Dies deutet darauf hin, dass der prompt-konditionierte Zweig auch ohne perfekte Führung nützliche lokale und globale Hinweise liefert.
Qualitative Analyse: Visualisierungen zeigen, dass FocusDepth im Vergleich zur Standard-Feinabstimmung schärfere Zielgrenzen und geringere Tiefenfehler in der spezifizierten Region erzeugt, ohne Artefakte im Hintergrund einzuführen.

Ablationsstudien

Ablationsstudien auf RLBench unterstreichen die Bedeutung spezifischer Designentscheidungen:

Räumliche Ausrichtung: Die Störung der räumlichen Korrespondenz zwischen Prompt- und Geometrie-Token (durch Mischen) verursacht die signifikanteste Verschlechterung und erhöht den globalen AbsRel um bis zu 13,8 %. Dies bestätigt, dass die räumliche Ausrichtung der Schlüsselfaktor im Design ist.
Skalenspezifische und gelenkte Fusion: Das Entfernen der skalenspezifischen Fusion oder der Ersatz des MoE-Routers durch ein einzelnes MLP verschlechtert die Vordergrund- und Grenzgenauigkeit konsistent, was die Notwendigkeit einer skalenbewussten und konditionierten Fusion belegt.
Gated-Injektion: Das Entfernen des Gate-Mechanismus führt zu einer konsistenten Verschlechterung und bestätigt seine Rolle beim Ausgleich von Prompt-Korrekturen mit dem vortrainierten Geometrie-Prior.
Trainingsstrategie: Ein einstufiger Trainingsansatz schwächt die lokale Verfeinerung, was die Zwei-Phasen-Strategie zur Trennung der Cross-Modell-Ausrichtung von der downstream-Anpassung validiert.

Bedeutung und Behauptungen

Die Arbeit beansprucht, FDE als konkrete Aufgabenformulierung für die regionspriorisierte Tiefenschätzung zu etablieren und sich über die Grenzen uniformer bildzentrierter Zielfunktionen hinaus zu bewegen. Die Autoren behaupten, dass FocusDepth erfolgreich prompt-verankerte Zielbeweise über MSSA in dichte Geometriedarstellungen überträgt und eine räumlich ausgerichtete und gated-konditionierte Verfeinerung ermöglicht.

Die Bedeutung liegt darin zu demonstrieren, dass es möglich ist, die lokale Zielgenauigkeit und die Grenztreue zu verbessern, ohne die globale geometrische Kohärenz der Szene zu beeinträchtigen. Die Autoren positionieren FDE als notwendigen Schritt für Anwendungen, die eine präzise Interaktion mit spezifischen Objekten erfordern (z. B. robotische Manipulation), bei denen Standard-Tiefenmodelle möglicherweise versagen, die relevante Geometrie zu priorisieren. Die Arbeit schließt mit dem Hinweis auf Limitationen, wie die Notwendigkeit eines großskaligen gemeinsamen Trainings und weiterer Exploration von downstream-Aufgabenanwendungen, die zukünftigen Arbeiten vorbehalten bleiben.