💻 computer science

Unlocking Dense Metric Depth Estimation in VLMs

Das Papier stellt DepthVLM vor, ein Framework, das ein einzelnes Vision-Language-Modell durch einen leichten Depth-Head und ein einheitliches Training in einen nativen, effizienten dichten metrischen Tiefenvorhersager umwandelt, der bestehende Modelle sowohl bei der Wiederherstellung der 3D-Geometrie als auch beim räumlichen Denken deutlich übertrifft und dabei multimodale Fähigkeiten bewahrt.

Ursprüngliche Autoren: Hanxun Yu, Xuan Qu, Yuxin Wang, Jianke Zhu, Lei ke

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hanxun Yu, Xuan Qu, Yuxin Wang, Jianke Zhu, Lei ke

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboterassistenten (ein Vision-Language-Modell, oder VLM), der hervorragend darin ist, ein Bild anzusehen und Ihnen eine Geschichte darüber zu erzählen oder Fragen wie „Welche Farbe hat das Auto?" oder „Ist der Hund glücklich?" zu beantworten.

Dieser Roboter hat jedoch einen blinden Fleck: Er versteht Tiefe nicht wirklich. Er sieht ein flaches Bild, nicht eine 3D-Welt. Er kann Ihnen nicht genau sagen, wie viele Meter ein Stuhl entfernt ist oder ob ein Baum vor einem Gebäude steht.

Die Arbeit stellt ein neues System namens DepthVLM vor, das diesen blinden Fleck behebt, ohne die Fähigkeit des Roboters zu beeinträchtigen, zu plaudern und Bilder zu verstehen. So haben sie es mit einfachen Analogien erreicht:

1. Das Problem: Der „Nur-Text"-Roboter

Die meisten aktuellen intelligenten Roboter werden wie Schüler trainiert, die nur aus Büchern lernen. Sie sehen ein Bild, aber sie „sprechen" nur in Text.

Das Problem: Wenn Sie sie fragen: „Wie weit ist diese Tasse?", müssen sie raten und einen Satz schreiben. Sie berechnen die Entfernung tatsächlich nicht für jedes einzelne Pixel im Bild.
Die alte Lösung: Frühere Versuche versuchten, einen separaten „Tiefenrechner" auf den Roboter zu kleben. Das war jedoch so, als würde man einen zweiten, ungeschickten Praktikanten einstellen, um die Mathematik zu erledigen. Der Hauptroboter würde das Bild an den Praktikanten weitergeben, der Fehler machen würde, und dann die Antwort zurückgeben. Die Fehler häuften sich auf, und es war sehr langsam.

2. Die Lösung: Dem Roboter einen „Tiefensinn" geben

Die Autoren, Hanxun Yu und sein Team, stellten eine einfache Frage: Können wir dem Roboter beibringen, Tiefe direkt zu sehen, unter Verwendung desselben Gehirns, das er zum Sprechen nutzt?

Sie bauten DepthVLM, indem sie einen winzigen, leichten „Tiefenkopf" (ein spezielles Werkzeug) zum bestehenden Gehirn des Roboters hinzufügten.

Die Analogie: Stellen Sie sich das Gehirn des Roboters als einen Meisterkoch vor, der bereits hervorragend kochen (Bilder verstehen) und sprechen (Text generieren) kann. Anstatt einen separaten Sous-Chef zu engagieren, um Zutaten zu messen, gaben sie dem Meisterkoch einfach ein neues, hochtechnisches Maßband. Jetzt kann der Koch Gemüse schneiden und gleichzeitig messen, ohne langsamer zu werden.

3. Wie es funktioniert: Das zweistufige Training

Man kann einem Meisterkoch nicht einfach ein neues Werkzeug geben und erwarten, dass er es sofort perfekt nutzt. Die Arbeit verwendet eine zweistufige Trainingsstrategie:

Stufe 1 (Das Drill): Sie frieren das Gehirn des Kochs ein (damit er nicht vergisst, wie man kocht) und trainieren nur das neue Maßband. Dies lehrte den Roboter, Entfernungen zu schätzen, ohne sein bestehendes Wissen zu stören.
Stufe 2 (Die Übung): Sie tauten das Gehirn auf und ließen den Roboter üben, das Maßband während des Sprechens zu verwenden. Dies half dem Roboter zu lernen, „Tiefe zu sehen" und „die Szene zu verstehen" nahtlos zu kombinieren.

4. Der Zaubertrick: Ein Durchlauf, sofortige Ergebnisse

Frühere Methoden waren unglaublich langsam.

Der alte Weg (DepthLM): Um die Entfernung eines ganzen Raums zu messen, musste der alte Roboter fragen: „Wie weit ist Pixel 1?", dann „Wie weit ist Pixel 2?", bis hin zu Pixel 100.000. Es dauerte Stunden (in einigen Tests 13 Stunden!).
Der neue Weg (DepthVLM): Der neue Roboter betrachtet das gesamte Bild einmal und spuckt sofort eine vollständige, detaillierte 3D-Karte des Raums in weniger als einer halben Sekunde (0,42 s) aus. Es ist wie der Übergang vom Zählen jedes Sandkorns an einem Strand einzeln zum Aufnehmen eines einzigen Fotos des gesamten Strandes.

5. Die Ergebnisse: Besser als Spezialisten

Das Team testete DepthVLM an einer riesigen Vielfalt von Szenen (Innenräume, Außenstraßen, Fahrszenen).

Chatbots schlagen: Es schlug andere intelligente Roboter (wie GPT-5.5) beim Schätzen von Entfernungen. Während andere Roboter wild raten, war DepthVLM genau.
Experten schlagen: Überraschenderweise war dieser „All-in-One"-Roboter sogar besser beim Messen von Tiefe als Roboter, die nur für das Messen von Tiefe gebaut wurden (spezialisierte Vision-Modelle).
Die Persönlichkeit bewahren: Entscheidend ist, dass das Hinzufügen dieses Tiefensinns den Roboter nicht bei anderen Aufgaben „dumm" machte. Er konnte weiterhin Gedichte schreiben, Fragen beantworten und komplexe Szenen genauso gut verstehen wie zuvor.

6. Warum das wichtig ist (laut der Arbeit)

Die Arbeit behauptet, dies sei ein Schritt hin zu einem Unified Foundation Model.

Die Analogie: Stellen Sie sich ein Schweizer Taschenmesser vor. Früher hatte man ein separates Werkzeug zum Schneiden, ein separates Werkzeug zum Schrauben und ein separates Werkzeug zum Messen. Sie waren alle getrennt. DepthVLM ist wie ein einzelnes Werkzeug, das alle drei Aufgaben gleichzeitig perfekt erledigen kann.
Der Vorteil: Es ermöglicht Robotern, nicht nur eine 3D-Welt zu „sehen", sondern auch über sie zu „schließen". Zum Beispiel kann es ein Foto ansehen und sagen: „Der Mülleimer ist näher als das Waschbecken" oder „Die Waschmaschine ist etwa 1 Meter hoch", alles auf einmal.

Zusammenfassung:
Die Arbeit präsentiert einen Weg, einen Standard-„Plauderroboter" durch Hinzufügen eines winzigen, effizienten Tiefensensors zu seinem Gehirn in einen „3D-bewussten Roboter" zu verwandeln. Er lernt, die Welt sofort in 3D zu messen, ohne einen zweiten Roboter zur Hilfe zu benötigen und ohne das Sprechen zu vergessen. Er ist schneller, genauer und vielseitiger als alles, was davor kam.

Technische Zusammenfassung: DepthVLM

Problemstellung

Vision-Language-Modelle (VLMs) haben in 2D-Aufgaben wie visuellem Grounding und Bildbeschriftung bemerkenswerte Erfolge erzielt, bleiben jedoch im 3D-Verständnis grundlegend begrenzt. Eine Hauptengpassstelle ist das vorherrschende Paradigma der rein textbasierten Überwachung, bei dem visuelle Eingaben konsumiert werden, um autoregressive Textausgaben zu generieren. Dieses Design schränkt die feingranulare visuelle Wahrnehmung inhärent ein und verhindert die explizite Modellierung dichter Szenengeometrie.

Bestehende Ansätze, um diese Lücke zu schließen, leiden unter erheblichen Nachteilen:

Wissens-Destillations-Pipelines: Methoden, die geometrische Signale (z. B. Tiefenkarten) aus externen vortrainierten 3D-Modellen injizieren, beruhen auf Fehlerakkumulation und fehlen eine native Integration.
Ineffiziente direkte Vorhersage: Jüngste Versuche, VLMs die direkte Vorhersage von Geometrie zu ermöglichen, stehen vor Kompromissen zwischen Effizienz oder Qualität. So erreicht DepthLM zwar hohe Genauigkeit, erfordert jedoch Abfragen pro Pixel, was zu einer prohibitiv langsamen Inferenz führt ($O(HW)$). Youtu-VL ermöglicht die Vorhersage für das gesamte Bild in einem Durchlauf, erzeugt jedoch grobe Token-Level-Ausgaben, die eine nachträgliche Interpolation erfordern. Darüber hinaus verschlechtern viele dieser Methoden die allgemeinen multimodalen Fähigkeiten des VLM aufgrund einer textlastigen Überwachung oder Anforderungen an das Training von Grund auf.

Die Kernherausforderung, die von diesem Papier adressiert wird, lautet: Kann ein VLM als nativer dichter Geometrievorhersager mit minimalen architektonischen Änderungen dienen, während seine allgemeinen multimodalen Fähigkeiten erhalten bleiben?

Methodik: DepthVLM

Die Autoren schlagen DepthVLM vor, ein Framework, das einen einzelnen VLM-Rückgrat in ein einheitliches Fundamentmodell verwandelt, das in der Lage ist, sowohl dichte metrische Tiefenkarten als auch Sprachantworten in einem einzigen Vorwärtsdurchlauf zu generieren.

1. Einheitliche Architektur

DepthVLM erweitert die Standard-VLM-Architektur durch das Anfügen eines leichtgewichtigen Tiefenkopfs an das Large Language Model (LLM)-Rückgrat.

Merkmalsextraktion: Anstatt sich ausschließlich auf die finalen versteckten Zustände des LLM zu verlassen, extrahiert das Modell eine Multi-Scale-Merkmalspyramide. Dies umfasst drei Zwischenschichten aus dem Vision Transformer (ViT)-Encoder und die finalen versteckten Zustände des LLM an den Positionen der Bild-Token.
Design des Tiefenkopfs: Inspiriert von DPT (Vision Transformer für dichte Vorhersagen) verarbeitet der Kopf diese Multi-Scale-Merkmale. Entscheidend ist, dass VLM-Visuelle-Token bereits durch Patch-Merger heruntergesampelt sind, vermeiden die Autoren ein weiteres Downsampling. Stattdessen konstruieren sie eine Bottom-up-Pyramide durch Upsampling und weisen früheren ViT-Schichten eine höhere räumliche Auflösung zu.
Ausgabe: Die fusionierten Merkmale werden in eine dichte, vollauflösende metrische Tiefenkarte ( $\hat{D} \in \mathbb{R}^{H \times W}$ ) sowie die Textantwort ( $\hat{T}$ ) decodiert. Eine Softplus-Aktivierung stellt sicher, dass Tiefenwerte strikt positiv sind.

2. Zwei-Stufen-Trainingsstrategie

Um die Vorhersage dichter Geometrie einzuführen, ohne das vortrainierte multimodale Verständnis des VLM zu beeinträchtigen, wenden die Autoren einen zweistufigen Trainingsplan an:

Stufe 1 (Initialisierung des Tiefenkopfs): Das VLM-Rückgrat wird eingefroren. Nur der neu hinzugefügte Tiefenkopf wird mit einem skaleninvarianten logarithmischen (SILog) Verlust auf metrischen Tiefendaten trainiert. Dies etabliert anfängliche Tiefenvorhersagefähigkeiten, ohne das vortrainierte Wissen zu stören.
Stufe 2 (End-to-End-Feinabstimmung): Das LLM-Rückgrat wird aufgetaut, und das gesamte Modell wird End-to-End auf einer Mischung aus Anweisungsfolgedaten feinabgestimmt. Die Zielfunktion kombiniert den Standardverlust der autoregressiven Sprachmodellierung ( $L_{text}$ ) und den Tiefenverlust ( $L_{depth}$ ), ausgeglichen durch einen Faktor $\alpha$ .

3. Datencuration und Normalisierung

Brennweiten-Normalisierung: Um die durch Kameras verursachte Skalenvagheit über heterogene Datensätze hinweg (innen vs. außen, verschiedene Sensoren) zu mildern, werden alle Bilder auf eine einheitliche kanonische Brennweite ( $f_c$ ) neu skaliert. Dies richtet die projektive Geometrie aus und erzwingt eine konsistente Pixel-zu-metrische Zuordnung.
DepthVLM-Bench: Die Autoren führen einen einheitlichen Benchmark ein, der 8 Trainingsdatensätze (die Innen- und Außenszenen abdecken) und 9 Evaluierungsdatensätze aggregiert. Dies ermöglicht einen fairen Vergleich zwischen VLMs und spezialisierten reinen Vision-Modellen unter einem konsistenten Protokoll.

Hauptbeiträge

Native Dichte Vorhersage: Das Papier zeigt, dass ein VLM als nativer dichter Geometrievorhersager dienen kann. Durch das Anfügen eines leichtgewichtigen Kopfs erreicht DepthVLM eine dichte pixelgenaue Tiefenschätzung, ohne den Textgenerierungspfad zu verändern.
Effizienz und Bewahrung der Fähigkeiten: Im Gegensatz zu früheren Methoden, die allgemeine Fähigkeiten verschlechtern oder unter langsamer Inferenz leiden, erreicht DepthVLM $O(1)$ Inferenzkosten (ein einziger Vorwärtsdurchlauf für die volle Auflösung) und bewahrt die ursprüngliche multimodale Leistung des VLM durch eine zweistufige Trainingsstrategie.
Einheitlicher Benchmark: Die Einführung von DepthVLM-Bench ermöglicht effektives Training und einen direkten, fairen Vergleich zwischen VLMs und spezialisierten reinen Vision-Modellen bei der metrischen Tiefenschätzung.

Experimentelle Ergebnisse

Umfangreiche Experimente über diverse Datensätze (Waymo, NuScenes, ETH3D, sunRGBD usw.) heben Folgendes hervor:

Überlegenheit gegenüber VLMs: DepthVLM übertrifft bestehende VLMs deutlich, einschließlich allgemeiner Modelle (z. B. GPT-5.5, Qwen3-VL) und räumlich verstärkter VLMs. Während GPT-5.5 eine durchschnittliche $\delta_1$ -Genauigkeit von nur ~0,41 erreicht, erreicht DepthVLM-4B 0,868.
Überholen reiner Vision-Modelle: Obwohl es sich um ein einheitliches Modell handelt, übertrifft DepthVLM fortschrittliche spezialisierte reine Vision-Modelle. So übertrifft es beispielsweise DepthAnythingV3 (0,877 vs. 0,884 durchschnittlicher $\delta_1$ ) und Metric3Dv2 (0,812 vs. 0,884).
Inferenz-Effizienz: DepthVLM ist erheblich schneller als frühere VLM-basierte Ansätze. Es generiert eine 256×192-Tiefenkarte in 0,42 s, verglichen mit 2,48 s für Youtu-VL und 13 Stunden für DepthLM (aufgrund von Abfragen pro Pixel).
Multimodale Fähigkeiten: Die Evaluierung an allgemeinen visuellen Benchmarks (MMBench, OCRBench, POPE) zeigt, dass DepthVLM sein Basis-VLM-Rückgrat entspricht oder leicht verbessert, was bestätigt, dass das Hinzufügen des Tiefenkopfs das allgemeine multimodale Verständnis nicht verschlechtert.
3D-Raumreasoning: Das Modell zeigt verbesserte Leistung bei komplexen nachgelagerten 3D-Aufgaben, wie der Schätzung von Punkttiefen, der Schätzung von 3D-Objektabmessungen und dem Ranking der Tiefenordnung, was darauf hindeutet, dass die native dichte Geometrievorhersage ein solides Fundament für hochrangiges räumliches Reasoning bildet.

Bedeutung und Behauptungen

Das Papier behauptet, dass DepthVLM einen Schritt hin zu einem wahrhaft einheitlichen Fundamentmodell darstellt, das sowohl bei der dichten Geometrievorhersage auf niedriger Ebene als auch beim multimodalen Verständnis auf hoher Ebene hervorragend ist.

Paradigmenwechsel: Es stellt die Vorstellung in Frage, dass dichte Geometrievorhersage separate, spezialisierte Vision-Modelle oder ineffiziente abfragebasierte VLMs erfordert. Stattdessen zeigt es, dass Geometrie nativ innerhalb eines einzelnen VLM-Rückgrats entstehen kann.
Praktikabilität: Durch die Erzielung hoher Genauigkeit mit minimalen architektonischen Änderungen und die Bewahrung allgemeiner Fähigkeiten bietet DepthVLM ein praktisches Rezept für die Integration von 3D-Wahrnehmung in bestehende VLM-Ökosysteme.
Einschränkungen: Die Autoren vermerken bescheiden, dass die aktuelle Arbeit spezifisch auf die dichte metrische Tiefenschätzung fokussiert ist. Breitere 3D-Wahrnehmungsaufgaben, wie Objekterkennung und Pose-Schätzung, bleiben zukünftige Arbeit.

Zusammenfassend bietet DepthVLM eine leichte, effiziente und effektive Lösung zur Erschließung der dichten metrischen Tiefenschätzung in VLMs und schließt die Lücke zwischen 2D-multimodalem Verständnis und 3D-räumlicher Intelligenz.