🤖 AI

MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources

MetricAnything führt ein skalierbares Pretraining-Framework ein, das einen neuartigen „Sparse Metric Prompt“ nutzt, um metrische Tiefe aus 20 Millionen verrauschten, heterogenen 3D-Quellen zu erlernen, wodurch der erste klare Skalierungstrend in der metrischen Tiefe etabliert und eine State-of-the-Art-Leistung über diverse Aufgaben hinweg, einschließlich monokularer Schätzung, 3D-Rekonstruktion und räumlicher Intelligenz in multimodalen Modellen, erreicht wird.

Ursprüngliche Autoren: Baorui Ma, Jiahui Yang, Donglin Di, Xuancheng Zhang, Jianxun Cui, Hao Li, Yan Xie, Wei Chen

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Baorui Ma, Jiahui Yang, Donglin Di, Xuancheng Zhang, Jianxun Cui, Hao Li, Yan Xie, Wei Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „unordentliche Küche“

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, die reale Welt in 3D zu verstehen – insbesondere, wie weit Dinge entfernt sind (metrische Tiefe). Um dies zu tun, benötigen Sie normalerweise eine riesige Bibliothek an „Lehrbüchern“ (Datensätzen), die Bilder und die exakten 3D-Abstände zeigen.

Das Problem ist, dass diese Lehrbücher ein Chaos sind.

Einige wurden von LiDAR (Lasern) geschrieben, die zwar gut, aber verrauscht und spärlich sind (wie eine Skizze mit fehlenden Punkten).
Einige wurden von Computern aus Videos rekonstruiert, was zu seltsamen Fehlern in glänzenden oder unscharfen Bereichen führen kann.
Einige sind gerendert (computergeneriert), was perfekt ist, aber künstlich aussieht.
Sie stammen alle von tausenden verschiedenen Kameras, die jeweils ihre eigenen Eigenheiten und Verzerrungen haben.

Frühere Versuche, Roboter mit dieser „unordentlichen Küche“ an Daten zu trainieren, scheiterten, weil das Rauschen die KI verwirrte. Man versuchte, komplexe, maßgeschneiderte Regeln für jede Art von Rauschen zu erstellen, was jedoch nicht skalierbar war. Es war, als würde man versuchen, eine unordentliche Küche von Hand zu schrubben, anstatt eine Spülmaschine zu benutzen.

Die Lösung: „Metric Anything“

Die Autoren entwickelten ein neues System namens Metric Anything. Betrachten Sie es als eine universelle „Spülmaschine“, die jede Art von schmutzigem Geschirr (Datenquelle) bewältigen kann, ohne dass man für jedes einzelne eine spezielle Einstellung benötigt.

So funktioniert es, unterteilt in drei einfache Schritte:

1. Der „Sparse Prompt“ (Der magische Hinweis)

Anstatt der KI das ganze Bild der 3D-Welt auf einmal zu zeigen (was zu verrauscht wäre), geben sie ihr einen Sparse Metric Prompt (einen spärlichen metrischen Hinweis).

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Form eines verborgenen Objekts in einer Box zu erraten. Anstatt dass man die ganze Box sehen darf, gibt Ihnen jemand ein paar zufällige „Hinweise“ (Punkte), die die exakte Entfernung einiger spezifischer Punkte angeben.
Wie sie es machen: Sie nehmen eine 3D-Karte, verstecken den Großteil davon zufällig und zeigen der KI nur ein paar verstreute Punkte mit ihren exakten Entfernungen.
Warum es funktioniert: Dies zwingt die KI dazu, die Logik des Raums zu lernen (wie Objekte zueinander in Beziehung stehen), anstatt die spezifischen Rauschmuster einer Kamera auswendig zu lernen. Es entkoppelt das „räumliche Denken“ von der „Sensoren-Verzerrung“.

2. Der „Lehrer“ (Das vortrainierte Modell)

Sie haben diesem System eine gewaltige Menge an Daten gefüttert: 20 Millionen Bild-Tiefen-Paare von über 10.000 verschiedenen Kameramodellen.

Die Analogie: Das ist so, als würde man einen genialen Tutor einstellen, der jedes Buch in der Bibliothek gelesen hat, egal ob die Bücher auf Englisch, Französisch oder einer erfundenen Sprache geschrieben wurden.
Das Ergebnis: Dieses „Lehrer“-Modell lernt, sich ein Bild und ein paar zufällige Distanzhinweise anzusehen und dann den Rest der 3D-Welt perfekt zu vervollständigen. Es wird besser, je mehr Daten man ihm gibt (ein „Skalierungstrend“), was zuvor für diese Art von Aufgabe als unmöglich galt.

3. Der „Schüler“ (Das destillierte Modell)

Der „Lehrer“ ist großartig, benötigt aber diese „Hinweise“ (Prompts), um zu funktionieren. Für viele reale Aufgaben (wie ein selbstfahrendes Auto oder einen Roboter) sind diese Hinweise nicht verfügbar.

Die Analogie: Der Lehrer ist ein Meisterkoch, der ein Rezept benötigt. Der Schüler ist der Lehrling des Kochs. Der Lehrer kocht tausende Mahlzeiten unter Verwendung der Rezeptkarten, und der Lehrling schaut genau zu und lernt die Technik, ohne die Karten zu benötigen.
Das Ergebnis: Sie haben ein „Schüler“-Modell entwickelt, das vom Lehrer gelernt hat. Nun kann der Schüler ein einfaches Foto betrachten und sofort die exakten 3D-Entfernungen bestimmen, oh ,ne jegliche Hinweise oder Prompts.

Was kann das leisten? (Die „Superkräfte“)

Da dieses System von so vielfältigen und verrauschten Daten gelernt hat, ist es unglaublich robust. Das Paper zeigt, dass es exzellent darin ist:

Lücken füllen: Wenn Sie ihm eine unscharfe oder niedrig aufgelöste Tiefenkarte geben, kann es diese „super-auflösen“, um sie scharf und detailliert zu machen.
Sensoren mischen: Es kann ein sehr spärliches, verrauschtes Signal von einem Radar (das viel spärlicher ist als LiDAR) nehmen und es mit einer Kamera kombinieren, um eine perfekte 3D-Karte zu erstellen.
Kameras korrigieren: Es kann ein Foto betrachten und die Kameraeinstellungen (Brennweite) allein durch das Verständnis der Geometrie der Szene erraten.
Robotik & KI: Als sie dieses „räumliche Gehirn“ einem Roboter (VLA) oder einem großen Sprachmodell (MLLM) gaben, wurde der Roboter viel besser darin, sich in Räumen zu bewegen, den Abstand zu einem Becher einzuschätzen und Pfade zu planen. Er hörte auf zu raten und fing an zu messen.

Die wichtigste Erkenntik

Das Paper beweist, dass mehr Daten + eine einfache, intelligente Art, mit Rauschen umzugehen = ein besseres 3D-Gehirn.

Sie mussten keine komplexe, maßgeschneiderte Hardware bauen oder spezielle Regeln für jede Kamera schreiben. Sie brauchten nur eine einfache, „hinweisbasierte“ Trainingsmethode und einen riesigen, unordentlichen Datensatz. Das Ergebnis ist ein Modell, das die 3D-Welt so gut oder sogar besser als jedes bisherige System versteht, und es funktioniert überall – von regnerischen Straßen über Cartoon-Welten bis hin zu Roboter-Küchen.

Kurz gesagt: Sie haben einer KI beigebracht, Entfernungen zu verstehen, indem sie ihr eine Million unordentliche Bilder mit ein paar zufälligen Hinweisen zeigten, und nun kann sie die Welt besser als je zuvor in 3D sehen.

Technisches Resümee: Metric Anything

Problemstellung

Während die Skalierung zu bedeutenden Fortschritten bei Vision-Foundation-Modellen geführt hat, erwies sich die Ausweitung dieses Paradigmas auf die metrische Tiefenschätzung als schwierig. Im Gegensatz zur relativen Tiefe, die ordinale Beziehungen lernt und von synthetischen Daten sowie Pseudo-Label-Destillation profitiert, erfordert die metrische Tiefe das Erlernen absoluter, physikalisch bedeutsamer Distanzen. Das Feld wurde durch die Heterogenität der Datenquellen gebremst. Reale 3D-Annotationen stammen aus diversen Sensoren (LiDAR, RGB-D, Stereo) und Rekonstruktionsalgorithmen (SfM, MVS, SLAM), die jeweils distinkte Rauschmuster, Hardware-Artefakte und kamerabedingte Biases einführen. Diese Heterogenität führt zu signifikanten Domänenlücken, verrauschter Supervision und metrischer Ambiguität, was verhindert, dass die „Data Soup“-Skalierungsstrategie bei der metrischen Tiefe erfolgreich ist. Bisherige Versuche, dies über Prompt-basierte Methoden zu adressieren, waren auf spezifische Aufgaben, kleine Datensätze und komplexe, handgefertigte Prompt-Pipelines beschränkt, die starke menschliche Priors einführen.

Methodik

Die Autoren führen Metric Anything ein, ein minimalistisches Pretraining-Framework, das darauf ausgelegt ist, metrische Tiefe aus verrauschten, diversen 3D-Quellen zu lernen, ohne auf aufgabenspezifische Architekturen oder manuell entwickelte Prompts zurückzugreifen.

1. Multi-Source Datenerfassung

Die Autoren aggregierten einen Datensatz von etwa 20 Millionen Bild-Tiefen-Paaren, die über 10.000 Kameramodelle abdecken. Die Daten werden in drei Quellen kategorisiert:

Rekonstruierte 3D-Daten: Tiefenkarten aus SfM-, SLAM-, MVS- und Stereo-Techniken, die oft Artefakte und fehlende Regionen enthalten.
Erfasste 3D-Daten: Punktwolken aus LiDAR-, ToF- und RGB-D-Sensoren, die aufgrund von Sensorbeschränkungen und Umweltfaktoren oft spärlich und verrauscht sind.
Gerenderte 3D-Daten: Synthetische Tiefenkarten aus Virtual Engines, die rauschfreie geometrische Supervision bieten.
Alle Stichproben werden in per-Pixel metrische Tiefenkarten mit Validitätsmasken standardisiert.

2. Pretraining via Sparse Metric Prompt

Die Kerninnovation ist der Sparse Metric Prompt, eine universelle Schnittstelle, die räumliches Denken von Sensor-Biases entkoppelt.

Prompt-Generierung: Anstatt komplexer Simulationen werden Prompts durch das zufällige Maskieren valider Pixel (Sampling von 2.000–40.000 Pixeln) aus den Ground-Truth-Tiefenkarten erstellt.
Prompt-Vorbereitung: Um die Heterogenität der Roh-Prompts zu handhaben, wenden die Autoren eine Pixel-weise Tiefenskala-Ausrichtung (PDSA) und eine Globale Metrische Tiefenwiederherstellung (GMDR) unter Verwendung eines vortrainierten Tiefenmodells an, um fehlende Regionen aufzufüllen und Skalen abzugleichen, wodurch eine einheitliche intermediäre Repräsentation entsteht.
Architektur: Das Modell verwendet einen Standard-ViT-Backbone mit einem DPT-Decoder. Prompts werden via einem konditionierten DPT-Head injiziert (der nur ca. 5 % der Parameter hinzufügt), anstatt den Backbone zu modifizieren. Dieses Design vermeidet maßgeschneiderte architektonische Änderungen und ermöglicht es dem Modell, strukturelles und metrisches Verständnis direkt aus den Daten zu lernen.
Loss-Funktionen: Das Trainingsziel kombuliert den Mean Absolute Error (MAE) mit dem Scale-and-Shift-Invariant Mean Absolute Gradient Error (SSI-MAGE). Für reale Daten wird ein robuster MAE verwendet, wobei die obersten 20 % der größten Fehler verworfen werden, um Rauschen zu minimieren.

3. Prompt-freies Modell-Distillation

Um den Einsatz in Szenarien ohne Prompts zu ermöglichen, destillieren die Autoren das vortrainierte „Teacher“-Modell in einen prompt-freien Studenten.

Pseudo-Label-Generierung: Das Teacher-Modell generiert hochpräzise, dichte metrische Tiefenkarten für den gesamten Datensatz, konditioniert auf spärliche Prompts. Diese Pseudo-Labels decken einen breiten Tiefenbereich ab (nah bis fern), im Gegensatz zu vielen realen Datensätzen, die zu kurzen Distanzen tendieren.
Studenten-Architektur: Der Student entfernt die Prompt-Injection-Layer. Entscheidend ist, dass die Autoren das Standard-Skip-Connection-Schema invertieren: tiefe, hochgradig semantische ViT-Features werden in tiefere Decoding-Layer injiziert, während flache Features in flachere Layer fließen. Dies nutzt die hohe semantische Konsistenz der Pseudo-Labels des Teachers aus.
Loss-Funktion: Ein Distance-Balanced Inverse-Depth Loss wird eingeführt. Durch die Arbeit im Log-Raum ( $D_{log} = 1 - \ln(D)/\ln(C)$ ) bewahrt dieser Loss die feingliedrige Sensitivität in nahen Regionen, während er die effektive Supervision auf weit entfernte Bereiche ausdehnt und so die Einschränkungen Standard-Inverse-Depth-Losses adressiert.

Zentrale Beiträge

Metric Anything Framework: Ein minimalistisches, skalierbares Pretraining-Paradigma, das Sparse Metric Prompts nutzt, um metrische Tiefe aus heterogenen, verrauschten 3D-Quellen zu lernen, ohne handgefertigte Prompts oder aufgabenspezifische Architekturen.
Demonstrierte Skalierung: Die Aggregation von 20 Mio. diversen Bild-Tiefen-Paaren zeigt einen klaren Skalierungstrend in der metrischen Tiefenschätzung auf, ein Phänomen, das zuvor in diesem Bereich nicht beobachtet wurde. Die Leistung verbessert sich konsistent, wenn die Größe der Trainingsdaten zunimmt.
Universelle Generalisierung: Sowohl das vortrainierte Modell als auch der destillierte prompt-freie Student erreichen State-of-the-Art (SOTA) Performance in zehn Downstream-Aufgaben ohne aufgabenspezifisches Engineering. Zu diesen Aufgaben gehören:
- Prompt-basiert: Tiefenkomplettierung (Depth Completion), Super-Resolution und Radar-Kamera-Fusion.
- Prompt-frei: Monokulare Tiefenschätzung, Rekonstruktion der Kameraparameter (Intrinsics), Multi-View-3D-Rekonstruktion und VLA-Planung.
- MLLM-Optimierung: Signifikante Steigerung der räumlichen Denkfähigkeiten von Multimodalen Large Language Models.

Ergebnisse

Skalierungstrend: Experimente zeigen eine konsistente Zunahme der Zero-Shot $\delta_1$ Genauigkeit auf Middlebury, wenn die Trainingsdaten von 2M auf 20M Paare skaliert werden.
Prompt-basierte Aufgaben: Das Modell erreicht SOTA Zero-Shot-Performance in der Tiefen-Super-Resolution und -Komplettierung über NYUv2, ETH3D und KITTI und übertrifft damit bisherige Methoden, die auf synthetischer Prompt-Simulation basieren. Bei der Radar-Kamera-Tiefenschätzung auf nuScenes verdoppelt das fein abgestimmte Modell nahezu die Genauigkeit gegenüber seinem From-Scratch-Gegenstück und übertrifft alle bisherigen Fusion-Methoden.
Prompt-freie Aufgaben: Das destillierte Studenten-Modell belegt den 1. oder 2. Platz in sechs diversen Benchmarks für monokulare Tiefenschätzung (ETH3D, NuScenes, Sun-RGBD, etc.) in einem strengen Zero-Shot-Setting. Es erzielt zudem SOTA-Ergebnisse in der Rekonstruktion der Kameraparameter und der Multi-View-3D-Rekonstruktion.
Räumliche Intelligenz: Als visueller Encoder für MLLMs eingesetzt, verbessert das Modell die Leistung auf dem VSI-Bench signifikant, insbesondere bei Aufgaben, die die Schätzung der Objektgröße, die Messung absoluter Distanzen und die Routenplanung erfordern.
Robustheit: Das Modell demonstriert eine starke Generalisierung auf ungesehene Sensorkonfigurationen (z. B. unterschiedliche LiDAR-Kamera-Setups), extreme Umweltbedingungen (Nacht, Regen, Nebel) und ungesehene visuelle Domänen (Fisheye, Panoramen, Cartoons).

Bedeutung und Behauptungen

Das Paper postuliert, dass die metrische Tiefenschätzung von denselben Skalierungsgesetzen (Scaling Laws) profitieren kann, die moderne Foundation-Modelle in NLP und 2D-Vision antreiben. Durch die Minimierung von menschlichem Design-Prior in Prompts und das Vertrauen auf datengesteuertes Lernen aus heterogenen Quellen etabliert Metric Anything einen neuen Weg für skalierbare und effiziente reale metrische Wahrnehmung.

Die Autoren gleichen ihre Erkenntnisse mit der „Bitter Lesson“ ab und argumentieren, dass generalisierte, datengesteuerte Methoden handgefertigte Designs systematisch übertreffen. Sie behaupten, das Problem der „Datenknappheit“ in der metrischen Tiefe gelöst zu haben, indem sie verrauschte, heterogene Quellen effektiv nutzen, wodurch emergente Fähigkeiten und robuste Generalisierung freigesetzt werden. Die Arbeit legt nahe, dass sich die zukünftige Forschung von aufgabenspezifischem Engineering hin zu allgemeinen Pretraining-Paradigmen bewegen sollte, die sich an diverse Sensoren und Szenarien anpassen können. Die Autoren stellen das Framework Open-Source zur Verfügung, um die Community-Forschung zu unterstützen.