🤖 KI

MapAnything: Universal Feed-Forward Metric 3D Reconstruction

MapAnything ist ein vereinheitlichtes, Feed-Forward-Transformer-Modell, das die metrische 3D-Szenengeometrie und Kameraposen direkt aus einem oder mehreren Bildern in Kombination mit optionalen geometrischen Eingaben regrediert und dadurch diverse 3D-Vision-Aufgaben effektiv in einem einzigen, effizienten Framework vereinheitlicht, das spezialisierte Modelle übertrifft oder mit ihnen gleichzieht.

Ursprüngliche Autoren: Nikhil Keetha, Norman Müller, Johannes Schönberger, Lorenzo Porzi, Yuchen Zhang, Tobias Fischer, Arno Knapitsch, Duncan Zauss, Ethan Weber, Nelson Antunes, Jonathon Luiten, Manuel Lopez-Antequera, Sam

Veröffentlicht 2026-01-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nikhil Keetha, Norman Müller, Johannes Schönberger, Lorenzo Porzi, Yuchen Zhang, Tobias Fischer, Arno Knapitsch, Duncan Zauss, Ethan Weber, Nelson Antunes, Jonathon Luiten, Manuel Lopez-Antequera, Samuel Rota Bulò, Christian Richardt, Deva Ramanan, Sebastian Scherer, Peter Kontschieder

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Stapel Fotos aus verschiedenen Winkeln vor sich liegen – vielleicht einige mit GPS-Tag, vielleicht einige mit einem Lineal im Bild und vielleicht einige ganz ohne Zusatzinformationen. Ihr Ziel ist es, ein perfektes, real lebensgroßes 3D-Modell der Szene zu erstellen und genau herauszufinden, wo sich die Kamera für jedes einzelne Foto befand.

Traditionell war dies so, als würde man ein Team von verschiedenen Spezialisten engagieren: einer findet Übereinstimmende Punkte in den Fotos, ein anderer schätzt die Kamerawinkel, ein dritter kalibriert das Objektiv und ein vierter berechnet die Tiefe. Sie würden ihre Notizen in einer langsamen, komplexen Kette von Ereignissen hin und her weitergeben.

MapAnything ist ein neuer „Superorganismus“, der all dies in einem einzigen, blitzschnellen Blick erledigt.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „Schweizer Taschenmesser“-Modell

Betrachten Sie frühere KI-Modelle als spezialisierte Werkzeuge: einen Schraubendreher für Schrauben, einen Hammer für Nägel. Wenn Sie ein Haus bauen wollten, brauchten Sie einen ganzen Werkzeugkasten.
MapAnything ist wie ein Schweizer Taschenmesser, das ein Schraubendreher, ein Hammer, ein Dosenöffner oder eine Lupe sein kann, je nachdem, was man ihm in die Hand drückt.

Der Input: Sie können es nur mit Bildern füttern. Oder Bilder plus Kameraeinstellungen. Oder Bilder plus GPS-Koordinaten. Oder Bilder plus partielle Tiefenkarten. Es spielt keine Rolle; es passt sich an.
Der Output: Egal, was Sie ihm geben, es liefert eine metrische 3D-Rekonstruktion. Das bedeutet, es errät nicht nur die Form, sondern kennt auch die tatsächliche Größe (z. B. „Diese Tür ist 2 Meter hoch“, nicht nur „Diese Tür sieht groß aus“).

2. Das Geheimnis der „Faktorisierung“

Wie bewältigt es so viele verschiedene Aufgaben, ohne verwirrt zu werden? Das Paper besagt, dass es eine „faktorisierte Repräsentation“ verwendet.

Stellen Sie sich vor, Sie versuchen, einem Freund am Telefon ein Gebäude zu beschreiben.

Der alte Weg: Sie versuchen, jeden einzelnen Standort eines Ziegels in einer riesigen, unübersichtlichen Liste zu beschreiben. Wenn Sie einen einzigen vergessen, bricht die gesamte Beschreibung zusammen.
Der Weg von MapAnything: Es zerlegt die Beschreibung in separate, handhabbare Teile (Faktoren):
1. Die Richtung: Wohin schaut die Kamera? (Strahlrichtungen)
2. Die Distanz: Wie weit ist die Wand in dieser Richtung entfernt? (Strałtiefe)
3. Die Position: Wo steht die Kamera? (Pose)
4. Der Maßstab: Ist das ein Puppenhaus oder ein Wolkenkratzer? (Metrischer Maßstab)

Durch die Trennung dieser Teile kann das Modell sie kombinieren und austauschen. Wenn Sie Ihnen die „Richtung“ und die „Position“ geben, aber keine „Distanz“, kann es immer noch die Form bestimmen, nur eben noch nicht die exakte Größe. Wenn Sie dann später einen „Maßstab“-Faktor hinzufügen, springt alles sofort in die korrekte reale Größe.

3. Das Training als „Universeller Übersetzer“

Normalerweise benötigt man, um eine KI für 12 verschiedene Aufgaben zu trainieren, 12 verschiedene Trainingssessions mit 12 verschiedenen Datensätzen.
Die Autoren haben MapAnything auf 13 verschiedenen Datensätzen (die von Innenräumen bis hin zu Außenlandschaften reichen) gleichzeitig trainiert. Sie haben es beigebracht, „optionale“ Informationen zu akzeptieren.

Die Analogie: Stellen Sie sich vor, Sie bringen einem Schüler das Autofahren bei. Anstatt ihm separat „Wie man ein Auto fährt“, „Wie man einen Lkw fährt“ und „Wie man ein Boot steuert“ beizubringen, lehren Sie ihn die universellen Regeln der Fahrzeugsteuerung.
Wenn der Schüler ein Lenkrad (Kamerapose) sieht, nutzt er das. Wenn er ein Tachometer (Tiefenkarte) sieht, nutzt er das. Wenn er beides nicht sieht, nutzt er seine Augen (nur die Bilder). Das Ergebnis ist ein Fahrer, der jedes Fahrzeug, jede Straße und jedes Wetter bewältigen kann – und zwar in einem Rutsch.

4. Was es kann (Die „Zaubertricks“)

Da es so flexibel ist, kann MapAnything über 12 verschiedene 3D-Vision-Aufgaben ausführen, darunter:

Structure-from-Motion (SfM): Einen unordentlichen Stapel Fotos in eine 3D-Karte verwandeln, ohne zu wissen, wo die Fotos aufgenommen wurden.
Kamera-Lokalisierung: Ein Foto betrachten und sagen: „Dies wurde an der Ecke 5th und Main aufgenommen.“
Depth Completion (Tiefenvervollständigung): Eine unscharfe oder unvollständige Tiefenkarte nehmen und die fehlenden Lücken füllen, um eine perfekte 3D-Oberfläche zu erstellen.
Multi-View Stereo: Ein 3D-Modell aus mehreren überlappenden Fotos erstellen.

5. Die Ergebnisse

Das Paper behauptet, dass dieser „Einheits-Modell“-Ansatz tatsächlich besser ist als spezialisierte Experten.

Geschwindigkeit: Es erledigt alles in einem einzigen „Feed-Forward“-Durchgang (einem schnellen Blick), während alte Methoden langsame, schrittweise Berechnungen erforderten.
Qualität: Es erreicht oder übertrifft die Leistung von Modellen, die speziell für nur eine dieser Aufgaben entwickelt wurden.
Flexibilität: Es funktioniert selbst dann, wenn man ihm seltsame Kombinationen von Daten gibt (z. B. 50 Fotos, von denen 2 GPS-Daten haben und 10 Tiefendaten).

Zusammenfassung

MapAnything ist eine universelle 3D-Rekonstruktions-Engine. Anstatt für jede Art von 3D-Problem eine andere Maschine zu bauen, haben die Forscher eine intelligente Maschine gebaut, die die „Sprache“ der 3D-Geometrie so gut versteht, dass sie fast jedes 3D-Rätsel lösen kann, das man ihr vorwirft – sofort und präzise, egal ob man ihr einen vollständigen Werkzeugkasten oder nur ein einzelnes Foto gibt.

Technisches Resümee: MapAnything

Problemstellung

Die traditionelle bildbasierte 3D-Rekonstruktion stützt sich auf die Zerlegung des Problems in distinkte, sequentielle Aufgaben wie Merkmalsdetektion, Matching, Pose-Schätzung, Kamerakalibrierung, Bundle Adjustment und Multi-View Stereo (MVS). Während jüngste Feed-Forward-Ansätze einige dieser Aufgaben bereits vereinheitlicht haben, bleiben sie oft auf spezifische Input-Konfigurationen beschränkt (z. B. feste Anzahl von Ansichten, rein bildbasierte Inputs) oder erfordern ein aufwendiges Post-Processing, um metrische Skalen und Kameraposen zu rekonstruieren. Es mangelt an einem vereinheitlichten End-to-End-Modell, das in der Lage ist, vielfältige 3D-Rekonstruktionsaufgaben zu bewältigen – von unkalibrierter Structure-from-Motion (SfM) bis hin zu kalibriertem MVS und Tiefenkomplettierung – und dabei effektiv heterogene Inputs wie Kamera-Intrinsics, Posen und Tiefenkarten zu nutzen.

Methodik: MapAnything

MapAnything ist ein vereinheitlichtes, Transformer-basiertes Feed-Forward-Modell, das darauf ausgelegt ist, metrische 3D-Szenengeometrie und Kameraposen direkt aus $N$ Input-Bildern und optionalen geometrischen Eingaben zu regredieren.

1. Faktorisierte Szenenrepräsentation

Die zentrale Erkenntnis von MapAnything ist die Verwendung einer faktorisierten Repräsentation der Multi-View-Szenengeometrie. Anstatt eine gekoppelte Pointmap vorherzusagen (bei der Geometrie und Kameraparameter miteinander verflochten sind), zerlegt das Modell den Output in:

Lokale Strahlrichtungen ( $R_i$ ): Normalisierte Vektoren, welche die Richtung der Strahlen für jeden Pixel repräsentieren.
Stra depth ( $\tilde{D}_i$ ): Tiefenwerte entlang der Strahlen in einem „Up-to-Scale“-Raum.
Kameraposen ( $\tilde{P}_i$ ): Repräsentiert als Einheitsquaternionen ( $Q_i$ ) und Up-to-Scale-Translationen ( $\tilde{T}_i$ ) relativ zur ersten Ansicht.
Metrischer Skalenfaktor ( $m$ ): Ein einzelner globaler Skalar, der die lokale, Up-to-Scale-Rekonstruktion in einen global konsistenten metrischen Rahmen überführt.

Die finale metrische 3D-Pointmap $X^{metric}_i$ wird berechnet als $m \cdot (O_i \cdot (R_i \cdot \tilde{D}_i) + \tilde{T}_i)$ , wobei $O_i$ die aus dem Quaternion abgeleitete Rotationsmatrix ist.

2. Architektur

Input-Kodierung: Das Modell akzeptiert $N$ RGB-Bilder und optionale geometrische Inputs (Strahlrichtungen, Posen, Tiefenkarten). Die Bilder werden mittels DINOv2 (ViT-G) kodiert. Geometrische Inputs werden faktorisiert und über flache konvolutionale Encoder (für dichte Inputs wie Strahlen/Tiefe) oder MLPs (für globale Größen wie Rotation/Translation-Skalen) kodiert.
Multi-View Transformer: Die kodierten Features werden in Tokens geflattet. Ein einziger lernbarer Scale Token wird dem Satz der $N$ View-Tokens hinzugefügt. Ein fester Referenzansichts-Embedding wird der ersten Ansicht hinzugefügt, um diese zu unterscheiden. Diese Tokens werden von einem 16-lagigen alternating-attention Transformer (initialisiert aus DINOv2-Layern) verarbeitet, um Informationen über die Ansichten hinweg zu fusionieren.
Decoding Heads:
- DPT Head: Dekodiert die $N$ View-Tokens in dichte pro-Ansicht Outputs: Strahlrichtungen, Up-to-Scale-Strałtiefe, Konfidenzmasken und Pointmap-Konfidenzkarten.
- Pose Head: Ein auf Average-Pooling basierender konvolutionaler Head sagt Einheitsquaternionen und Up-to-Scale-Translationen für alle Ansichten voraus.
- Scale Head: Ein MLP verarbeitet den Scale Token, um den globalen metrischen Skalenfaktor $m$ vorherzusagen.

3. Trainingsstrategie

MapAnything wird End-to-End auf einer diversen Aggregation von 13 Datensätzen (Indoor, Outdoor, Synthetisch) trainiert, die über 12 verschiedene Problemkonfigurationen abdecken.

Flexible Input-Augmentierung: Während des Trainings werden geometrische Inputs (Intrinsics, Posen, Tiefe) mit variierenden Wahrscheinlichkeiten bereitgestellt (z. B. 0,5 für jeden Faktor), um verschiedene reale Szenarien zu simulieren, in denen Daten partiell oder unvollständig vorliegen können.
Loss-Funktionen: Das Modell nutzt eine zusammengesetzte Loss-Funktion, die Folgendes umfasst:
- Regressions-Losses für Strahlen, Rotationen und Translationen.
- Log-Space-Losses für Strahltiefe, Pointmaps und den metrischen Skalenfaktor, um große Dynamikbereiche zu handhaben.
- Konfidenzgewichteten Pointmap-Loss und Binary Cross-Entropy für Masken.
- Normalen- und Multi-Scale-Gradienten-Matching-Losses (angewandt auf synthetische Daten).
Skalen-Handhabung: Um zu verhindern, dass Gradienten des Skalen-Loss die Geometrie korrumpieren, wird der metrische Skalenfaktor unter Verwendung eines durch einen Detached-Up-to-Scale-Norm-Skalierungsfaktor berechnet ( $z_{metric} = m \cdot \text{sg}(\tilde{z})$ ).

Kernbeiträge

Vereinheitlichtes Feed-Forward-Modell: MapAnything unterstützt über 12 verschiedene 3D-Rekonstruktions-Problemkonfigurationen (z. B. unkalibrierte SfM, kalibriertes MVS, monokulare Tiefe, Kamera-Lokalisierung) in einem einzigen Modell und übertrifft oder erreicht dabei spezialisierte Modelle.
Faktorisierte Szenenrepräsentation: Durch die Entkopplung lokaler Geometrie (Strahlen/Tiefe) von globaler Pose und metrischer Skala ermöglicht das Modell flexible Inputs und effiziente Vorhersagen ohne kostspieliges Post-Processing oder redundante Vorhersagen.
State-of-the-Art Performance: Das Modell erzielt überlegene Ergebnisse im Vergleich zu anderen Feed-Forward-Baselines (z. B. DUSt3R, VGGT, MASt3R) und erreicht oder übertrifft Expertenmodelle, die für spezifische Aufgaben maßgeschneidert wurden.
Open-Source-Veröffentlichung: Die Autoren stellen Code für Datenverarbeitung, Inferenz und Training sowie vortrainierte Modelle unter permissiven Lizenzen (Apache 2.0 und CC BY-NC 4.0) bereit.

Ergebnisse

Das Paper benchmarkt MapAnything über mehrere Aufgaben und Input-Konfigurationen hinweg:

Multi-View Dense Reconstruction: Auf ETH3D, ScanNet++ v2 und TartanAirV2-WB erreicht MapAnything State-of-the-Art-Ergebnisse in der Pointmap-, Pose-, Tiefen- und Strahlrichtungs-Schätzung allein durch Bild-Inputs. Es übertrifft Baselines signifikant, wenn zusätzliche geometrische Inputs (Intrinsics, Posen, Tiefe) bereitgestellt werden.
Zwei-Ansichts-Rekonstruktion: MapAnything übertrifft Pow3R (die einzige andere Zwei-Ansichts-Feed-Forward-Methode mit Priors) und bildbasierte Baselines in allen Input-Konfigurationen.
Single-View Kalibrierung: Trotz fehlendem spezifischen Training auf Einzelbildern erreicht MapAnything State-of-the-Art-Genauigkeit bei der perspektivischen Kalibrierung auf ETH3D, ScanNet++ v2 und TartanAir.
Tiefenschätzung: Im Robust-MVD-Benchmark übertrifft MapAnything spezialisierte Modelle wie MASt3R und MUSt3R bei der Multi-View metrischen Tiefenschätzung. Mit Hilfs-Inputs liefert es kompetitive Ergebnisse gegenüber aufgabenbezogenen Modellen.
Effizienz: Ablationsstudien (Tabelle 5) zeigen, dass ein einziges universell trainiertes Modell äquivalent zu oder besser als mehrere maßgeschneiderte Modelle für spezifische Input-Konfigurationen performt, trotz vergleichbarer Rechenkosten zu lediglich zwei maßgeschneiderten Modellen.

Bedeutung und Ansprüche

Die Autoren positionieren MapAnything als Schritt hin zu einem universellen 3D-Rekonstruktions-Backbone. Durch die Vereinigung diverser Aufgaben und Input-Modalitäten in einem einzigen Feed-Forward-Durchlauf eliminiert das Modell die Notwendigkeit für aufgabenbezogenes Tuning und komplexe Optimierungspipelines (wie Bundle Adjustment) für viele Szenarien. Die faktorisierte Repräsentation erlaubt es dem Modell, partielle Annotationen und heterogene Inputs effektiv zu nutzen, was es robust für „In-the-wild“-Anwendungen macht. Das Paper behauptet, dass dieser Ansatz den Weg für zukünftige Forschung in Richtung 3D/4D-Foundation-Modelle ebnet, räumt jedoch Einschränkungen bei der Handhabung dynamischer Bewegungen, expliziter Unsicherheitsquantifizierung und der Skalierbarkeit auf extrem große Szenen ein.