Technische Samenvatting: MapAnything

Probleemstelling

Traditionele beeldgebaseerde 3D-reconstructie vertrouwt op het opdelen van het probleem in afzonderlijke, sequentiële taken zoals feature detectie, matching, pose schatting, cameracalibratie, bundle adjustment en multi-view stereo (MVS). Hoewel recente feed-forward benaderingen sommige van deze taken hebben verenigd, blijven ze vaak beperkt tot specifieke configuraties van inputs (bijv. een vast aantal views, alleen beeld-inputs) of vereisen ze dure post-processing om metrische schaal en camerapozen te herstellen. Er is een gebrek aan een verenigd, end-to-end model dat in staat is om diverse 3D-reconstructietaken te behandelen—van ongekalibreerde Structure-from-Motion (SfM) tot gekalibreerde MVS en diepte-completie—terwijl het effectief gebruikmaakt van heterogene inputs zoals cameraintrinsics, poses en dieptekaarten.

Methodologie: MapAnything

MapAnything is een verenigd, transformer-gebaseerd feed-forward model dat ontworpen is om metrische 3D-scènegeometrie en camerapozen direct te regresseren vanuit $N$ inputbeelden en optionele geometrische inputs.

1. Gefactoreerde Scène-representatie

Het kerninzicht van MapAnything is het gebruik van een gefactoreerde representatie van multi-view scènegeometrie. In plaats van een gekoppelde pointmap te voorspellen (waarbij geometrie en cameraparameters verstrengeld zijn), deelt het model de output op in:

• Lokale Straalrichtingen ($R_i$): Genormaliseerde vectoren die de richting van de stralen voor elk pixel vertegenwoordigen.
• Straaldieptes ($\tilde{D}_i$): Dieptewaarden langs de stralen in een "up-to-scale" ruimte.
• Camerapozen ($\tilde{P}_i$): Vertegenwoordigd als eenheidsequaternionen ($Q_i$) en up-to-scale translaties ($\tilde{T}_i$) relatief aan de eerste view.
• Metrische Schaalfactor ($m$): Een enkele globale schalar die de lokale, up-to-scale reconstructie upgrade naar een globaal consistente metrische frame.

De uiteindelijke metrische 3D pointmap $X^{metric}_i$ wordt berekend als $m \cdot (O_i \cdot (R_i \cdot \tilde{D}_i) + \tilde{T}_i)$, waarbij $O_i$ de rotatiematrix is afgeleid van de quaternion.

2. Architectuur

• Input Encoding: Het model accepteert $N$ RGB-beelden en optionele geometrische inputs (straalrichtingen, poses, dieptekaarten). Beelden worden gecodeerd met behulp van DINOv2 (ViT-G). Geometrische inputs worden gefactoreerd en gecodeerd via ondiepe convolutionele encoders (voor dense inputs zoals stralen/diepte) of MLPs (voor globale hoeveelheden zoals rotatie/translatie schalen).
• Multi-View Transformer: De gecodeerde features worden geflattend naar tokens. Een enkele leerbare scale token wordt toegevoegd aan de set van $N$ view tokens. Een vaste referentie-view embedding wordt toegevoegd aan de eerste view om deze te onderscheiden. Deze tokens worden verwerkt door een 16-laagse alternating-attention transformer (geïnitialiseerd van DINOv2 lagen) om informatie over views heen te fuseren.
• Decoding Heads:
  • DPT Head: Decodeert de $N$ view tokens naar dense per-view outputs: straalrichtingen, up-to-scale straaldieptes, confidence masks en pointmap confidence maps.
  • Pose Head: Een average-pooling-gebaseerde convolutionele head voorspelt eenheidsequaternionen en up-to-scale translaties voor alle views.
  • Scale Head: Een MLP verwerkt de scale token om de globale metrische schaalfactor $m$ te voorspellen.

3. Trainingsstrategie

MapAnything wordt end-to-end getraind op een diverse aggregatie van 13 datasets (indoor, outdoor, synthetisch) die meer dan 12 verschillende probleemconfiguraties dekken.

• Flexibele Input Augmentatie: Tijdens de training worden geometrische inputs (intrinsics, poses, diepte) geleverd met variërende waarschijnlijkheden (bijv. 0,5 voor elke factor) om verschillende real-world scenario's te simuleren waarin data gedeeltelijk of ontbrekend kan zijn.
• Loss Functies: Het model maakt gebruik van een samengestelde loss functie inclusief:
  • Regressie losses voor stralen, rotaties en translaties.
  • Log-ruimte losses voor straaldieptes, pointmaps en de metrische schaalfactor om grote dynamische bereiken aan te kunnen.
  • Confidence-weighted pointmap loss en binary cross-entropy voor masks.
  • Normal en multi-scale gradient matching losses (toegepast op synthetische data).
• Schaalafhandeling: Om te voorkomen dat gradiënten van de schaal-loss de geometrie corrumperen, wordt de metrische schaalfactor berekend met een gedetacheerde up-to-scale norm schaalfactor ($z_{metric} = m \cdot \text{sg}(\tilde{z})$).

Belangrijkste Bijdragen

1. Verenigd Feed-Forward Model: MapAnything ondersteunt meer dan 12 verschillende 3D-reconstructie probleemconfiguraties (bijv. ongekalibreerde SfM, gekalibreerde MVS, monoculaire diepte, camera lokalisatie) in één enkel model, en presteert beter dan of komt overeen met specialistische modellen.
2. Gefactoreerde Scène-representatie: Door lokale geometrie (stralen/diepte) te ontkoppelen van globale pose en metrische schaal, stelt het model flexibele inputs en efficiënte voorspelling mogelijk zonder kostbare post-processing of redundante voorspellingen.
3. State-of-the-Art Prestaties: Het model behaalt superieure resultaten vergeleken met andere feed-forward baselines (bijv. DUSt3R, VGGT, MASt3R) en evenaart of overtreft expert modellen die voor specifieke taken zijn ontworpen.
4. Open Source Release: De auteurs brengen code vrij voor dataverwerking, inferentie en training, samen met pre-trained modellen onder permissieve licenties (Apache 2.0 en CC BY-NC 4.0).

Resultaten

Het paper benchmarkt MapAnything over meerdere taken en inputconfiguraties:

• Multi-View Dense Reconstructie: Op ETH3D, ScanNet++ v2 en TartanAirV2-WB behaalt MapAnything state-of-the-art prestaties in pointmap, pose, diepte en straalrichting schatting met alleen beeld-inputs. Het presteert significant beter dan baselines wanneer het wordt voorzien van hulp-geometrische inputs (intrinsics, poses, diepte).
• Two-View Reconstructie: MapAnything overtreft Pow3R (de enige andere twee-view feed-forward methode die priors gebruikt) en image-only baselines over alle inputconfiguraties.
• Single-View Kalibratie: Ondanks dat het niet speciferiek op single images is getraind, behaalt MapAnything state-of-the-art perspectief kalibratie nauwkeurigheid op ETH3D, ScanNet++ v2 en TartanAir.
• Diepte Schatting: In de Robust-MVD benchmark presteert MapAnything beter dan gespecialiseerde modellen zoals MASt3R en MUSt3R in multi-view metrische diepte schatting. Met hulp-inputs levert het competitieve resultaten tegenover taakspecifieke modellen.
• Efficiëntie: Ablatie studies (Tabel 5) laten zien dat een enkel universeel getraind model even goed presteert als, of beter is dan, meerdere op maat gemaakte modellen voor specifieke inputconfiguraties, ondanks dat de computationele kosten vergelijkbaar zijn met slechts twee op maat gemaakte modellen.

Betekenis en Claims

De auteurs positioneren MapAnything als een stap naar een universele 3D-reconstructie backbone. Door diverse taken en inputmodaliteiten te verenigen in een enkele feed-forward pass, elimineert het model de noodzaak voor taakspecifieke tuning en complexe optimalisatie pipelines (zoals bundle adjustment) voor veel scenario's. De gefactoreerde representatie stelt het model in staat om effectief gebruik te maken van gedeeltelijke annotaties en heterogene inputs, wat het robuust maakt voor "in-the-wild" toepassingen. Het paper claimt dat deze aanpak de weg vrijmaakt voor toekomstig onderzoek naar 3D/4D foundation modellen, hoewel het beperkingen erkent in het omgaan met dynamische beweging, expliciete onzekerheid kwantificering en schaalbaarheid naar extreem grote scènes.