M2H-MX: Multi-Task Dense Visual Perception for Real-Time Monocular Spatial Understanding

Probleemstelling

Enkelen camera's (monoculaire camera's) zijn aantrekkelijk voor robotica vanwege hun lage kosten, lichtgewicht en eenvoudige inzetbaarheid. Het is echter zeer uitdagend om betrouwbare ruimtelijke kennis (diepte en semantiek) uit één enkele beeldstroom te halen, vooral binnen de strikte tijdsbeperkingen van real-time mapping en planning.

Bestaande systemen vertrouwen vaak nog op duurdere RGB-D of LiDAR-sensoren, of op perceptiemodellen die te zwaar zijn voor efficiënt gebruik. Het integreren van moderne multi-task modellen in een lopende mapping-pijplijn stuit op drie specifieke beperkingen die vaak worden genegeerd:

1. Lage en voorspelbare latentie: Voorspellingen moeten snel arriveren om de mapping-backend niet te vertragen.
2. Frame-tot-frame stabiliteit: Inconsistenties in diepte of semantiek kunnen tracking en kaartfusie verslechteren.
3. Compatibiliteit: De perceptiemodule moet via een vaste interface integreren zonder de onderliggende SLAM-systemen (Simultaneous Localization and Mapping) aan te passen.

Methodologie: M2H-MX

Het paper introduceert M2H-MX, een real-time multi-task perceptiemodel dat is ontworpen om deze beperkingen te overwinnen. Het model voorspelt dichte geometrische en semantische grootheden (diepte, semantiek, normaalvectoren en randen) uit een monoculaire RGB-afbeelding.

De architectuur bestaat uit drie kerncomponenten:

1. Backbone met LoRA-adaptatie:

   • Het model gebruikt een DINOv3-backbone (een sterke foundation model).
   • Om generalisatie te behouden en trainingskosten te verlagen, worden de backbone-weights bevroren.
   • Low-Rank Adaptation (LoRA) wordt alleen toegepast op de laatste 12 transformer-blokken (QKV en MLP projecties) om het model aan te passen aan dichte voorspelling zonder de basisrepresentaties te verstoren.

2. Register-Gated Multi-Scale Decoder:

   • De decoder bouwt een multi-scale piramide op.
   • Een uniek kenmerk is het gebruik van Register Tokens uit de backbone. Deze worden gepooled tot een compact globaal register-vector dat de context van de hele scène vastlegt.
   • Een Register-Gated Mamba (RGM) blok injecteert deze globale context in elke schaal van de decoder via een kanaal-gate. Dit zorgt voor robuustheid tegen monoculaire ambiguïteit en efficiënte lange-afstandsafhankelijkheden met een voorspelbare runtime.

3. Gestuurde Cross-Task Interactie en Verfijning:

   • Cross-Task Mixer (CTM): Laat gerelateerde taken (bijv. diepte en semantiek) elkaar beïnvloeden via een gestuurd mechanisme, zonder symmetrische interacties af te dwingen.
   • Multi-Scale Convolutional Attention (MSCA): Verfijnt de gefuseerde representaties met behulp van dieptewijze spatiale aandacht.
   • Task Heads: Specifieke koppen genereren de uiteindelijke outputs. De diepte wordt voorspeld via adaptieve bins met residu-verfijning, terwijl semantiek, normaalvectoren en randen via lichtgewicht convolutiekoppen worden gegenereerd.

Training: Het model gebruikt taak-specifieke verliesfuncties met tussen-supervisie en leert onzekerheidsparameters om de verschillende taken te balanceren.

Systeemintegratie

Een cruciaal aspect van dit werk is de perceptie-naar-mapping interface. M2H-MX fungeert als een vervanging voor de perceptie-frontend van een bestaande monoculaire SLAM-pijplijn (gebaseerd op Mono-Hydra).

• De SLAM-backend (odometrie en mapping) wordt niet aangepast.
• M2H-MX voert asynchroon uit op de GPU en levert dichte diepte- en semantische labels.
• Deze output wordt direct verwerkt als RGB-D frames voor de bestaande odometrie-module.

Resultaten

De auteurs evalueren het model op twee niveaus: dichte voorspelling en systeemprestaties.

1. Dichte Voorspelling (Benchmarks):

• NYUDv2: M2H-MX-L bereikt state-of-the-art resultaten. Het verbetert de semantische mIoU met 6,6% (van 58,94 naar 65,60 in vergelijking met de beste voorganger M2H) en verlaagt de diepte RMSE met 9,4%.
• Cityscapes: Het model generaliseert goed naar buitenomgevingen, met een verbetering van +3,15 punten in mIoU ten opzichte van MTMamba++.
• Efficiëntie: Ondanks de extra taken en verfijning, blijft het model binnen real-time beperkingen (15–20 Hz end-to-end).

2. Systeemprestaties (SLAM):

• Geïntegreerd in een real-time monoculaire mapping-systeem op de ScanNet-dataset.
• M2H-MX reduceert de gemiddelde trajectfout (Absolute Trajectory Error - ATE) met 60,7% ten opzichte van een sterke monoculaire SLAM-basislijn (Go-SLAM).
  • Van 17,59 cm naar 6,91 cm.
• De gegenereerde kaarten zijn geometrisch schoner en semantisch consistenter.

Ablatiestudies:

• Het verwijderen van de CTM en MSCA modules leidt tot een significante daling in prestaties, wat aantoont dat gestuurde cross-task uitwisseling essentieel is.
• Het gebruik van de DINOv3-backbone is kritiek; vervanging door DINOv2 of ConvNeXt resulteert in grote prestatieverliezen.

Bijdragen en Significantie

De belangrijkste bijdragen van dit paper zijn:

1. M2H-MX Architectuur: Een nieuw model dat sterke multi-scale representaties combineert met een lichtgewicht decoder die globale context en cross-task interactie efficiënt beheert binnen strikte latentie-eisen.
2. Interface voor Integratie: Een compacte interface die het mogelijk maakt om geavanceerde perceptiemodellen naadloos te integreren in bestaande, onveranderde SLAM-pijplijnen.
3. Systeembeoordeling: Het bewijs dat verbeteringen in dichte multi-task voorspelling direct vertalen naar meetbare, systemische verbeteringen in robotica-toepassingen (zoals lagere trajectfouten).

Significantie:
Dit werk benadrukt dat de ontwikkeling van perceptiemodellen en de behoeften van ingebouwde robotsystemen dichter bij elkaar moeten komen. Het toont aan dat men niet noodzakelijk de SLAM-algoritmes hoeft te herschrijven om betere resultaten te krijgen; in plaats daarvan kan een zorgvuldig ontworpen, real-time perceptie-frontend de prestaties van het volledige systeem drastisch verbeteren. Dit opent de weg voor robuustere en goedkopere robotica-systemen die puur op monoculaire visie vertrouwen.