💻 computer science

MUSE: Multimodal Uncertainty Quantification of State Estimation

Dit artikel introduceert MUSE, een nieuw real-time leerframework dat de Mamba-architectuur benut om multimodale onzekerheid in visueel-inertiaal toestandsbepaling effectief te kwantificeren, en dat superieure betrouwbaarheid en robuustheid toont ten opzichte van bestaande methoden.

Oorspronkelijke auteurs: Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een dikke mist een auto bestuurt. Je ziet de weg direct voor je, maar naarmate je verder vooruitkijkt, wordt alles wazig. Je hebt een GPS, maar die is wat haperend. Je weet dat je beweegt, maar je bent niet 100% zeker exact waar je bent of hoe snel je gaat.

In de wereld van robots en zelfrijdende auto's heet dit Schatting van de Toestand. Het is de manier waarop een robot zijn positie en oriëntatie bepaalt. Jarenlang zijn robots erg goed geworden in het raden van hun locatie met behulp van camera's en bewegingssensoren. Maar er is een groot probleem: ze weten niet wanneer ze het fout hebben.

Ze kunnen er 99% zeker van zijn dat ze op de juiste plek zijn, maar als ze eigenlijk 100% fout zitten, kunnen ze een ongeluk veroorzaken. Ze hebben een manier nodig om te zeggen: "Ik ben vrij zeker," of "Ik heb geen idee, wees voorzichtig."

Het Probleem: De "Oververzekerde" Robot

Huidige robots zijn als een student die een toets maakt, een vraag fout beantwoordt, maar het toch met een zelfverzekerde "A" markeert.

Visuele Odometrie (VO) is als de robot die naar foto's kijkt om te raden waar hij is.
Inertiale Odometrie is als de robot die zijn eigen beweging voelt (zoals een mens die duizelig wordt na het ronddraaien).

Wanneer deze twee het oneens zijn, of wanneer de camera een wazig beeld ziet (zoals een vlek op een lens) of de bewegingssensor uitvalt, blijft de robot meestal gewoon doorgaan met raden. Hij beseft niet dat de omstandigheden zijn veranderd. Hij mist Kwantificering van Onzekerheid—het vermogen om te meten hoeveel hij zijn eigen gok moet vertrouwen.

De Oplossing: MUSE (Het "Tweede Oordeel" van de Robot)

De auteurs van dit artikel hebben een nieuw systeem ontwikkeld dat MUSE heet (Multimodale Kwantificering van Onzekerheid van Toestandschatting).

Stel je MUSE voor als een super-slimme copiloot die naast het belangrijkste navigatiesysteem van de robot zit.

Het ziet alles: Terwijl het hoofdsysteem van de robot misschien alleen naar de camera kijkt, kijkt MUSE naar alles tegelijk: de camera-beelden, de bewegingssensoren (IMU) en de snelheidsgegevens van de robot.
Het ziet de problemen: Als de camera een wazig beeld ziet (zoals een vlek) maar de bewegingssensor zegt: "Hé, we zijn net gestopt met bewegen," dan merkt MUSE dit conflict op. Het is als een detective die ziet dat het verhaal van een getuige niet overeenkomt met het fysieke bewijs.
Het geeft een zekerheidsscore: In plaats van alleen een locatie te geven, zegt MUSE: "Hier ben je, EN hier is een 'zekerheidsmeter' die aangeeft hoeveel je dat getal moet vertrouwen."
Het herstelt de fout: Als de robot van koers raakt, waarschuwt MUSE niet alleen; het duwt de positie van de robot daadwerkelijk terug naar waar hij zou moeten zijn.

Hoe het Werkt: Het "Mamba"-Brein

Om dit in real-time te doen (zonder de robot te vertragen), gebruikt MUSE een speciaal type AI-brein dat Mamba heet.

De Oude Manier (Transformers): Stel je voor dat je probeert een lang verhaal te onthouden door elke keer het hele boek te lezen wanneer je één zin wilt herinneren. Het is accuraat, maar zeer traag en zwaar.
De Mamba-Manier: Mamba is als een bibliothecaris die direct een lange rij boeken kan scannen, de belangrijke delen onthoudt en de irrelevante vergeet. Het is ongelooflijk snel en efficiënt in het verwerken van lange datastromen (zoals een videostream van een drone).

Hierdoor kan MUSE een reeks gebeurtenissen in de tijd bekijken. Het kan zeggen: "De camera was 5 seconden geleden prima, maar 2 seconden geleden viel de IMU-sensor uit, en nu is het beeld wazig. Daarom moet mijn vertrouwen in de huidige locatie dalen."

De Resultaten: Een Beter Navigator

De onderzoekers testten MUSE op twee soorten data:

Standaardtests: Met behulp van openbare datasets waar robots in binnenhallen vlogen.
Moeilijke Modus: Met behulp van hun eigen nieuwe dataset genaamd UnCal-Flight, die lastige situaties bevatte zoals plotselinge bewegingen, veranderend licht en mensen die voor de sensoren liepen.

De bevindingen waren duidelijk:

Betere Nauwkeurigheid: MUSE corrigeerde de positie van de robot beter dan eerdere methoden, vooral wanneer de robot in de war was.
Eerlijk Vertrouwen: Wanneer de robot in een lastige situatie zat (zoals een wazig beeld), verlaagde MUSE correct zijn zekerheidsscore. Andere methoden bleven oververzekerd, zelfs als ze het fout hadden.
Snelheid: Het werkt snel genoeg om als "plugin" voor bestaande robotsystemen te worden gebruikt, zonder dat er een supercomputer nodig is.

De Conclusie

MUSE is als het geven van een "buikgevoel" aan een robot over zijn eigen navigatie. Het combineert alle zintuigen van de robot om te detecteren wanneer er iets misgaat, corrigeert het pad van de robot en vertelt de robot eerlijk wanneer hij zich zorgen moet maken. Dit maakt robots veiliger en betrouwbaarder, vooral in de rommelige, onvoorspelbare echte wereld.

Technische Samenvatting: MUSE (Multimodale Onzekerheidskwantificatie van Schatting van Toestand)

1. Probleemstelling

Nauwkeurige visuele schatting van de toestand is cruciaal voor robottoepassingen zoals autonoom rijden, drone-navigatie en operaties in GPS-ontzegde omgevingen. Hoewel recente vooruitgang in Visuele Odometrie (VO) en Visueel-Inertiale Odometrie (VIO) de nauwkeurigheid van de poseschatting heeft verbeterd, blijft een fundamentele uitdaging bestaan: het kwantificeren en kalibreren van de precisie van deze schattingen.

Bestaande methoden hebben moeite met onzekerheidskwantificatie vanwege het heteroscedastische (variantie hangt af van de invoer) en multimodale karakter van odometriefouten.

Op filters gebaseerde methoden (bijv. Kalman-filters) lijden vaak aan inconsistentie door linearisatiefouten en modelmismatch, wat leidt tot oververzekerde of conservatieve covarianties.
Op optimalisatie gebaseerde methoden schatten onzekerheid post-hoc, wat resulteert in lokale en slecht gekalibreerde maatstaven.
Op leren gebaseerde methoden bereiken hoge nauwkeurigheid maar blijven vaak oververzekerd, waardoor ze onbetrouwbare onzekerheidsschattingen leveren.
Vorige op leren gebaseerde onzekerheidsbenaderingen (bijv. DICE, D-DICE) vertrouwen doorgaans op instantane visuele invoer, waardoor ze geen gebruik maken van temporale informatie of multimodale aanwijzingen (zoals IMU-anomalieën of sensordegradatie) die cruciaal zijn voor het voorspellen van drift en falen.

2. Methodologie: MUSE Framework

Het artikel introduceert MUSE, een real-time, op leren gebaseerd framework dat is ontworpen om gezamenlijk poses te corrigeren en heteroscedastische onzekerheid te voorspellen uit asynchrone multi-sensorstromen.

Kernarchitectuur

Ruggengraat: MUSE maakt gebruik van Mamba, een gestructureerd state-space model (SSM), om sequentiële relaties en langetermijnafhankelijkheden in sensordata efficiënt vast te leggen. Dit adresseert de computationele beperkingen van Transformers terwijl het vermogen om lange sequenties te verwerken behouden blijft.
Invoermodaliteiten: Het systeem verwerkt drie asynchrone stromen:
1. Visueel: Stereobeelden gecodeerd via een vooraf getrainde SuperPoint-encoder.
2. Inertiaal: IMU-data (lineaire versnelling en hoeksnelheid) gecodeerd via een vooraf getrainde RONIN-encoder.
3. Odometrie: Ruwe poseschattingen en bijbehorende covarianties van de upstream VO/VIO-module, gecodeerd via een volledig verbonden netwerk.
Output: Het model voorspelt een niet-nul-gemiddelde Gaussische verdeling over de posefout in $SE(3)$, weergegeven als $\xi_i \sim \mathcal{N}(\mu_i, \Sigma_i)$ $ξ_{i} \sim N (μ_{i}, Σ_{i})$ .
- Gemiddelde ( $\mu_i$ ): Wordt gebruikt om de geschatte pose te corrigeren ( $\hat{T}'_i = \exp(\mu_i^\wedge)\hat{T}_i$ ).
- Covariantie ( $\Sigma_i$ ): Biedt een gekalibreerde maatstaf voor onzekerheid.

Technische Implementatie

Foutmodellering: De posefout wordt via een logaritmische afbeelding afgebeeld op de Lie-algebra $\mathfrak{se}(3)$ . De covariantiematrix $\Sigma_i$ wordt gereconstrueerd met LDL-decompositie ( $\Sigma_i = L_i D_i L_i^T$ ) om positieve semi-definiteit en trainingsstabiliteit te waarborgen.
Trainingsdoel: Het model wordt end-to-end getraind met twee ontkoppelde verliezen:
1. Geodetisch Verlies ( $L_{geo}$ ): Minimaliseert de afstand tussen de bias-gecorrigeerde schatting en de grondwaarheid, inclusief een gladheidsstraf voor trajectconsistentie.
2. Negatieve Log-Likelihood ( $L_{nll}$ ): Kalibreert de onzekerheid door de discrepantie tussen waargenomen fouten en de voorspelde Gaussische verdeling te minimaliseren.

3. Belangrijkste Bijdragen

De auteurs vatten hun bijdragen als volgt samen:

Nieuwe Architectuur: Een framework dat multimodale, heteroscedastische onzekerheid in odometrieschatting leert, en expliciet ingaat op de beperkingen van single-modality, frame-gebaseerde benaderingen.
UnCal-Flight Dataset: De release van een uitdagende, open-source drone-navigatiedataset met complexe bewegingspatronen, variërende belichting en dynamische obstakels om de robuustheid van VO/VIO te evalueren.
Real-time Plugin: Aangetoond effectiviteit als een inzetbare plugin voor bestaande VO/VIO-systemen (bijv. VINS-Fusion, MSCKF, ORB-SLAM 3, DPVO) over diverse datasets, waardoor zowel nauwkeurigheid als betrouwbaarheid worden verbeterd.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op de EuRoC-dataset en de UnCal-Flight-dataset van de auteurs.

Posecorrectie: MUSE verminderde posefouten aanzienlijk in vergelijking met baselines. Op de EuRoC-dataset verlaagde het de RMSE van VINS-Fusion met 45,7% (van 0,164m naar 0,089m), en presteerde het beter dan D-DICE en DPC-Net, die minimale verbetering of regressie vertoonden.
Onzekerheidskalibratie:
- Nul-gemiddelde Instelling: MUSE behaalde een superieure Expected Normalized Calibration Error (ENCE) over alle geteste odometremethoden (bijv. ENCE van 0,300 voor VINS-Fusion versus 0,765 voor DICE), wat wijst op beter gekalibreerd vertrouwen.
- Niet-nul-gemiddelde Instelling: MUSE presteerde beter dan D-DICE op zowel Log-Likelihood (LL) als ENCE-maatstaven, wat zijn vermogen aantoont om systematische biases te corrigeren terwijl onzekerheid wordt gekwantificeerd.
Robuustheid: In de uitdagende UnCal-Flight-dataset verbeterde MUSE de RMSE met 22,2% en 38,4% ten opzichte van ruwe odometrie in verschillende trajectsubsets.
Ablatiestudies: Resultaten bevestigden dat het fuseren van alle modaliteiten (Camera + IMU + Odometrie) de beste prestaties oplevert, wat de noodzaak van multimodale integratie voor het vastleggen van drift en onzekerheid valideert.
Efficiëntie: Het systeem bereikt een inferentietijd van minder dan 3 ms per venster op een enkele NVIDIA RTX 6000 GPU.

5. Betekenis en Claims

Het artikel beweert dat MUSE het eerste framework is dat gezamenlijk ingaat op de multimodale, temporale en heteroscedastische aard van odometrie-onzekerheid. Door Mamba te gebruiken voor efficiënte sequentiemodellering, overwint MUSE de beperkingen van eerdere visueel-only of instantane onzekerheidsvoorspellers.

De auteurs positioneren MUSE niet louter als een standalone schatter, maar als een veelzijdige, real-time plugin die veiligheidskritieke besluitvorming kan verbeteren in dynamische en hulpbronnen-beperkte omgevingen. Het werk overbrugt de kloof tussen nauwkeurige toestandsschatting en betrouwbare onzekerheidskwantificatie, waardoor downstream planners in staat worden gesteld om te redeneren over het vertrouwen in hun toestandsschattingen. Het artikel concludeert dat multimodale integratie essentieel is voor robuuste onzekerheidsvoorspelling, een bevinding die wordt ondersteund door hun uitgebreide ablatiestudies.