💻 computer science

MUSE: Multimodal Uncertainty Quantification of State Estimation

Dieser Beitrag stellt MUSE vor, ein neuartiges, lernbasiertes Echtzeit-Framework, das die Mamba-Architektur nutzt, um multimodale Unsicherheit in der visuell-inertialen Zustandsabschätzung effektiv zu quantifizieren und dabei im Vergleich zu bestehenden Methoden überlegene Zuverlässigkeit und Robustheit demonstriert.

Ursprüngliche Autoren: Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie fahren mit einem Auto in einem dichten Nebel. Sie können die Straße direkt vor sich sehen, doch je weiter Sie in die Ferne blicken, desto verschwommener wird alles. Sie haben ein GPS, aber es funktioniert etwas fehlerhaft. Sie wissen, dass Sie sich bewegen, sind sich jedoch zu 100 % nicht genau sicher, wo Sie sich befinden oder wie schnell Sie fahren.

In der Welt der Roboter und selbstfahrenden Autos nennt man dies Zustandsschätzung (State Estimation). Es ist die Methode des Roboters, um seine Position und Orientierung zu ermitteln. Seit Jahren sind Roboter sehr gut darin geworden, ihren Standort mithilfe von Kameras und Bewegungssensoren zu erraten. Doch es gibt ein großes Problem: Sie wissen nicht, wann sie falsch liegen.

Sie könnten zu 99 % sicher sein, dass sie am richtigen Ort sind, aber wenn sie tatsächlich zu 100 % falsch liegen, könnten sie einen Unfall verursachen. Sie benötigen eine Möglichkeit zu sagen: „Ich bin mir ziemlich sicher" oder „Ich habe keine Ahnung, bitte seien Sie vorsichtig."

Das Problem: Der „übermütige" Roboter

Aktuelle Roboter sind wie ein Schüler, der eine Prüfung macht, eine Frage falsch beantwortet, diese aber dennoch mit einem selbstbewussten „A" markiert.

Visuelle Odometrie (VO) ist so, als würde der Roboter Bilder betrachten, um zu erraten, wo er sich befindet.
Inertiale Odometrie ist so, als würde der Roboter seine eigene Bewegung spüren (wie ein Mensch, der sich nach dem Drehen schwindelig fühlt).

Wenn diese beiden voneinander abweichen, oder wenn die Kamera ein verschwommenes Bild sieht (wie ein Fleck auf einem Objektiv) oder der Bewegungssensor ausfällt, fährt der Roboter in der Regel einfach fort zu raten. Er erkennt nicht, dass sich die Bedingungen geändert haben. Ihm fehlt Unsicherheitsquantifizierung – die Fähigkeit zu messen, wie sehr er seinem eigenen Raten vertrauen sollte.

Die Lösung: MUSE (Die „zweite Meinung" des Roboters)

Die Autoren dieses Papers haben ein neues System namens MUSE (Multimodal Uncertainty Quantification of State Estimation) entwickelt.

Stellen Sie sich MUSE als einen superklaren Co-Piloten vor, der neben dem Hauptnavigationssystem des Roboters sitzt.

Es beobachtet alles: Während das Hauptsystem des Roboters möglicherweise nur die Kamera betrachtet, betrachtet MUSE alles gleichzeitig: die Kamerabilder, die Bewegungssensoren (IMU) und die Geschwindigkeitsdaten des Roboters.
Es erkennt Probleme: Wenn die Kamera ein verschwommenes Bild sieht (wie einen Fleck), der Bewegungssensor jedoch sagt: „Hey, wir haben gerade angehalten", bemerkt MUSE diesen Konflikt. Es ist wie ein Detektiv, der feststellt, dass die Geschichte eines Zeugen nicht mit den physischen Beweisen übereinstimmt.
Es gibt einen Vertrauenswert aus: Anstatt nur einen Standort anzugeben, sagt MUSE: „Hier ist, wo Sie sind, UND hier ist ein „Vertrauensmesser", der zeigt, wie sehr Sie dieser Zahl vertrauen sollten."
Es korrigiert den Fehler: Wenn der Roboter von der Kurslinie abdriftet, warnt MUSE ihn nicht nur; es schiebt die Position des Roboters tatsächlich dorthin zurück, wo sie sein sollte.

Funktionsweise: Das „Mamba"-Gehirn

Um dies in Echtzeit zu tun (ohne den Roboter zu verlangsamen), verwendet MUSE eine spezielle Art von KI-Gehirn namens Mamba.

Der alte Weg (Transformer): Stellen Sie sich vor, Sie versuchen, sich an eine lange Geschichte zu erinnern, indem Sie jedes Mal, wenn Sie einen Satz wiedergeben möchten, das ganze Buch lesen. Es ist genau, aber sehr langsam und schwerfällig.
Der Mamba-Weg: Mamba ist wie ein Bibliothekar, der sofort einen langen Bücherregal durchsuchen kann, die wichtigen Teile merkt und die irrelevanten vergisst. Es ist unglaublich schnell und effizient bei der Verarbeitung langer Datenströme (wie eines Video-Feeds von einer Drohne).

Dies ermöglicht es MUSE, eine Abfolge von Ereignissen über die Zeit hinweg zu betrachten. Es kann sagen: „Die Kamera war vor 5 Sekunden in Ordnung, aber vor 2 Sekunden ist der IMU-Sensor ausgefallen, und jetzt ist das Bild verschwommen. Daher sollte mein Vertrauen in den aktuellen Standort sinken."

Die Ergebnisse: Ein besserer Navigator

Die Forscher testeten MUSE an zwei Arten von Daten:

Standardtests: Unter Verwendung öffentlicher Datensätze, bei denen Roboter in Indoor-Arenen flogen.
Schwieriger Modus: Unter Verwendung ihres eigenen neuen Datensatzes namens UnCal-Flight, der knifflige Situationen wie plötzliche Bewegungen, wechselnde Lichtverhältnisse und Personen enthielt, die vor den Sensoren vorbeigingen.

Die Ergebnisse waren eindeutig:

Bessere Genauigkeit: MUSE korrigierte die Position des Roboters besser als frühere Methoden, insbesondere wenn der Roboter verwirrt war.
Ehrliches Vertrauen: Wenn sich der Roboter in einer kniffligen Situation befand (wie bei einem verschwommenen Bild), senkte MUSE seinen Vertrauenswert korrekt. Andere Methoden blieben auch dann übermütig, wenn sie falsch lagen.
Geschwindigkeit: Es läuft schnell genug, um als „Plugin" für bestehende Robotersysteme verwendet zu werden, ohne einen Supercomputer zu benötigen.

Das Fazit

MUSE ist so, als würde man einem Roboter ein „Bauchgefühl" für seine eigene Navigation geben. Es kombiniert alle Sinne des Roboters, um zu erkennen, wenn etwas schiefgeht, korrigiert den Pfad des Roboters und sagt dem Roboter ehrlich, wann er sich Sorgen machen sollte. Dies macht Roboter sicherer und zuverlässiger, besonders in der chaotischen, unvorhersehbaren realen Welt.

Technische Zusammenfassung: MUSE (Multimodale Unsicherheitsquantifizierung der Zustandschätzung)

1. Problemstellung

Eine präzise visuelle Zustandsschätzung ist für Robotikanwendungen wie autonomes Fahren, Drohnennavigation und den Betrieb in GPS-verweigerter Umgebung von entscheidender Bedeutung. Obwohl jüngste Fortschritte in der Visuellen Odometrie (VO) und der Visuell-Inertialen Odometrie (VIO) die Genauigkeit der Pose-Schätzung verbessert haben, bleibt eine grundlegende Herausforderung bestehen: die Quantifizierung und Kalibrierung der Präzision dieser Schätzungen.

Bestehende Methoden haben aufgrund der heteroskedastischen (Varianz hängt vom Input ab) und multimodalen Natur von Odometriefehlern Schwierigkeiten mit der Unsicherheitsquantifizierung.

Filterbasierte Methoden (z. B. Kalman-Filter) leiden häufig unter Inkonsistenzen aufgrund von Linearisierungsfehlern und Modellfehlanpassungen, was zu übermäßig selbstbewussten oder konservativen Kovarianzen führt.
Optimierungsbasierte Methoden schätzen Unsicherheit nachträglich (post-hoc) ab und liefern lokale sowie schlecht kalibrierte Maße.
Lernbasierte Methoden erreichen hohe Genauigkeit, bleiben jedoch häufig übermäßig selbstbewusst und liefern unzuverlässige Unsicherheitsschätzungen.
Vorherige lernbasierte Unsicherheitsansätze (z. B. DICE, D-DICE) verlassen sich typischerweise auf instantane visuelle Eingaben, nutzen keine zeitlichen Informationen oder multimodale Hinweise (wie IMU-Anomalien oder Sensorverschlechterung), die für die Vorhersage von Drift und Ausfällen entscheidend sind.

2. Methodik: MUSE-Rahmenwerk

Die Arbeit stellt MUSE vor, ein Echtzeit-Rahmenwerk auf Lernbasis, das entwickelt wurde, um Posen gemeinsam zu korrigieren und heteroskedastische Unsicherheit aus asynchronen Multi-Sensor-Datenströmen vorherzusagen.

Kernarchitektur

Backbone: MUSE nutzt Mamba, ein strukturiertes Zustandsraummodell (SSM), um sequenzielle Beziehungen und Abhängigkeiten über lange Horizonte in Sensordaten effizient zu erfassen. Dies adressiert die Rechenbeschränkungen von Transformern, während die Fähigkeit zur Verarbeitung langer Sequenzen erhalten bleibt.
Eingabe-Modi: Das System verarbeitet drei asynchrone Ströme:
1. Visuell: Stereobilder, codiert über einen vortrainierten SuperPoint-Encoder.
2. Inertial: IMU-Daten (lineare Beschleunigung und Winkelgeschwindigkeit), codiert über einen vortrainierten RONIN-Encoder.
3. Odometrie: Roh-Pose-Schätzungen und zugehörige Kovarianzen aus dem vorgelagerten VO/VIO-Modul, codiert über ein vollständig vernetztes Netzwerk.
Ausgabe: Das Modell sagt eine Gauß-Verteilung mit nicht-null-Mittelwert über den Pose-Fehler in $SE(3)$ voraus, dargestellt als $\xi_i \sim \mathcal{N}(\mu_i, \Sigma_i)$ $ξ_{i} \sim N (μ_{i}, Σ_{i})$ .
- Mittelwert ( $\mu_i$ ): Wird verwendet, um die geschätzte Pose zu korrigieren ( $\hat{T}'_i = \exp(\mu_i^\wedge)\hat{T}_i$ ).
- Kovarianz ( $\Sigma_i$ ): Liefert ein kalibriertes Maß für die Unsicherheit.

Technische Implementierung

Fehlermodellierung: Der Pose-Fehler wird über eine Logarithmus-Abbildung auf die Lie-Algebra $\mathfrak{se}(3)$ abgebildet. Die Kovarianzmatrix $\Sigma_i$ wird unter Verwendung der LDL-Zerlegung ( $\Sigma_i = L_i D_i L_i^T$ ) rekonstruiert, um positive Semidefinitheit und Trainingsstabilität sicherzustellen.
Trainingsziel: Das Modell wird end-to-end mit zwei entkoppelten Verlustfunktionen trainiert:
1. Geodätischer Verlust ( $L_{geo}$ ): Minimiert den Abstand zwischen der bias-korrigierten Schätzung und dem Ground Truth, einschließlich einer Glättungsstrafe für Trajektorienkonsistenz.
2. Negativer Log-Likelihood ( $L_{nll}$ ): Kalibriert die Unsicherheit, indem die Diskrepanz zwischen beobachteten Fehlern und der vorhergesagten Gauß-Verteilung minimiert wird.

3. Hauptbeiträge

Die Autoren fassen ihre Beiträge wie folgt zusammen:

Neuartige Architektur: Ein Rahmenwerk, das multimodale, heteroskedastische Unsicherheit in der Odometrieschätzung lernt und explizit die Einschränkungen einmodaler, frame-basierter Ansätze adressiert.
UnCal-Flight-Datensatz: Die Veröffentlichung eines herausfordernden, quelloffenen Datensatzes für die Drohnennavigation mit komplexen Bewegungsmustern, variierender Beleuchtung und dynamischen Hindernissen zur Bewertung der Robustheit von VO/VIO.
Echtzeit-Plugin: Nachgewiesene Wirksamkeit als einsetzbares Plugin für bestehende VO/VIO-Systeme (z. B. VINS-Fusion, MSCKF, ORB-SLAM 3, DPVO) über verschiedene Datensätze hinweg, wodurch sowohl Genauigkeit als auch Zuverlässigkeit verbessert werden.

4. Experimentelle Ergebnisse

Experimente wurden auf dem EuRoC-Datensatz und dem UnCal-Flight-Datensatz der Autoren durchgeführt.

Pose-Korrektur: MUSE reduzierte die Pose-Fehler im Vergleich zu Baselines signifikant. Auf dem EuRoC-Datensatz reduzierte es den RMSE von VINS-Fusion um 45,7 % (von 0,164 m auf 0,089 m) und übertraf D-DICE sowie DPC-Net, die nur minimale Verbesserungen oder Regressionen zeigten.
Unsicherheitskalibrierung:
- Null-Mittelwert-Einstellung: MUSE erzielte über alle getesteten Odometriemethoden hinweg einen überlegenen Expected Normalized Calibration Error (ENCE) (z. B. ENCE von 0,300 für VINS-Fusion gegenüber 0,765 für DICE), was auf eine besser kalibrierte Zuversicht hinweist.
- Nicht-Null-Mittelwert-Einstellung: MUSE übertraf D-DICE sowohl in den Log-Likelihood- (LL) als auch in den ENCE-Metriken und demonstrierte damit seine Fähigkeit, systematische Verzerrungen zu korrigieren und gleichzeitig Unsicherheit zu quantifizieren.
Robustheit: Auf dem herausfordernden UnCal-Flight-Datensatz verbesserte MUSE den RMSE um 22,2 % bzw. 38,4 % gegenüber der rohen Odometrie in verschiedenen Trajektorien-Teilbereichen.
Ablationsstudien: Die Ergebnisse bestätigten, dass die Fusion aller Modi (Kamera + IMU + Odometrie) die beste Leistung liefert und die Notwendigkeit einer multimodalen Integration zur Erfassung von Drift und Unsicherheit untermauert.
Effizienz: Das System erreicht eine Inferenzzeit von unter 3 ms pro Fenster auf einer einzelnen NVIDIA RTX 6000 GPU.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MUSE das erste Rahmenwerk darstellt, das die multimodale, zeitliche und heteroskedastische Natur der Odometrieunsicherheit gemeinsam adressiert. Durch die Nutzung von Mamba für eine effiziente sequenzielle Modellierung überwindet MUSE die Einschränkungen früherer rein visueller oder instantaner Unsicherheitsvorhersager.

Die Autoren positionieren MUSE nicht lediglich als eigenständigen Schätzer, sondern als vielseitiges Echtzeit-Plugin, das in der Lage ist, sicherheitskritische Entscheidungsfindung in dynamischen und ressourcenbeschränkten Umgebungen zu verbessern. Die Arbeit schließt die Lücke zwischen hochpräziser Zustandsschätzung und zuverlässiger Unsicherheitsquantifizierung und ermöglicht es nachgelagerten Planern, über das Vertrauen in ihre Zustandsschätzungen zu reasoning. Die Arbeit schließt damit, dass multimodale Integration für eine robuste Unsicherheitsvorhersage unerlässlich ist, eine Erkenntnis, die durch ihre umfangreichen Ablationsstudien gestützt wird.