💻 computer science

Online Learning of Robust Legged Odometry with Minimal Exteroceptive Supervision

Dieses Papier präsentiert ein Plug-and-Play-fähiges, robustes Odometriesystem für geländegängige Roboter, das die Notwendigkeit einer expliziten Sensorkalibrierung oder kinematischen Modellierung durch das Training eines Online-Neuronalen Netzes auf propriozeptiven Daten unter Verwendung exterozeptiver Signale als Supervision eliminiert und somit einen nahtlosen Rückfall auf eine rein propriozeptive Schätzung ermöglicht, wenn sich die Umweltbedingungen verschlechtern.

Ursprüngliche Autoren: Abhijeet M. Kulkarni, Yuze Du, Guoquan Huang

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Abhijeet M. Kulkarni, Yuze Du, Guoquan Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen Roboterhund. Um umherlaufen zu können, ohne zu fallen oder sich zu verirren, muss er genau wissen, wo er ist und wie schnell er sich bewegt. Dies nennt man Odometrie.

Traditionell nutzen Roboterhunde zwei Hauptwege, um dies herauszufinden:

Die „Augen“ (Exterozeption): Kameras und LiDARs (Laser), die die Welt betrachten. Diese sind großartig, aber wenn es stockfinster, neblig oder die Wände rein weiß sind, wird der Roboter blind.
Das „Innenohr“ (Propriozeption): Sensoren in den Gelenken und im Körper des Roboters, die fühlen, wie sich die Beine bewegen. Diese werden niemals blind, aber sie sind wie ein Mensch, der mit geschlossenen Augen geht: Er kann zwar schätzen, wo er ist, basierend darauf, wie viele Schritte er gemacht hat, aber wenn er auf Eis ausrutscht oder über einen Stein stolpert, wird seine Schätzung falsch.

Das Problem ist, dass die Kombination dieser beiden Methoden normalerweise einen sehr schwierigen, manuellen „Kalibrierungsprozess“ erfordert. Man muss dem Roboter genau sagen, wie seine Augen mit seinen Beinen zusammenhängen. Wenn man den Roboter verändert oder eine Kamera versetzt, muss man diese Mathematik erneut durchführen.

Die Lösung des Papers: Ein „Smart Tutor“-System

Die Autoren dieses Papers haben ein System entwickelt, das wie ein Plug-and-Play-Smart-Tutor funktioniert. So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Reservoir“ (Der Speicherbank)

Anstatt zu versuchen, komplexe mathematische Formeln dafür zu schreiben, wie sich der Roboter bewegt, nutzt das System ein „Reservoir“ (ein Echo State Network). Stellen Sie sich dies als einen riesigen, chaotischen Schwamm vor, der alle jüngsten Bewegungen des Roboters (Gelenkwinkel, Geschwindigkeiten, Kräfte) aufsaugt.

Wie es funktioniert: Sie müssen den Schwamm selbst nicht trainieren. Er ist bereits mit zufälligen Verbindungen vorgefertigt. Er hält lediglich die „Historie“ dessen, was der Roboter gefühlt hat.

2. Der „Readout“ (Der Schüler)

An diesen Schwamm ist ein kleines, einfaches Gehirn (ein neuronales Netz) angehängt, der sogenannte Readout. Seine Aufgabe ist es, den Schwamm zu beobachten und zu sagen: „Basierend auf all diesem Gefühl bewegen wir uns mit 2 Metern pro Sekunde.“

Die Innovation: Normalerweise muss man diesen Schüler-Verstand offline in einem Labor trainieren. Dieses Paper lehrt den Schüler während der Roboter tatsächlich läuft.

3. Der „Tutor“ (Die Aufsicht)

Wenn die „Augen“ des Roboters (Kameras/LiDAR) gut funktionieren, agieren sie als Tutor.

Der Tutor sagt: „Nein, wir bewegen uns tatsächlich mit 2,1 Metern pro Sekunde.“
Das Schüler-Gehirn hört zu, vergleicht seine Schätzung mit der Antwort des Tutors und passt seine internen Gewichte sofort an, um der Wahrheit näher zu kommen.
Entscheidender Punkt: Das System ist intelligent genug zu wissen, ob der Tutor verwirrt ist (z. B. in der Dunkelheit). Wenn der Tutor unzuverlässig ist, ignoriert das System die Korrektur des Tutors und lässt den Schüler einfach basierend auf seiner eigenen besten Schätzung weiterlernen, ohne dass er für schlechte Daten „gescholten“ wird.

4. Der „Referee“ (Der Wechsel-Manager)

Ein Referee (Schiedsrichter) beobachtet sowohl das „Innenohr“ des Roboters (den Schüler) als auch die „Augen“ (den Tutor).

Szenario A (Gutes Licht): Der Referee vertraut dem Tutor (Augen), um den Roboter zu führen, und nutzt den Tutor auch, um den Schüler zu lehren.
Szenario B (Schlechtes Licht/Dunkelheit): Der Referee sieht, dass der Tutor Schwierigkeiten hat (die Kamera ist blind). Er schaltet den Roboter sofort auf den Schüler (das gelernte „Innenohr“-Modell) um.
Da der Schüler während der Roboter lief, wurde trainiert, ist er selbst ohne die Augen überraschend genau.

Warum ist das besonders?

Keine manuelle Mathematik: Sie müssen nicht exakt messen, wo die Kamera relativ zu den Beinen positioniert ist. Der Roboter lernt die Beziehung selbst, während er sich bewegt.
Funktioniert auf jedem Hund: Ob es ein Boston Dynamics Spot oder ein Ghost Robotics Vision 60 ist, das System funktioniert sofort. Es benötigt kein Vortraining in einem Simulator.
Resilient: Wenn das Licht ausgeht oder der Roboter in einen merkmalslosen weißen Raum läuft, versagen die „Augen“, aber der Roboter stürzt nicht ab. Er wechselt nahtlos zu seinem „Innenohr“-Training, welches durch die Momente, in denen die Augen funktionierten, geschärft wurde.

Die Ergebnisse

Das Team testete dies an zwei echten Roboterhunden:

Spot: Sie testeten es mit einem Datensatz, bei dem sie den „Tutor“ (Vision) für kurze Zeiträume künstlich ausschalteten. Das „Schüler“-Gehirn des Roboters lernte schnell genug, dass der Roboter selbst dann geradeaus weiterlief, ohne vom Kurs abzuweichen, wenn die Augen ausgeschaltet waren.
Vision 60: Sie nahmen den Roboter mit in ein echtes Gebäude und schalteten mitten beim Gehen das Licht aus. Das kamerabasierte System (der Tutor) verlor die Orientierung und der Pfad des Roboters driftete wild ab. Das neue System hingegen wechselte in seinen gelernten „Innenohr“-Modus und blieb auf dem korrekten Pfad, wodurch es viel näher am eigentlichen Ziel ankam.

Die Einschränkung

Das Paper gibt eine wichtige Regel zu: Der Roboter kann nicht lernen, wenn sowohl die Augen als auch das Innenohr gleichzeitig versagen. Wenn der Roboter in völliger Dunkelheit ist und seine Beine so stark auf Eis rutschen, dass die Sensoren keinen Unterschied mehr feststellen können, wird das System nicht funktionieren. Es benötigt mindestens ein zuverlässiges Signal, um das „Schüler“-Gehirn davor zu bewahren, falsch zu raten.

Kurz gesagt: Dieses Paper gibt Roboterhunden eine Möglichkeit, durch Fühlen zu lernen, wobei sie ihre Augen nur als temporären Lehrer nutzen, damit sie auch dann weiterlaufen können, wenn sie blind werden.

Technisches Resümee: Online-Lernen von robuster Beino-Odometrie mit minimaler exterozeptiver Überwachung

Problemstellung

Robuste Navigation für beutende Roboter erfordert eine genaue Odometrie, die typischerweise durch Multi-Sensor-Fusion erreicht wird. Herkömmliche Ansätze stehen jedoch vor erheblichen Implementierungshürden:

Kalibrierungs- und Modellierungskomplexität: Die Fusion von propriozeptiven (Gelenksensoren, IMUs) und exterozeptiven (Kameras, LiDAR) Daten erfordert eine akribische Inter-Sensor-Kalibrierung und plattformspezifische kinematische Modellierung. Diese Parameter sind empfindlich gegenüber Änderungen der Roboterkonfiguration oder der Sensorbefestigung.
Anfälligkeit gegenüber Umweltdegradierung: Während industriell verpackte exterozeptive Sensoren präzises Tracking ermöglichen, versagen sie unter adversen Bedingungen (z. B. geringe Lichtverhältnisse für Kameras, merkmalslose Umgebungen für LiDAR).
Limitierungen der Propriozeption: Rein propriozeptive Methoden verlassen sich auf handgefertigte kinematische und Kontaktmodelle, die unter Schlupf, Aufprall, Geländeanpassung oder Laständerungen degradieren.
Offline-Trainingsbeschränkungen: Bestehende lernbasierte Methoden erfordern oft ein Offline-Training auf repräsentativen Datensätzen, was die Anpassungsfähigkeit an neue Hardware oder dynamische Umgebungen ohne Vortraining einschränkt.

Das Paper adressiert das Bedürfnis nach einem Plug-and-Play-, plattformagnostischen Odometriesystem, das propriozeptiv-zu-Geschwindigkeits-Abbildungen online mit minimaler Überwachung lernen kann, wodurch die Notwendigkeit einer expliziten Kalibrierung oder eines Vortrainings entfällt und nahtlos auf gelerntes Propriozeption zurückgegriffen werden kann, wenn exterozeptive Sensoren versagen.

Methodik

Das vorgeschlagene System besteht aus zwei primären Komponenten: einem Online-gelernten Propriozeptionsmodul und einem robusten Invarianten Erweiterten Kalman-Filter (InEKF)-Framework.

1. Effiziente ESN-basierte Propriozeption via Low-Rank EKF

Die Kerninnovation ist ein propriozeptives Modul, das lernt, die Basisgeschwindigkeit direkt aus verrauschten Gelenksignalen (Positionen, Geschwindigkeiten, Drehmomente) zu schätzen, ohne handgefertigte Modelle zu verwenden.

Echo State Network (ESN) Backbone: Um die Rechenkosten für das Online-Training rekurrenter Gewichte zu vermeiden, verwendet das System ein ESN. Die Historie der Gelenksignale wird über eine feste, zufällig initialisierte rekurrent dynamische Struktur in einen Reservoirzustand ( $x_t$ ) komprimiert. Dies fungt als Delay-Embedding der propriozeptiven Historie.
MLP-Readout: Ein Multi-Layer Perceptron (MLP) mit den Gewichten $\hat{\theta}_t$ bildet den Reservoirzustand auf die Basisgeschwindigkeit ( $v^{esn}_t$ ) ab.
Online-Training mit Low-Rank EKF (LOFI): Anstatt Stochastic Gradient Descent (SGD) zu verwenden, welches Schwierigkeiten mit der Quantifizierung von Unsicherheit und der Gewichtung von Stichproben in Streaming-Daten hat, verwendet der Autor einen Filteransatz.
- Die optimalen Readout-Parameter $\theta^*_t$ werden als latenter Zustand behandelt, der einer Random Walk folgt.
- Ein Low-Rank EKF aktualisiert die MLP-Gewichte in Echtzeit unter Verwendung spärlicher exterozeptiver Geschwindigkeitsüberwachung ( $v^{sup}_t$ ), wann immer diese verfügbar ist.
- Diese Methode berücksichtigt die Unsicherheit sowohl in der propriozeptiven Eingabe (Reservoirzustand-Kovarianz) als auch im Überwachungssignal.
- Die Verwendung einer Low-Rank-Approximation (LOFI) ermöglicht es dem System, die hohe Dimensionalität der MLP-Gewichte ( $D \approx 8000+$ ) in Echtzeit zu handhaben, wobei eine Speicherkomplexität von $O(D(L+C))$ und eine Rechenkomplexität von $O(D(L+C)^2)$ beibehalten wird.

2. Robustes InEKF-basiertes Beino-Odometrie-System

Die gelernte propriozeptive Geschwindigkeit wird mit IMU-Daten und optionalen exterozeptiven Geschwindigkeiten innerhalb eines InEKF-Frameworks fusioniert.

Zustandsrepräsentation: Der Navigationszustand umfasst Orientierung, Geschwindigkeit, Position und IMU-Biases, die über ein Strapdown-IMU-Modell propagiert werden.
Adaptive Messwertwahl: Ein Switching Manager wählt dynamisch die Quelle der Geschwindigkeitsmessung aus:
- Exterozeptiv (VINS): Wird verwendet, wenn das visuell-inertiale System zuverlässig arbeitet. Es dient gleichzeitig als Überwachungssignal für das Update der propriozeptiven MLP.
- Propriozeptiv (ESN): Wird verwendet, wenn VINS degradiert (z. B. texturlose Szenen, Lichtwechsel). Das System verlässt sich auf das gelernte Modell, das während der Phasen zuverlässiger Überwachung aktualisiert wurde.
Umgang mit Unsicherheit: Die Switching-Logik überwacht die Gesundheit des VINS (Feature-Tracking-Qualität und Kovarianz) sowie die ESN-Kovarianz. Wenn VINS als "unbrauchbar" markiert wird und die ESN-Kovarianz niedrig ist, wechselt das System zur gelernten propriozeptiven Geschwindigkeit für die Zustandschätzung und stoppt gleichzeitig das MLP-Update, um eine Korruption durch schlechte Überwachung zu verhindern.

Wichtigste Beiträge

Online-Propriozeptions-Lernen: Das Paper präsentiert die erste Methode, die Beino-Propriozeption als MLP-Readout über einem ESN modelliert, das online während des Einsatzes trainiert wird. Es erfordert kein Vortraining, keine handgefertigten kinematischen/Kontaktmodelle und lässt sich auf jeden beutenden Roboter mit propriozeptiven Sensoren übertragen.
Low-Rank EKF für neuronales Training: Die Autoren nutzen einen Low-Rank EKF, um die MLP-Readout-Gewichte online zu trainieren. Dieser Ansatz quantifiziert einzigartig die Unsicherheit in den Gewichten und der Eingabe, was adaptive Lernraten basierend auf der Qualität des Überwachungssignals ermöglicht und die Einschränkungen von Standard-SGD in Streaming-Szenarien überwindet.
Robustes InEKF-Framework: Ein vereinheitlichtes Odometrie-Framework, das IMU-Daten optimal mit entweder gelernten propriozeptiven oder exterozeptiven Geschwindigkeiten fusioniert. Es verfügt über eine adaptive Switching-Strategie, die Resilienz gewährleistet, wenn exterozeptive Sensoren versagen, indem sie nahtlos auf das online-gelernte propriozeptive Modell zurückfällt.

Experimentelle Ergebnisse

Die Methode wurde auf zwei Quadruped-Plattformen validiert: Boston Dynamics Spot und Ghost Robotics Vision 60.

Evaluierung des Spot-Datensatzes:
- Das System wurde auf verschiedenen Sequenzen (z. B. ATRIUM, BICORRIDOR, DOWNSTAIR) mit Überwachungswindows von 10s, 30s und 60s getestet.
- Leistung: Mit nur 30 Sekunden Überwachung lernte die Methode eine zuverlässige Geschwindigkeitsabbildung. In vielen Sequenzen war die Performance vergleichbar mit oder sogar besser als die von GaRLILEO (exterozeptiv-propriozeptive Baseline) und Leg-InEKF (offline-kalibrierte Baseline), obwohl keine Offline-Kalibrierung durchgeführt wurde.
- Beobachtung: Die Genauigkeit verbesserte sich mit längeren Überwachungswindows. Ausnahmen traten auf (z. B. OVERPASS-Sequenz), bei denen die unüberwachte Bewegungsverteilung (Treppennabstieg) signifikant von der überwachten Verteilung (flacher Boden/Treppenaufstieg) abwich, was zu Drift führte. Dies verdeutlicht die Einschränkung, dass das Modell nicht über die Verteilung seiner Überwachung hinaus generalisiert.
Real-World-Einsatz mit Vision 60:
- Getestet in einem Gebäude mit einem Intel RealSense D435i, ohohne externe Kalibrierung zwischen der Kamera und den Robotersensoren.
- Szenarien: Der Roboter durchquerte visuell degradierte Zonen, darunter einen Flur mit ausgeschaltetem Licht und ein Waschraum, in dem das Licht während einer Drehung gelöscht wurde.
- Ergebnis: Als VINS aufgrund mangelnder visueller Merkmale oder Lichtveränderungen versagte, erkannte der Switching Manager die Degradierung erfolgreich und wechselte zum gelernten propriozeptiven Modul. Das System behielt eine genaue Trajektorie bei, während die VINS-only-Baseline schwerwiegenden Drift und Überschwingen zeigte.

Bedeutung und Behauptungen

Das Paper behauptet, ein resilientes, plattformagnostisches Odometriesystem demonstriert zu haben, das:

Kalibrierung eliminiert: Die Notwendigkeit einer expliziten exterozeptiven-zu-propriozeptiven Kalibrierung oder einer systemischen kinematischen Modellierung aufhebt und somit einen "Plug-and-Play"-Einsatz auf unterschiedlicher Hardware ermöglicht.
An adversen Bedingungen anpasst: Durch den nahtlosen Rückfall auf ein online gelerntes propriozeptives Modell, wenn exterozeptive Sensoren degradieren, eine robuste Bewegungsschätzung aufrechterhält.
Effizientes Online-Lernen ermöglicht: Beweist, dass komplexe neuronale Readouts mittels Low-Rank EKF in Echtzeit online trainiert werden können, wobei die Unsicherheiten sowohl der Sensoreingabe als auch des Überwachungssignals berücksichtigt werden.

Anerkannte Limitierungen:
Die Autoren merken bescheiden an, dass das Framework voraussetzt, dass Exterozeption und Propriozeption nicht gleichzeitig degradieren. Zudem wird nicht erwartet, dass das gelernte Readout-MLP über die durch die Geschwindigkeitsüberwachung abgedeckten Bewegungsverteilungen hinaus generalisiert; die Vorhersage der Geschwindigkeit für ungesehene Bewegungstypen wird zu fehlerhaften Schätzungen führen.