⚡ electrical engineering

Local Conformal Calibration of Dynamics Uncertainty from Semantic Images

Dieser Beitrag stellt OCULAR vor, einen auf konformaler Vorhersage basierenden Algorithmus, der semantische Bildinformationen nutzt, um nicht-asymptotische, verteilungsfreie Unsicherheitsquantifizierungsgarantien für lineare Gaußsche Dynamikmodelle zu liefern und so eine probabilistisch sichere Planung in unbekannten Umgebungen ermöglicht, indem zwischen Bereichen mit hoher und niedriger Unsicherheit unterschieden wird, ohne umgebungsspezifische Daten zu benötigen.

Ursprüngliche Autoren: Luís Marques, Dmitry Berenson

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Luís Marques, Dmitry Berenson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, ein Auto zu fahren. Sie geben dem Roboter eine Karte und eine Reihe von Regeln, wie sich das Auto bewegen soll. Doch in der realen Welt verläuft nicht immer alles gemäß den Regeln. Manchmal ist die Straße vereist, manchmal gibt es einen Windstoß, oder die Reifen rutschen. Der Roboter muss wissen: „Wie sicher bin ich darüber, wo ich in der nächsten Sekunde sein werde?"

Wenn der Roboter zu selbstsicher ist, wenn er vorsichtig sein sollte, könnte er einen Unfall bauen. Wenn er zu vorsichtig ist, wenn er mutig sein sollte, könnte er stecken bleiben oder sich zu langsam bewegen.

Diese Arbeit stellt eine neue Methode namens OCULAR (Observation-aware Conformal Uncertainty Local-Calibration) vor. Denken Sie an OCULAR als ein „intelligentes Sicherheitsnetz", das dem Roboter hilft, genau herauszufinden, wie sehr er seinen eigenen Vorhersagen vertrauen kann, basierend auf dem, was er um sich herum sieht.

Hier ist die Funktionsweise, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Der Fehler des „Einheitsgrößen"-Ansatzes

Traditionelle Methoden, die Robotern helfen, ihre zukünftige Position vorherzusagen, verhalten sich meist wie ein Einheitsgrößen-Regenmantel. Sie sagen: „Egal wo du bist, gehe vom schlimmsten Fall aus."

Der Fehler: Wenn sich der Roboter auf einer trockenen, sonnigen Straße befindet, ist dieser Regenmantel zu schwer und verlangsamt den Roboter. Aber wenn der Roboter auf einer Stelle mit schwarzem Eis ist, könnte derselbe Regenmantel zu dünn sein, und der Roboter wird nass (baut einen Unfall).
Der alte Weg: Um dies zu beheben, verlangten frühere Methoden, dass der Roboter erst auf der spezifischen neuen Straße herumfährt, die er gleich befahren würde, nur um zu messen, wie rutschig sie ist. Das ist gefährlich und ineffizient. Sie wollen nicht, dass ein Roboter gegen eine Wand kracht, nur um zu lernen, dass die Wand hart ist.

2. Die Lösung: Der „visuelle Detektiv"

OCULAR ist anders. Anstatt zuerst auf der neuen Straße fahren zu müssen, agiert es wie ein visueller Detektiv.

Die Analogie: Stellen Sie sich vor, Sie haben noch nie auf einer bestimmten vereisten Straße gefahren. Allerdings haben Sie in der Vergangenheit auf vielen anderen vereisten Straßen gefahren. Sie wissen, dass „vereiste Straßen weiß und glänzend aussehen".
Wie OCULAR funktioniert: Wenn der Roboter eine neue Straße sieht, betrachtet er das Kamerabild. Wenn die Straße wie die vereisten Straßen aussieht, die er zuvor gesehen hat, sagt OCULAR: „Ah, das sieht nach Eis aus! Ich muss besonders vorsichtig sein und davon ausgehen, dass meine Bewegung sehr unsicher ist." Wenn die Straße wie trockener Asphalt aussieht, sagt es: „Das sieht normal aus; ich kann selbstsicherer sein."

3. Der Zaubertrick: „Conformal Prediction"

Die Arbeit verwendet einen statistischen Trick namens Conformal Prediction. Betrachten Sie dies als ein Kalibrierungswerkzeug.

Der Roboter hat einen „Rätsel-Engine" (ein mathematisches Modell), das vorhersagt, wo er als Nächstes sein wird.
OCULAR nimmt eine Reihe von Daten aus anderen ähnlichen Umgebungen (wie anderen Karten mit Eis oder trockenen Straßen) und prüft: „Wie falsch lag die Rätsel-Engine in diesen vergangenen Situationen?"
Anschließend erstellt es eine Sicherheitsblase um die vorhergesagte zukünftige Position des Roboters.
- Befindet sich der Roboter in einer Zone mit „geringer Unsicherheit" (trockene Straße), ist die Blase klein und eng.
- Befindet sich der Roboter in einer Zone mit „hoher Unsicherheit" (vereiste Straße), dehnt sich die Blase aus und wird sehr groß, wodurch dem Roboter viel Raum für Sicherheit gegeben wird.

4. Warum dies eine große Sache ist

Die Arbeit beweist, dass OCULAR zwei Dinge leisten kann, die frühere Methoden nicht gut bewältigen konnten:

Generalisierung ohne Testen: Es kann sicher auf einer brandneuen Straße fahren, die es noch nie gesehen hat, solange diese Straße visuell ähnlich aussieht wie Straßen, die es zuvor studiert hat. Es muss nicht zuerst auf der neuen Straße fahren, um sich selbst zu kalibrieren.
Effizienz: Es macht die Sicherheitsblase nicht einfach überall riesig (was den Roboter wie eine Schildkröte bewegen ließe). Es macht die Blase nur dort groß, wo sie tatsächlich benötigt wird (wie auf dem Eis), und hält sie klein, wo der Roboter selbstsicher ist.

5. Die Ergebnisse

Die Forscher testeten dies an einem simulierten Roboterauto in zwei Szenarien:

Einfache 2D-Karten: Wo der Roboter Korridore mit rutschigen Stellen navigieren musste.
Realistische 3D-Simulation (Isaac Sim): Wo der Roboter eine Kamera nutzte, um eine verschneite T-Kreuzung zu sehen.

Das Ergebnis:

Alte Methoden stürzten entweder ab, weil sie auf Eis zu selbstsicher waren, oder sie blieben stecken, weil sie zu ängstlich waren, sich zu bewegen.
OCULAR navigierte erfolgreich die neuen, ungesichteten vereisten Straßen. Es verlangsamte sich, wenn es das „Eis" sah (hohe Unsicherheit), und beschleunigte, wenn es die „trockene Straße" sah (geringe Unsicherheit), alles ohne jemals zuvor auf dieser spezifischen Straße gefahren zu sein.

In Kürze

OCULAR ist eine Möglichkeit für Roboter zu sagen: „Ich war noch nie hier, aber ich habe Orte gesehen, die so aussehen. Basierend auf dem, was ich sehe, weiß ich genau, wie sehr ich mich um meinen nächsten Schritt sorgen sollte." Dies ermöglicht Robotern, in neuen, unvorhersehbaren Umgebungen sicher und effizient zu agieren, ohne dass sie diese zuerst abklopfen oder einen Unfall bauen müssen.

Technische Zusammenfassung: Lokale konforme Kalibrierung von Unsicherheiten der Dynamik aus semantischen Bildern

Problemstellung
Robotersysteme, die in realen Umgebungen operieren, sehen sich erheblichen Herausforderungen bei der Quantifizierung von Unsicherheiten aufgrund von nicht modellierten Störungen (aleatorische Unsicherheit) und Modellfehlanpassungen (epistemische Unsicherheit) gegenüber. Während Konforme Vorhersage (Conformal Prediction, CP) einen verteilungsfreien Rahmen für die Bereitstellung probabilistischer Garantien für Vorhersagebereiche bietet, leiden bestehende CP-Methoden in der Robotik unter zwei kritischen Einschränkungen:

Fehlende Diskriminierbarkeit: Standard-CP liefert durchschnittliche (marginale) Abdeckungsgarantien über einen Datensatz hinweg, versagt jedoch darin, zwischen Zustands-Aktions-Bereichen mit hoher versus niedriger Modellfehlanpassung zu unterscheiden. Dies verhindert, dass Planer das System in Richtung Zustände mit geringerer Unsicherheit steuern.
Umweltspezifische Datenanforderung: Aktuelle Ansätze erfordern typischerweise Kalibrierungsdaten, die aus der exakten Testzeitumgebung gesammelt wurden, um die Validität sicherzustellen. Dies ist unpraktisch und riskant, da es das Durchqueren neuer, potenziell gefährlicher Umgebungen (z. B. vereiste Straßen) allein zur Kalibrierung des Dynamikmodells erfordert.

Die Autoren adressieren die Notwendigkeit eines Algorithmus, der durch die Nutzung von Wahrnehmungsinformationen aus visuell ähnlichen, aber distincten Umgebungen nachweisbare, endliche-Stichproben-Unsicherheitsgarantien für nicht gesehene Testzeitumgebungen liefern kann.

Methodik: OCULAR
Die Arbeit stellt Observation-aware Conformal Uncertainty Local-Calibration (OCULAR) vor, eine Methode, die ein lineares Gaußsches Dynamikmodell ( $\tilde{f}$ ) unter Verwendung von Roboterrahmen-Wahrnehmungsdaten kalibriert. Die Kerninnovation besteht darin, Weltrahmen-Posen (die umweltspezifische Daten erfordern) durch eine gelernte Repräsentation semantischer Beobachtungen zu ersetzen.

Die Methodik verläuft in zwei Phasen:

Offline-Kalibrierung:
- Beobachtungsverarbeitung: Rohdaten von Tiefen- und semantischen Bildern werden in einen roboterbezogenen „planaren semantischen Fußabdruck" ( $o'_t$ ) projiziert. Diese Repräsentation erfasst die Umgebung vor dem Roboter, verwirft jedoch irrelevante Weltrahmen-Koordinaten.
- Latente Kodierung: Ein Convolutional Autoencoder (CAE) wird auf Daten aus einer Reihe von Kalibrierungsumgebungen trainiert, um die planaren Fußabdrücke in einen niedrigdimensionalen latenten Vektor ( $\phi_t$ ) zu komprimieren.
- Lokale Partitionierung: Der Eingaberaum wird als $X = (v_t, a_t, \phi_t)$ definiert, was Geschwindigkeit, Aktion und die latente Beobachtung kombiniert. Ein Entscheidungsbaum (DTree) wird trainiert, um diesen Raum in Bereiche ( $X_k$ ) zu partitionieren, in denen die Nichtkonformitäts-Scores (Abweichung zwischen $\tilde{f}$ und Ground Truth) annähernd konstant sind. Dies wird unter Verwendung des LOCART-Algorithmus erreicht, um die Score-Varianz innerhalb der Partitionen zu minimieren.
- Lokale Kalibrierung: Für jede Partition $X_k$ wird ein Split-Conformal-Prediction-Verfahren (SplitCP) auf einem zurückgehaltenen Teil der Kalibrierungsdaten durchgeführt. Dies ergibt einen partitionspezifischen Skalierungsfaktor ( $\hat{q}_k$ ), der die Kovarianz der Gaußschen Vorhersagen anpasst.
Online-Einsatz:
- Während des Betriebs in einer neuen, nicht gesehene Umgebung verarbeitet der Roboter seine aktuelle Beobachtung in den latenten Raum und leitet sie durch den vortrainierten Entscheidungsbaum, um die aktuelle Partition $X_k$ zu identifizieren.
- Die vom Dynamikmodell vorhergesagte Kovarianz wird mit dem entsprechenden Faktor $\xi_k$ skaliert, der aus $\hat{q}_k$ abgeleitet wird.
- Diese kalibrierte Unsicherheitsschätzung wird in einen Model Predictive Control (MPC)-Planer eingespeist. Der Planer konstruiert einen Vorhersagebereich, der garantiert den wahren nächsten Zustand mit einer Wahrscheinlichkeit von $(1-\alpha)$ enthält, und optimiert Trajektorien, um Bereiche zu vermeiden, in denen die kalibrierte Unsicherheit hoch ist oder die mit Hindernissen schneiden.

Hauptbeiträge
Die Autoren leisten drei primäre Beiträge:

Algorithmusvorschlag: Sie schlagen OCULAR vor, einen Algorithmus, der nachweisbare endliche-Stichproben-Garantien für Unsicherheiten der Dynamik in einer neuen, nicht gesehene Umgebung liefert, wobei ausschließlich Daten aus visuell ähnlichen Umgebungen verwendet werden.
Theoretische Validität: Sie beweisen, dass die Pipeline aus dem Projizieren von Beobachtungen, deren Kodierung über einen CAE und der Partitionierung über einen Entscheidungsbaum die für Konforme Vorhersage erforderliche Austauschbarkeit bewahrt. Dies ermöglicht lokale (bedingte) Abdeckungsgarantien anstelle von nur globalen marginalen Garantien.
Empirische Validierung: Sie validieren den Ansatz an einem System mit doppeltem Integrator, das zufälligen Störungen und erheblicher Modellfehlanpassung (Simulation rutschiger Oberflächen) unterliegt. Die Experimente nutzen sowohl vereinfachte planare Sensoren als auch realistische Isaac Sim-Kameras.

Ergebnisse
Experimente wurden auf vier planaren Karten und drei Isaac Sim-Straßenszenarien durchgeführt, wobei OCULAR mit folgenden Methoden verglichen wurde:

NoCP: Unkalibriertes Modell (versagt bei Out-of-Distribution (OOD)-Daten).
SplitCP: Globale Kalibrierung unter Verwendung von Testumgebungsdaten (in der Verteilung übermäßig konservativ, bei OOD unzureichend schützend).
LUCCa: Lokale Kalibrierung unter Verwendung von Testumgebungsdaten (erfordert umweltspezifische Daten).

Wichtige Erkenntnisse umfassen:

Abdeckung: OCULAR erreicht die vom Benutzer festgelegte Abdeckungswahrscheinlichkeit (90 %) sowohl in Bereichen innerhalb der Verteilung als auch in OOD-Bereichen (z. B. vereiste Straßen), ohne Daten aus der Testumgebung zu verwenden. Im Gegensatz dazu unterdeckt NoCP OOD-Bereiche erheblich, und SplitCP versagt bei der Anpassung an lokale Unsicherheitsvariationen.
Volumeneffizienz: OCULAR konstruiert Vorhersagebereiche, die nur 12–15 % größer sind als ein „orakel"-optimaler Bereich, was eine hohe Volumeneffizienz demonstriert, die mit Methoden vergleichbar ist, die Zugang zu Testumgebungsdaten haben (wie LUCCa).
Sichere Planung: Bei Trajektorienoptimierungsaufgaben navigiert OCULAR erfolgreich durch Bereiche mit hoher Unsicherheit, indem es die Geschwindigkeit reduziert und Kollisionen vermeidet, und erzielt in allen getesteten Karten Erfolgsquoten von 100 %. Methoden ohne Kalibrierung (NoCP) oder mit globaler Kalibrierung (SplitCP) führten häufig zu Kollisionen aufgrund von übermäßiger Optimismus bzw. übermäßiger Konservativität.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass OCULAR die Lücke zwischen theoretischen Unsicherheitsgarantien und praktischem Robotereinsatz schließt. Durch die Nutzung von Wahrnehmungsinformationen zur Generalisierung über Umgebungen hinweg eliminiert die Methode die Notwendigkeit riskanter, umweltspezifischer Kalibrierungssammlungen. Die Autoren betonen, dass ihre Garantien nicht-asymptotisch und verteilungsfrei sind und keine starken Annahmen über die unbekannten realen Systemdynamiken erfordern.

Die Autoren vermerken bescheiden, dass sie zwar einstufige Sicherheitsgarantien und heuristische mehrstufige Planung demonstrieren, sie jedoch keine rigorosen theoretischen Garantien für mehrstufige Sicherheit beanspruchen, da die während der Ausführung generierten kartengenerierten Beobachtungen nicht austauschbar sind. Ferner erkennen sie eine Empfindlichkeit gegenüber Hyperparametern im CAE und Entscheidungsbaum an und stellen fest, dass das derzeitige Lernen der latenten Repräsentation von der Nutzenfunktion der Unsicherheitsvorhersage entkoppelt ist, was einen Ansatz für zukünftige Arbeiten darstellt.