⚡ electrical engineering

Pixels to Proofs: Probabilistically-Safe Latent World Model Control via Parallel Conformal Robust MPC

Das Papier stellt SLS² vor, ein Framework, das handlungsbedingte latente Weltmodelle mit Conformal Prediction-gestützter robuster modellprädiktiver Regelung kombiniert, um eine sichere, visionsbasierte Bewegungsplanung mit probabilistischen Sicherheitsgarantien zu ermöglichen.

Ursprüngliche Autoren: Devesh Nath, Anutam Srinivasan, Haoran Yin, Ruitong Jiang, Jeffrey Fang, Glen Chou

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Devesh Nath, Anutam Srinivasan, Haoran Yin, Ruitong Jiang, Jeffrey Fang, Glen Chou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter eine feine Aufgabe beizubringen, wie etwa das Knüpfen eines Knotens in einem Seil oder das Stapeln eines Blocks, aber der Roboter hat nur eine Kamera. Er kann den „wahren“ Zustand der Welt nicht sehen (wie exakte Winkel oder Abstände); er sieht nur einen Strom von Rohbildern.

Das Papier präsentiert eine neue Methode namens SLS2 (Safe Latent Space System Level Synthesis), die Robotern hilft, sichere Bewegungen direkt aus diesen Kamerabildern zu planen, selbst wenn die interne „Vermutung“ des Roboters über die Funktionsweise der Welt unvollkommen ist.

So funktioniert es, unterteilt in einfache Konzepte und Analogien:

1. Die „Traumwelt“ (Latent World Model)

Roboter benötigen normalerweise eine perfekte Karte der Welt, um zu planen. Aber in der realen Welt ist es schwierig, eine solche Karte zu erstellen.

Die Analogie: Stellen Sie sich vor, der Roboter schließt die Augen und beginnt, eine vereinfachte Version der Welt zu „träumen“. Anstatt Millionen von Pixeln zu verarbeiten, erstellt er einen kompakten, abstrakten „Traumzustand“ (einen latenten Raum), der das Wesentliche des Bildes einfängt.
Was das Papier macht: Sie trainieren den Roboter darauf, diese Traumwelt zu lernen. Sie bringen dem Roboter bei, vorherzusagen, wie der nächste „Traum“ nach einer Bewegung aussehen wird. Dies ermöglicht es dem Roboter, tausende zukünftige Szenarien in seinem Kopf sehr schnell zu simulieren, ohne den Roboter tatsächlich bewegen zu müssen.

2. Der „unvollkommene Träumer“ (Prediction Errors)

Das Problem ist, dass der Traum des Roboters nicht perfekt ist. Manchmal sagt er voraus, dass sich der Block nach links bewegt, aber er bewegt sich tatsächlich nach rechts.

Die Analogie: Es ist wie ein Wettervorhersager, der meistens richtig liegt, aber gelegentlich die Windrichtung falsch einschätzt. Wenn man ein Picknick basierend nur auf dieser Vorhersage plant, könnte man völlig durchnässt werden.
Die Lösung im Papier: Anstatt diese Fehler zu ignorieren, gibt SLS2 sie offen zu. Es verwendet ein statistisches Werkzeug namens Conformal Prediction, um eine „Sicherheitsblase“ um die Vorhersagen des Roboters zu ziehen.
- Betrachten Sie diese Blase als einen Nebel der Unsicherheit. Der Roboter weiß: „Ich denke, der Block ist hier, aber da ich mich irren könnte, könnte sich der Block überall innerhalb dieser nebligen Blase befinden.“

3. Die „Sicherheitsblase“ (Robust Planning)

Die meisten Planungsmethoden versuchen, den perfekten Pfad durch die Traumwelt zu finden. SLS2 macht etwas Klügeres: Es findet einen Pfad, der sicher bleibt, selbst wenn der Traum des Roboters leicht danebenliegt.

Die Analogy: Stellen Sie sich vor, Sie fahren ein Auto durch dichten Nebel. Ein normaler Fahrer fährt vielleicht genau in der Mitte der Spur, in der Hoffnung, dass er recht hat. Ein SLS2-Fahrer fährt zwar ebenfalls in der Mitte der Spur, hält aber einen weiten Pufferbereich zu beiden Seiten ein. Selbst wenn das Auto leicht abdriftet (aufgrund des Nebels/Fehlers), wird es nicht gegen die Wand prallen.
Wie es funktioniert: Das System berechnet „erreichbare Röhren“ (reachable tubes). Dies sind 3D-Tunnel, die alle Orte repräsentieren, an denen der Roboter angesichts seiner Unsicherheit landen könnte. Der Planer stellt sicher, dass der gesamte Tunnel innerhalb der „Sicherheitszone“ bleibt und „Hinderniszonen“ (wie das Anstoßen an eine Wand oder das Fallenlassen eines Blocks) vermeidet.

4. Der „Sicherheitsinspektor“ (Conformal Obstacle Checker)

Der Roboter muss auch wissen, wie ein „Hindernis“ in seiner Traumwelt aussieht.

Die Analogie: Stellen Sie sich einen Türsteher im Club vor. In der realen Welt prüft der Türsteher Ausweise. In der Traumwelt des Roboters prüft der Türsteher den „Traumzustand“.
Die Lösung im Papier: Sie trainieren einen speziellen „Türsteher“ (ein neuronales Netz), der auf den Traumzustand schaut und sagt: „Sicher“ oder „Unsicher“. Entscheidend ist, dass sie denselben statistischen „Nebel“-Ansatz verwenden, um diesen Türsteher zu kalibrieren. Dies stellt sicher, dass der Türsteher nicht zu nachsichtig wird; wenn eine Wahrscheinlichkeit von 99 % besteht, dass ein Zustand unsicher ist, behandelt der Türsteher ihn auch als unsicher.

5. Der „Super-Speed-Planer“ (GPU Acceleration)

Das Berechnen all dieser Sicherheitsblasen und Tunnel für eine hochdimensionale Traumwelt ist normalerweise sehr langsam.

Die Analogy: Es ist, als würde man versuchen, die Flugbahn von einer Million verschiedenen Autos gleichzeitig zu berechnen. Das einzeln nacheinander zu tun, würde ewig dauern.
Die Lösung im Papier: Sie nutzen System Level Synthesis (SLS), einen mathematischen Trick, der es ihnen ermöglicht, diese Berechnungen parallel auf einem leistungsstarken Computerchip (GPU) auszuführen. Dies ist vergleichbar mit dem Besitz von einer Million Taschenrechnern, die gleichzeitig arbeiten, was das Planen schnell genug macht, um in Echtzeit zu erfolgen.

Was sie getestet haben

Die Autoren haben dieses System bei mehreren Aufgaben getestet und gezeigt, dass es besser als bisherige Methoden funktioniert:

Der Reacher: Ein Roboterarm, der versucht, ein Ziel zu berühren, ohne seine Gelenke zu weit zu beugen (eine Sicherheitsbeschränkung).
Der Würfel (Cube): Ein Roboterarm, der einen Würfel aufhebt und bewegt, ohne ihn zu hoch zu heben (was unsicher wäre).
Das Seil (Rope): Eine komplexe Aufgabe, bei der zwei Roboterarme ein loses Seil manipulieren. Dies ist sehr schwierig, da sich das Seil auf unendlich viele Arten verdrehen kann.
Hardware: Sie haben das System sogar mit einem echten Roboterarm im Labor getestet und konnten erfolgreich ein Seil von einer Startposition zu einer Zielposition dehnen.

Das Fazit

SLS2 ist ein Framework, das es Robotern ermöglicht, sichere, komplexe Bewegungen direkt aus Kamerabildern zu planen. Dies erreicht es durch:

Das Erlernen eines vereinfachten „Traums“ der Welt.
Das exakte Berechnen, wie falsch dieser Traum sein könnte (der „Nebel“).
Das Planen eines Pfades, der sicher bleibt, selbst wenn der Traum falsch ist (die „Sicherheitsblase“).
Das Durchführen all dieser Prozesse schnell genug, um auf echten Robotern zu laufen.

Das Ergebnis ist ein Roboter, der viel seltener zusammenstößt oder Dinge beschädigt, selbst wenn er nicht über perfekte Informationen über die Welt verfügt.

Technisches Resümee: SLS2 – Probabilistisch sichere latente Weltmodell-Steuerung

Problemstellung

Die Arbeit adressiert die Herausforderung der sicheren Feedback-Bewegungsplanung für Roboter, die direkt aus rohen Pixel-Beobachtungen (z. B. RGB-Bildern) in offenen Umgebungen operieren. Traditionelle sicherheitskritische Steuerungsmethoden verlassen sich auf wohldefinierte, niedrigdimensionale Zustandsrepräsentationen und bekannte Dynamiken, die jedoch oft nicht verfügbar oder schwer zu schätzen sind, insbesondere bei deformierbaren Objekten und komplexen visuellen Aufgaben. Während jüngst entwickelte latente Weltmodelle (z. B. JEPA-Architekturen) kompakte latente Zustandsrepräsentationen und Dynamiken direkt aus Bildern ableiten können, führen sie erhebliche Sicherheitsrisiken ein:

Imperfekte Dynamik: Gelernte latente Dynamiken sind Approximationen und können über mehrstufige Rollouts hinweg ungenau sein.
Constraint-Translation: Physikalische Sicherheitsbeschränkungen (z. B. Hindernisvermeidung, Gelenkgrenzen) müssen in den latenten Raum übersetzt werden, wobei die Beziehung zur physischen Sicherheit nicht garantiert ist.
Mangelnde Kalibrierung: Bestehende latente Sicherheitsmethoden verlassen sich oft auf heuristische Approximationen oder lassen formale, kalibrierte Garantien vermissen, dass der wahre Systemzustand trotz Vorhersagefehlern innerhalb sicherer Grenzen bleibt.

Das Kernproblem besteht darin, eine Steuerungsstrategie zu synthetisieren, die in einem gelernten latenten Raum plant und gleichzeitig probabilistische Sicherheitsgarantien für das wahre physische System bietet, indem sowohl Modellvorhersagefehler als auch distributional Shifts berücksichtigt werden.

Methodik: SLS2 (Safe Latent Space System Level Synthesis)

Die Autoren schlagen SLS2 vor, ein Framework, das gelernte latente Weltmodelle mit System Level Synthesis (SLS) robuster Model Predictive Control (MPC) und Conformal Prediction (CP) kombiniert. Die Pipeline besteht aus drei Hauptphasen:

1. Training eines gradientenfreundlichen latenten Weltmodells

Das System lernt eine kompakte, Markovsche latente Repräsentation aus einem Offline-Datensatz von Bildübergängen $\mathcal{D} = \{(o_t, u_t, o_{t+1})\}$ .

Architektur: Eine action-conditioned Joint-Embedding Predictive Architecture (ähnlich wie Le-WM). Ein Vision Transformer (ViT) Encoder bildet Bilder auf latente Embeddings $z_t$ ab.
Konstruktion des Markov-Zustands: Um sicherzustellen, dass der latente Zustand die Markov-Eigenschaft für die mehrstufige Vorhersage erfüllt, wird der Zustand mit Finite-Differenz-Features erweitert: $s^z_t = [z_t, \Delta z_t, \dots, \Delta^K z_t]$ .
Dynamik-Lernen: Ein MLP-Prädiktor $f_\phi$ lernt die Transition $s^z_{t+1} = f_\phi(s^z_t, u_t)$ .
Trainingsziele: Das Modell wird mit einem mehrstufigen latenten Vorhersageverlust, einem SIGReg-Loss zur Vermeidung von Repräsentationskollaps und einem Temporal-Straightening-Loss trainiert, um glatte latente Trajektorien zu fördern. Dieses Design ermöglicht eine effiziente gradientenbasierte Trajektorienoptimierung (z. B. iLQR).

2. Konforme Unsicherheitsquantifizierung

Um die Ungenauigkeiten der gelernten Dynamik und des latenten Constraint-Checkers zu handhaben, verwenden die Autoren Split Conformal Prediction (CP), um Unsicherheitsmengen mit statistischen Garantien zu kalibrieren.

Latente Dynamikfehler: Ein Kovarianzmodell $\Sigma_\psi$ wird trainet, um die Form der Fehlerverteilung vorherzusagen. CP wird verwendet, um einen Skalierungsfaktor $q$ (ein Quantil der Non-Conformity-Scores) zu berechnen, sodass der wahre Vorhersagefehler $e_t$ mit einer Wahrscheinlichkeit von $1-\delta$ innerhalb einer ellipsoiden Menge $E(s, u)$ liegt.
Latenter Constraint-Checker: Ein latenter Hindernis-Klassifikator $c_\psi$ wird trainiert, um Sicherheit zu bewerten. CP wird verwendet, um einen Schwellenwert $\eta$ zu bestimmen, sodass der Klassifikator sichere/unsichere Regionen mit hoher Wahrscheinlichkeit korrekt identifiziert.
In-Domain Support: Eine In-Domain-Menge $\mathcal{I}$ wird als kalibrierte Gaußsche Sublevel-Menge definiert, um sicherzustellen, dass der Planer nicht in Regionen operiert, die weit außerhalb der Trainingsverteilung liegen.

3. Robuste MPC via System Level Synthesis (SLS)

Der zentrale Regelkreis nutzt System Level Synthesis (SLS), um ein robustes MPC-Problem im latenten Raum zu lösen.

Formulierung: Anstatt Feedback-Gains direkt zu optimieren, optimiert SLS über geschlossene Systemantworten (Matrizen $\Phi_s, \Phi_ u$ ), die Störungen auf Zustands-/Steuerungsabweichungen abbilden.
Robustheit: Die durch CP kalibrierten ellipsoiden Fehler-Sets $E(s, u)$ werden als Störungssets in die SLS-Formulierung injiziert. Der Optimierer propagiert diese Unsicherheiten über den Planungshorizont, um erreichbare Tuben ( $R^s_k, R^u_k$ ) zu konstruieren.
Constraints: Die Optimierung erzwingt, dass die gesamte erreichbare Tube innerhalb der sicheren latenten Menge (definiert durch den kalibrierten Constraint-Checker) und der In-Domain-Menge bleibt. Dies führt zu einer „Constraint Tightening“, bei der die nominale Trajektorie so angepasst wird, dass selbst unter Worst-Case-gebundenen Fehlern das wahre System sicher bleibt.
Implementierung: Der Ansatz nutzt GPU-Beschleunigung, um die hochdimensionalen latenten Zustände und die Rechenlast der Propagation von Unsicherheitstuben effizient zu bewältigen.

Zentrale Beiträge

Latentes Weltmodell für die Planung: Die Autoren zeigen, dass das Training kompakter, Markovscher latenter Modelle mit spezifischer Regularisierung (SIGReg, Temporal Straightening) präzise mehrstufige Rollouts und effiziente gradientenbasierte Optimierung direkt aus Pixeln ermöglicht.
Konformisierte Unsicherheitsmengen: Die Arbeit führt eine Methode zur Kalibrierung sowohl der latenten Dynamikfehler als auch der Fehler des latenten Sicherheitsklassifikators mittels Conformal Prediction ein, was statistisch valide Unsicherheitsmengen liefert.
Skalierbare robuste MPC: Die Integration von CP-kalibrierten Unsicherheiten in die GPU-beschleunigte System Level Synthesis ermöglicht eine Reachability-constrained robuste MPC in hochdimensionalen latenten Räumen – eine Aufgabe, die zuvor als rechentechnisch prohibitiv galt.
Empirische Validierung: Die Methode wird auf diversen visionsbasierten Aufgaben (Navigation, Pick-and-Place, Manipulation deformierbarer Objekte) sowohl in der Simulation als auch auf realer Hardware validiert und zeigt eine überlegene Sicherheit und Zielerreichung im Vergleich zu Baselines.

Experimentelle Ergebnisse

Die Autoren evaluierten SLS2 in vier Aufgaben: Reacher, OGBench Cube, Push-T und eine Bimanuelle Seilmanipulationsaufgabe.

Nominale Planungsleistung:
- Der nominale Planer von SLS2 (unter Verwendung von iLQR auf dem gelernten Modell) übertraf die Baselines (Le-WM, DINO-WM, PLDM) in der Erfolgsrate signifikant.
- Reacher: 83,5 % Erfolg (gegenüber 17–40 % bei den Baselines).
- Rope (Seil): 93,75 % Erfolg (gegenüber 7–25 % bei den Baselines).
- Ablationsstudien bestätigten, dass die Markovsche Zustandsrepräsentation und die mehrstufigen Trainingsverluste entscheidend für die Leistung waren.
Robuste Sicherheitsleistung:
- In eingeschränkten Aufgaben (z. B. Gelenkwinkelgrenzen, Höhenschwellenwerte, Hindernisvermeidung) erreichte SLS2 eine Sicherheitsrate von 100 % in Simulation und Hardware, während nicht-robuste constrained iLQR-Verfahren und andere Sicherheitsfilter (HJ-filtered, LPB) häufig Constraints verletzten.
- Robuster Erfolg: SLS2 behielt hohe Aufgabenerfüllungsraten bei (z. B. 88,57 % bei Rope, 94,29 % bei Cube), während es die Sicherheitsbeschränkungen strikt einhielt.
- Hardware: Die Methode wurde erfolgreich auf realen KUKA iiwa Armen für die Seilmanipulation eingesetzt und demonstrierte die Konvergenz zum Zielzustand direkt aus Pixeln ohne explizite Zustandsschätzung.

Bedeutung und Ansprüche

Das Paper behauptet, dass SLS2 die Lücke zwischen der Flexibilität gelernter Weltmodelle und der für die sicherheitskritische Steuerung erforderlichen Stringenz schließt. Durch die Kombination von Conformal Prediction zur statistischen Kalibrierung und System Level Synthesis zur skalierbaren robusten Optimierung bietet die Methode probabilistische Garantien, dass der wahre Systemzustand innerhalb sicherer Grenzen bleibt, selbst wenn mit hochdimensionalen latenten Räumen und imperfekten Dynamiken operiert wird.

Die Autoren betonen, dass ihr Ansatz keine handgefertigten Zustandsrepräsentationen oder bekannten Dynamiken erfordert, was ihn für komplexe, deformierbare und visuell reiche Aufgaben anwendbar macht. Sie merken an, dass die Methode zwar die Sicherheit und Erfolgsraten signifikant verbessert, jedoch auf der Annahme basiert, dass geschlossene Residuen-Scores mit Kalibrierungs-Scores austauschbar sind, und die Leistung durch die Annahme isotroper latenter Repräsentationen in Aufgaben mit komplexen sequentiellen Manövern (wie Push-T) begrenzt werden kann.