🤖 machine learning

SkyJEPA: Learning Long-Horizon World Models for Zero-Shot Sim-to-Real Control of Quadrotors

Dieses Paper führt SkyJEPA ein, ein JEPA-artiges latentes Dynamikmodell mit einem physikinspirierten Prober und einer automatisierten Datenpipeline, das präzise Langzeitprognosen sowie robuste Zero-Shot Sim-to-Real-Steuerung für agile Quadrotoren auf eingebetteter Hardware ermöglicht.

Ursprüngliche Autoren: Pratyaksh Rao, Wancong Zhang, Randall Balestriero, Yann LeCun, Giuseppe Loianno

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pratyaksh Rao, Wancong Zhang, Randall Balestriero, Yann LeCun, Giuseppe Loianno

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Drohnen-Training beibringen zu „träumen“, bevor es fliegt

Stellen Sie sich vor, Sie bringen einem Kind das Fahrradfahren bei.

Der alte Weg: Sie sagen ihnen: „Pedale, dann drehe den Lenker, dann pedale wieder.“ Wenn sie einen winzigen Fehler machen (wie ein leichtes Schwanken), und Sie die Anweisungen basierend auf diesem Schwanken immer weiter verfeinern, werden die Anweisungen immer schlechter, bis sie stürzen. So funktionieren die meisten aktuellen Robotersteuerungen. Sie versuchen, den exakten zukünftigen Schritt Schritt für Schritt vorherzusagen, und kleine Fehler türmen sich auf wie ein Schneeball, der einen Hügel hinunterrollt.
Der SkyJEPA-Weg: Anstatt jedes winzige Schwanken vorherzusagen, bringen Sie dem Kind das Gefühl für das Gleichgewicht bei. Sie lehren es, die „Form“ einer sanften Fahrt im Gegensatz zu einem Absturz in seinem Geist zu erkennen. Selbst wenn es ein wenig schwankt, hält der innere Sinn für das Gleichgewicht es auf Kurs.

Dieses Paper stellt SkyJEPA vor, eine neue Methode, um Drohnen (Quadrotoren) das Fliegen beizubringen. Es ermöglicht einer Drohne, aus einem Videospiel (Simulation) zu lernen und dann perfekt in der realen Welt zu fliegen, ohne neu trainiert werden oder ihre Sensoren bereinigt werden zu müssen.

Die drei Hauptprobleme, die sie gelöst haben

1. Das „Stille-Post-Problem“ (Langzeit-Vorhersage)

Das Problem: Die meisten KI-Modelle versuchen, die Zukunft vorherzusagen, indem sie die nächste Sekunde erraten, dann diesen Tipp nutzen, um die Sekunde danach zu erraten, und so weiter. Es ist wie beim Spiel „Stille Post“ (Telephone): Person A flüstert eine Nachricht an Person B, die sie an Person C weiterflüstert. Bis die Nachricht bei Person Z ankommt, ist sie völlig entstellt.
Die SkyJEPA-Lösung: Anstatt die exakte Nachricht (die exakte Position der Drohne) zu flüstern, lehrt SkyJEPA die Drohne, den Kern oder den Vibe der Zukunft in einem komprimierten „Traumraum“ (Latent Space) vorherzusagen.

Analogie: Stellen Sie sich vor, Sie sagen die Handlung eines Films voraus. Anstatt zu versuchen, jedes einzelne Bild zu beschreiben (was chaotisch wird), sagen Sie die Zusammenfassung der Handlung voraus. Selbst wenn Sie ein Detail in der Zusammenfassung verpassen, bleibt die gesamte Geschichte auf Kurs. Dies verhindert, dass sich Fehler über lange Flüge hinweg aufstürmen.

2. Das „Black-Box-Problem“ (Interpretierbarkeit)

Das Problem: Deep-Learning-Modelle sind oft „Black Boxes“. Sie wissen zwar, wie man fliegt, aber sie können Ihnen nicht sagen, warum oder Ihnen Zahlen wie „Ich bewege mich mit 5 Metern pro Sekunde“ geben. Man kann keine „Black Box“ in eine Sicherheitssteuerung einbauen, da die Steuerung echte Zahlen benötigt, um zu wissen, ob sie gleich gegen eine Wand prallt.
Die SkyJEste-Lösung: Sie haben einen speziellen Übersetzer namens „Physics-Inspired Prober“ hinzugefügt.

Analogie: Stellen Sie sich das Gehirn der Drohne wie einen Koch vor, der nur „Geschmackssprache“ spricht (den abstrakten Traumraum). Der „Prober“ ist ein Übersetzer, der die Regeln der Physik kennt (wie Schwerkraft und Schubkraft). Der Übersetler nimmt die „Geschmackssprache“ des Kochs und wandelt sie in ein Rezept mit exakten Maßen um (Meter, Grad, Geschwindigkeit). Dies ermöglicht es dem Sicherheitssystem der Drohne, genau zu verstehen, was passiert.

3. Das „Gefährliche Klassenausflug-Problem“ (Datenerhebung)

Das Problem: Um einem Roboter das Fliegen beizubringen, muss man ihn normalerweise oft in der realen Welt abstürzen lassen, um aus Fehlern zu lernen. Das ist teuer, gefährlich und verschwendet Hardware.
Die SkyJEPA-Lösung: Sie haben einen „Magischen Simulator“ gebaut, der automatisch Tausende von verschiedenen Flugszenarien erstellt.

Analogie: Anstatt einen Fahrschüler auf einer belebten Autobahn mit echtem Verkehr mitzunehmen (wo er vielleicht Unfälle baut), setzen Sie ihn in einen Fahrsimulator. Aber dieser Simulator ist besonders: Er verändert zufällig den Motor des Autos, die Straßenbedingungen, den Wind und das Gewicht des Autos für jede einzelne Lektion.
Durch das Training auf diesem chaotischen, randomisierten Simulator lernt die Drohne, mit jeder realen Situation umzugehen. Wenn sie schließlich draußen fliegt, ist es wie ein erfahrener Autofahrer, der im Simulator bereits jede mögliche Wetterbedingung und jeden möglichen Fahrzeugdefekt erlebt hat.

Wie es im echten Leben funktioniert

Die Forscher haben dies an einer echten Drohne in einem Außenfeld getestet. Hier ist, was geschah:

Zero-Shot Transfer: Sie haben die Drohne nur in der Computersimulation trainiert. Sie haben ihr nie ein einziges Mal reale Daten gezeigt. Als sie die Drohne nach draußen brachten, flog sie sofort perfekt. Kein Nachtrainieren, kein Fine-Tuning nötig.
Die „Was wäre wenn“-Szenarien: Sie testeten die Drohne in drei schwierigen Situationen:
- Normaler Flug: Sie folgte komplexen Pfaden wie Achterschleifen.
- Lastwechsel: Sie hängten ein schweres Gewicht an die Drohne (Änderung des Gewichts). Die Drohne passte sich sofort an.
- Propeller-Wechsel: Sie tauschten die Propeller gegen andere aus (Änderung der Funktionsweise der Motoren). Die Drohne flog dennoch ruhig und stabil.
Das Ergebnis: Die SkyJEPA-Drohne war viel genauer und stabiler als andere Drohnen, die ältere Methoden verwendeten. Sie stürzte nicht ab und war nicht verwirrt, als sich das Gewicht oder die Teile der Drohne änderten.

Das Fazit

SkyJEPA ist wie das Geben eines „Bauchgefühls“ für Physik an eine Drohne.

Sie lernt, indem sie in einem komprimierten, fehlerresistenten Weg träumt (Latent Space).
Sie hat einen Übersetzer, der diese Träume in reale Zahlen umwandelt (Der Prober).
Sie trainiert in einem chaotischen, randomisierten Videospiel, damit sie für alles in der realen Welt bereit ist.

Das Ergebnis ist eine Drohne, die agil, sicher und präzise in der realen Welt fliegen kann, selbst wenn sie die reale Welt noch nie gesehen hat – einfach weil sie die „Regeln des Spiels“ in der Simulation perfekt gelernt hat.

Technisches Resümee: SkyJEPA: Lernen von Langzeit-Weltmodellen für die Zero-Shot Sim-to-Real-Steuerung von Quadrotoren

Problemstellung

Genaue Dynamikmodelle sind essenziell für fundierte Entscheidungsfindungen bei agilen Flugfahrzeugen, insbesondere für die modellbasierte Steuerung, die über die zukünftige Systementwicklung nachdenken muss. Bestehende neuronale Dynamikmodelle stehen jedoch vor erheblichen Einschränkungen:

Instabilität über lange Horizonte: Die meisten Ansätze verwenden autoregressive Encoder-Decoder-Architekturen, die Vorhersagen rekursiv als Eingaben zurückführen. Dieser Mechanismus verstärkt kleine Einzelschrittfehler über die Zeit, was zu Drift, Instabilität und physikalisch unplausiblen Trajektorien führt, wenn der Vorhersagehorizont steigt.
Mangelnde Interpretierbarkeit: Viele gelernte Modelle operieren in abstrakten latenten Räumen oder rekonstruieren vollständige Beobachtungen, wodurch sie keine physikalisch bedeutsamen Größen (z. B. Position, Geschwindigkeit, Orientierung) offenlegen, die zur Durchsetzung von Randbedingungen und Sicherheitsgrenzen in Steuerungen erforderlich sind.
Datenabhängigkeit und Generalisierung: Das Sammeln diverser, informativer Echtzeitdaten ist teuer, riskant und arbeitsintensiv. Zudem generalisieren Modelle, die auf spezifischen Plattformen oder Aufgaben trainiert wurden, oft nicht auf neue Konfigurationen (z. B. Laständerungen, Propellerwechsel), ohne neu trainiert zu werden.
Echtzeit-Beschränkungen: Hochfrequente Steuerung auf ressourcenbeschränkter Embedded-Hardware erfordert Modelle, die mit geringer Latenz wiederholt evaluiert werden können – eine Herausforderung für komplexe, rekonstruktionsbasierte Modelle.

Das Paper adressiert die zentrale Frage: Können wir ein effizientes Dynamikmodell für Luftroboter lernen, das eine genaue Langzeitvorhersage, physikalisch interpretierbare Rollouts, Echtzeit-Steuerfähigkeit und Zero-Shot-Generalisierung über verschiedene Aufgaben hinweg bietet, während gleichzeitig die Abhängigkeit von riskanter Echtzeit-Datenerhebung reduziert wird?

Methodik

Die Autoren schlagen SkyJEPA vor, ein Framework basierend auf Joint Embedding Predictive Architectures (JEPAs), das speziell auf die Echtzeit-Quadrotorsteuerung zugeschnitten ist. Der Ansatz besteht aus vier Hauptkomponenten:

JEPA-Stil-Latent-Dynamikmodell:
Anstatt zukünftige Zustände oder Beobachtungen autoregressiv vorherzusagen, lernt das Modell, zukünftige Repräsentationen in einem kompakten latenten Raum vorherzusagen. Es nimmt eine Historie von Zuständen ( $X_t$ ) und Aktionen ( $A_t$ ) über ein Fenster $H$ entgegen, kodiert diese in latente Repräsentationen ( $s_t, z_t$ ) und sagt den nächsten latenten Zustand ( $\tilde{s}_{t+1}$ ) unter Berücksichtigung zukünftiger Aktionen voraus. Diese Formulierung vermeidet den inhärenten kumulativen Fehler einer autoregressiven Zustandsprädiktion, indem sie in einem strukturierten latenten Raum operiert.
Trainingsziel (SIGReg):
Das Modell wird mit einem zweiteiligen Verlust verwendet:
- Prädiktive Konsistenz ( $L_{pred}$ ): Minimiert den Abstand zwischen den durchgerollten latenten Vorhersagen und den kodierten zukünftigen Zuständen.
- Anti-Kollaps-Regularisierung (SIGReg): Verwendet Sketched Isotropic Gaussian Regularization, um Repräsentationskollaps zu verhindern. Sie regt die latenten Embeddings dazu an, einer isotropen Gaußverteilung zu entsprechen, indem zufällige eindimensionale Projektionen der latenten Verteilung mit einer Standard-Gaußverteilung verglichen werden. Dies fördert die Diversität, ohne komplexe Stop-Gradient-Mechanismen oder mehrere Verlustterme zu benötigen.
Physik-inspirierter Prober:
Um die latenten Vorhersagen für die Steuerung nutzbar zu machen, bildet ein „Prober“-Netzwerk die eingefrorenen latenten Rollouts auf physikalisch bedeutsame metrische Zustände ab. Dies ist ein zweistufiger Prozess:
- Das latente Dynamikmodell wird zuerst trainiert.
- Die Encoder und der Prädiktor werden eingefroren, und ein leichtgewichtiges Probing-Netzwerk wird trainiert, um residuelle Korrekturterme (Translations- und Winkelbeschleunigung) basierend auf den latenten Zuständen vorherzusagen.
- Diese Residuen werden in ein differenzierbares kinematisches Modell (unter Verwendung von SO(3)-Exponential-Maps für die Orientierung) integriert, um die vollständige Trajektorie zu rekonstruieren. Dies stellt sicher, dass der Output interpretierbar ist und physikalische Randbedingungen respektiert.
Automatisierte Datensynthese & Domain Randomization:
Um die Notwendigkeit einer umfangreichen Echtzeit-Datenerhebung zu eliminieren, schlagen die Autoren eine Pipeline vor, die vielfältige Trainingsdaten vollständig in der Simulation generiert:
- Referenzgenerierung: Gauß-Prozesse generieren glatte, randomisierte Referenztrajektorien, die ein breites Flug-Envelope abdecken.
- Closed-Loop Tracking: Ein Tracking-Controller (Kombination aus NMPC und MPPI) führt diese Referenzen in der Simulation aus, um physikalisch machfähige Zustands-Aktions-Paare zu erzeugen.
- Domain Randomization: Jeder Rollout wird mit randomisierten physikalischen Parametern (Masse, Trägheit, Luftwiderstand, Motorkonstanten etc.) simuliert, um das Modell einer Familie von Systemen statt eines einzelnen Nominalmodells auszusetzen.
Sampling-basierte Steuerung (MPPI):
Das gelernte Modell wird in einen Model Predictive Path Integral (MPPI) Controller integriert. Der Controller sampelt Aktionssequenzen, führt Rollouts mit dem latenten Dynamikmodell und dem Prober durch, evaluiert Trajektorienkosten und aktualisiert den Steuerungsimpuls. Dies läuft vollständig auf Embedded-Hardware (NVIDIA Orin NX) mit hohen Frequenzen.

Wichtigste Beiträge

JEPA für Echtzeit-Steuerung: Einführung des ersten JEPA-basierten latenten Dynamikmodells, das end-to-end für die Echtzeit-Quadrotorsteuerung trainiert wurde und über die hochgradige kinematische Planung hinausgeht.
Physik-inspirierter Probing: Ein neuartiger Mechanismus, der eingefrorene latente Repräsentationen über einen strukturierten kinematischen Integrator auf interpretierbare metrische Zustände abbildet und so eine physikalisch fundierte Langzeitvorhersage ermöglicht.
Zero-Shot Sim-to-Real Transfer: Demonstration, dass ein rein auf domänen-randomisierten Simulationsdaten trainiertes Modell eine robuste Steuerung auf echter Hardware ohne aufgabenspezifisches Fine-Tuning erreicht.
Automatisierte Datensatz-Pipeline: Ein prinzipienbasiertes Verfahren zur automatisierten Datensatzgenerierung mittels Gauß-Prozessen und Domain Randomization, welches die Abhängigkeit von unsicheren Echtzeit-Datenerhebungen reduziert.

Ergebnisse

Das Framework wurde durch Open-Loop-Vorhersage und Outdoor Closed-Loop-Experimente auf einem 1,3 kg schweren Quadrotor evaluiert.

Langzeit-Genauigkeit: SkyJEPA übertraf autoregressive prädiktive Baselines in Open-Loop-Rollouts signifikant. Es wies ein niedrigeres Kompositionsverhältnis (Fehlerwachstum im Vergleich zur Teacher-Forced-Vorhersage) und eine geringere Fehlerrate über lange Horizonte (bis zu 60 Schritte) auf.
Interpretierbarkeit: Der physik-inspirierte Prober verbesserte die metrische Zustandsrekonstruktion drastisch. Im Vergleich zu einem Standard-MLP-Prober reduzierte der PI Prober den Positions-RMSE von ~5,56 m auf ~1,43 m und den Orientierungsfehler von ~40° auf ~4,7° in Open-Loop-Tests.
Zero-Shot Sim-to-Real Transfer: In Echtwelt-Experimenten erreichte der vorgeschlagene Controller geringere Positions- und Orientierungsfehler als die Baselines (MPPI mit prädiktiven Modellen) über diverse Trajektorien (Kreise, Achterfiguren, Lemniskaten). Beispielsweise wurde bei einer Kreisbahn der Positions-RMSE von 0,39 m (Baseline) auf 0,24 m reduziert.
Robustheit: Das System behielt die Leistung bei signifikanten Plattformvariationen ohne Retraining bei, einschließlich Lastzugaben (300 g) und Propellerwechsel. Es übertraf die Baselines unter diesen nicht-nominalen Bedingungen konsistent.
Datenqualität: Eine Analyse mittels eines Trajectory Distribution Quality (TDQ) Scores zeigte eine starke inverse Korrelation zwischen Datensatz-Diversität/Abdeckung und Vorhersagefehler, was den Ansatz der Domänen-Randomisierung zur Datensynthese validiert.
Echtzeit-Leistung: Das leichtgewichtige Modell (~9K Parameter) und die optimierte Inferenz ermöglichten die Echtzeit-Ausführung auf Embedded-Hardware innerhalb des 10ms-Steuerungsbudgets.

Bedeutung

Das Paper behauptet, dass SkyJEPA die vier Schlüsseleigenschaften erfüllt, die für ein nützliches Weltmodell in der Luftrobotik erforderlich sind: genaue Langzeitvorhersage, Interpretierbarkeit, Echtzeit-Inferenz und Zero-Shot-Aufgengeneralisierung.

Die primäre Bedeutung liegt in dem Nachweis, dass ein rein simulationsbasiertes Training mit Domain Randomization ausreicht, um eine robuste Echtzeitsteuerung zu erreichen, wenn es mit einem geeigneten Lernframework kombiniert wird. Durch die Vermeidung der autoregressiven Fehlerakkumulation mittels later Vorhersage und die Erdung des Outputs durch physikalische Strukturen erreicht der Ansatz ein Maß an Generalisierung und Stabilität, das rein prädiktive Modelle nicht erreichen können. Die Autoren legen nahe, dass dieses Framework eine skalierbare Alternative zur kostspieligen Echtzeit-Datenerhebung und manuellen Systemidentifikation darstellt, was es agilen Luftrobotern ermöglicht, zuverlässig in unsicheren und sich ändernden Umgebungen zu operieren. Zukünftige Arbeiten schlagen vor, dies auf hochdimensionale visuelle Inputs auszuweiten und explizite Sicherheitsbeschränkungen einzubeziehen.