🤖 machine learning

SkyJEPA: Learning Long-Horizon World Models for Zero-Shot Sim-to-Real Control of Quadrotors

Dit artikel introduceert SkyJEPA, een JEPA-stijl latent dynamica-model met een natuurkundig geïnspireerde prober en een geautomatiseerde datapijplijn die nauwkeurige langetermijnvoorspelling en robuuste zero-shot sim-to-real controle mogelijk maakt voor wendbare quadrotors op ingebedde hardware.

Oorspronkelijke auteurs: Pratyaksh Rao, Wancong Zhang, Randall Balestriero, Yann LeCun, Giuseppe Loianno

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pratyaksh Rao, Wancong Zhang, Randall Balestriero, Yann LeCun, Giuseppe Loianno

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Drone Leren "Dromen" Voordat Hij Vliegt

Stel je voor dat je een kind leert fietsen rijden.

De Oude Manier: Je zegt tegen hen: "Trap, draai dan aan het stuur, en trap dan weer." Als ze een kleine fout maken (zoals een beetje wiebelen), en je blijft instructies geven op basis van die wiebel, worden de instructies steeds slechter totdat ze crashen. Dit is hoe de meeste huidige robotcontrollers werken. Ze proberen de exacte toekomst stap voor stap te voorspellen, en kleine foutjes stapelen zich op als een sneeuwbal die een heuvel afrolt.
De SkyJEPA-manier: In plaats van elke kleine wiebel te voorspellen, leer je het kind het gevoel van evenwicht begrijpen. Je leert hen de "vorm" te herkennen van een soepele rit versus een crash in hun hoofd. Zelfs als ze een beetje wiebelen, houdt hun interne gevoel voor evenwicht hen op koers.

Dit paper introduceert SkyJEPA, een nieuwe manier om drones (quadrotors) te leren vliegen. Het stelt een drone in staat om te leren van een videogame (simulatie) en vervolgens perfect in de echte wereld te vliegen zonder dat de sensoren eerst opgeschoond of opnieuw aangeleerd hoeven te worden.

De Drie Belangrijkste Problemen Die Ze Hebben Opgelost

1. Het "Telefoontjespel"-probleem (Long-Horizon Voorspelling)

Het Probleem: De meeste AI-modellen proberen de toekomst te voorspellen door de volgende seconde te raden, en die gok vervolgens te gebruiken om de seconde daarna te raden, enzovoort. Het is als het spel "Telefoontjes" (het versturen van een berichtje): Persoon A fluistert een bericht naar Persoon B, die het weer fluistert naar Persoon C. Tegen de tijd dat het bij Persoon Z aankomt, is het bericht onverstaanbaar geworden.
De SkyJEPA-oplossing: In plaats van het exacte bericht te fluisteren (de exacte positie van de drone), leert SkyJEPA de drone om de kern of de vibe van de toekomst te voorspellen in een gecomprimeerde "droomruimte" (latent space).

Analogie: Stel je voor dat je een film voorspelt. In plaats van te proberen elke individuele frame te beschrijven (wat rommelig wordt), voorspel je de samenvatting van het plot. Zelfs als je een detail in de samenvatting mist, blijft het algemene verhaal op koers. Dit voorkomt dat fouten zich opstapelen tijdens lange vluchten.

2. Het "Black Box"-probleem (Interpreteerbaarheid)

Het Probleem: Deep learning-modellen zijn vaak "black boxes". Ze weten hoe ze moeten vliegen, maar ze kunnen je niet vertellen waarom of je cijfers geven zoals "Ik beweeg met 5 meter per seconde." Je kunt geen "black box" in een veiligheidscontroller plaatsen, omdat de controller echte getallen nodig heeft om te weten of hij tegen een muur gaat botsen.
De SkyJEPA-oplossing: Ze hebben een speciale vertaler toegevoegd, een "Physics-Inspired Prober."

Analogie: Denk aan het brein van de drone als een chef die alleen "Smaaktaal" spreekt (de abstracte droomruimte). De "Prober" is een vertaler die de regels van de natuurkunde kent (zoals zwaartekracht en stuwkracht). De vertaler neemt de "Smaaktaal" van de chef en zet dit om in een recept met exacte metingen (meters, graden, snelheid). Hierdoor kan het veiligheidssysteem van de drone precies begrijpen wat er gebeurt.

3. Het "Gevaarlijke Excursie"-probleem (Dataverzameling)

Het Probleem: Om een robot te leren vliegen, moet je meestal veel crashes veroorzaken in de echte wereld om te leren van fouten. Dit is duur, gevaarlijk en verspilt hardware.
De SkyJEPA-oplossing: Ze hebben een "Magische Simulator" gebouwd die automatisch duizenden verschillende scenario's creëert.

Analogie: In plaats van een leerling-chauffeur mee te nemen op een drukke snelweg met echt verkeer (waar ze kunnen crashen), zet je ze in een rijsimulator. Maar deze simulator is speciaal: hij verandert willekeurig de motor van de auto, de wegomstandigheden, de wind en het gewicht van de auto voor elke les.
Door te trainen op deze chaotische, gerandomiseerde simulator, leert de drone om elke situatie in de echte wereld aan te kunnen. Wanneer de drone uiteindelijk naar buiten vliegt, is het als een ervaren bestuurder die al elke mogelijke weersomstandigheid en auto-defect in de simulator heeft ervaren.

Hoe Het Werkt in het Echte Leven

De onderzoekers hebben dit getest op een echte drone in een open veld. Dit is wat er gebeurde:

Zero-Shot Transfer: Ze trainden de drone alleen in de computersimulatie. Ze hebben de drone nooit één enkel stukje echte wereld-data laten zien. Toen ze de drone naar buiten namen, vloog hij direct perfect. Geen hertraining, geen fine-tuning nodig.
De "Wat Als"-scenario's: Ze testten de drone in drie lastige situaties:
- Normale Vlucht: De drone volgde complexe paden zoals achtjes.
- Payload Verandering: Ze hingen een zwaar gewicht aan de drone (waardoor het gewicht veranderde). De drone paste zich direct aan.
- Propeller Wissel: Ze vervingen de propellers voor andere propellers (waardoor de werking van de motoren veranderde). De drone vloog nog steeds soepel.
Het Resultaat: De SkyJEPA-drone was veel nauwkeuriger en stabieler dan andere drones die oudere methoden gebruikten. Hij crashte niet en raakte niet in de war wanneer het gewicht of de onderdelen van de drone veranderden.

De Kernboodschap

SkyJEPA is als het geven van een "onderbuikgevoel" voor natuurkunde aan een drone.

Het leert door te dromen op een gecomprimeerde, foutbestendige manier (Latent Space).
Het heeft een vertaler die die dromen omzet in echte wereld-getallen (De Prober).
Het traint in een chaotische, gerandomiseerde videogame zodat het klaar is voor alles in de echte wereld.

Het resultaat is een drone die wendbaar, veilig en nauwkeurig kan vliegen in de echte wereld, zelfs als hij de echte wereld nog nooit heeft gezien, simpelweg omdat hij de "regels van het spel" perfect heeft geleerd in de simulatie.

Technische Samenvatting: SkyJEPA: Leren van Long-Horizon Wereldmodellen voor Zero-Shot Sim-to-Real Controle van Quadrotors

Probleemstelling

Nauwkeurige dynamische modellen zijn essentieel voor geïnformeerde besluitvorming bij wendbare luchtvaartuigen, met name voor modelgebaseerde controle die vereist dat er wordt geredeneerd over de toekomstige evolutie van het systeem. Echter, bestaande neurale netwerkdynamiekmodellen kampen met significante beperkingen:

Long-Horizon Instabiliteit: De meeste benaderingen gebruiken autoregressieve encoder-decoder architecturen die voorspellingen recursief als input terugvoeren. Dit mechanisme versterkt kleine fouten van één stap over de tijd, wat leidt tot drift, instabiliteit en fysiek onwaarschijnlijke trajecten naarmate de voorspellingshorizon toeneemt.
Gebrek aan Interpreteerbaarheid: Veel geleerde modellen opereren in abstracte latente ruimtes of reconstrueren volledige observaties, waardoor ze niet in staat zijn om fysiek betekenisvolle grootheden (bijv. positie, snelheid, oriëntatie) bloot te leggen die nodig zijn voor het afdwingen van restricties en veiligheidsmarges in controllers.
Data-afhankelijkheid en Generalisatie: Het verzamelen van diverse, informatieve real-world data is duur, riskant en arbeidsintensief. Bovendien generaliseren modellen die getraind zijn op specifieke platforms of taken vaak slecht naar nieuwe configuraties (bijv. payload-veranderingen, propellerwissels) zonder hertraining.
Real-Time Beperkingen: Hoogfrequente controle op hulpbronnenbeperkte embedded hardware vereist modellen die herhaaldelijk en met een lage latentie geëvalueerd kunnen worden, wat een uitdaging vormt voor complexe reconstructiegebaseerde modellen.

Het artikel adresseert de centrale vraag: Kunnen we een efficiënt dynamisch model leren voor luchtvaartrobots dat nauwkeurige long-horizon voorspelling, fysiek interpreteerbare rollouts, real-time controlecapaciteit en zero-shot generalisatie over taken biedt, terwijl de afhankelijkheid van risicovolle real-world dataverzameling wordt verminderd?

Methodologie

De auteurs stellen SkyJEPA voor, een framework gebaseerd op Joint Embedding Predictive Architectures (JEPAs) die specifiek zijn afgestemd op real-time quadrotorcontrole. De aanpak bestaat uit vier hoofdcomponenten:

JEPA-stijl Latent Dynamics Model:
In plaats van autoregressief toekomstige staten of observaties te voorspellen, leert het model toekomstige representaties te voorspellen in een compacte latente ruimte. Het neemt een geschiedenis van staten ( $X_t$ ) en acties ( $A_t$ ) over een venster $H$ , encodeert deze in latente representaties ( $s_t, z_t$ ), en voorspelt de volgende latente staat ( $\tilde{s}_{t+1}$ ) geconditioneerd op toekomstige acties. Deze formulering vermijdt de cumulatieve fout die inherent is aan autoregressieve staatvoorspelling door te opereren in een gestructureerde latente ruimte.
Trainingsdoel (SIGReg):
Het model wordt getraind met een twee-term verliesfunctie:
- Predictive Consistency ( $L_{pred}$ ): Minimaliseert de afstand tussen de uitgerolde latente voorspellingen en de geencodeerde toekomstige staten.
- Anti-Collapse Regularization (SIGReg): Gebruikt Sketched Isotropic Gaussian Regularization om representatie-instorting te voorkomen. Het moedigt de latente embeddings aan om een isotrope Gaussische distributie te matchen door willekeurige ééndimensionale projecties van de latente distributie te vergelijken met een standaard Gaussische verdeling. Dit bevordert diversiteit zonder complexe stop-gradient mechanismen of meerdere verliesfuncties te vereisen.
Physics-Inspired Prober:
Om de latente voorspellingen bruikbaar te maken voor controle, brengt een "prober" netwerk de bevroren latente rollouts in kaart naar fysiek betekenisvolle metrieke staten. Dit is een tweestaps-proces:
- Het latente dynamiekmodel wordt eerst getraind.
- De encoders en de predictor worden bevroren, en een lichtgewicht probing netwerk wordt getraind om residuele correctietermen (translationele en angulaire versnelling) te voorspellen op basis van de latente staten.
- Deze residuen worden geïntegreerd in een differentieerbaar kinematisch model (met behulp van SO(3) exponentiële maps voor oriëntatie) om de volledige staatstraject te reconstrueren. Dit zorgt ervoor dat de output interpreteerbaar is en aan fysieke restricties voldoet.
Geautomatiseerde Datasynthese & Domain Randomization:
Om de noodzaak voor uitgebreide real-world dataverzameling te elimineren, stellen de auteurs een pijplijn voor voor het genereren van diverse trainingsdata volledig in simulatie:
- Reference Generation: Gaussische processen genereren vloeiende, gerandomiseerde referentietrajecten die een breed vliegendomein dekken.
- Closed-Loop Tracking: Een tracking controller (combinatie van NMPC en MPPI) voert deze referenties uit in simulatie om fysiek haalbare staat-actie paren te produceren.
- Domain Randomization: Elke rollout wordt gesimuleerd met gerandomiseerde fysieke parameters (massa, traagheid, weerstand, motortijdconstanten, etc.) om het model bloot te stellen aan een familie van systemen in plaats van een enkel nominaal model.
Sampling-Based Control (MPPI):
Het geleerde model wordt geïntegreerd in een Model Predictive Path Integral (MPPI) controller. De controller samplet actiesequenties, voert ze uit met het latente dynamiekmodel en de prober, evalueert trajectkosten en werkt de controle-input bij. Dit draait volledig op embedded hardware (NVIDIA Orin NX) op hoge frequenties.

Belangrijkste Bijdragen

JEPA voor Real-Time Controle: Introductie van het eerste JEPA-stijl latent dynamiekmodel dat end-to-end is getraind voor real-time quadrotorcontrole, reikend verder dan hoog-niveau kinematische planning.
Physics-Inspired Probing: Een nieuw mechanisme dat bevroren latente representaties in kaart brengt naar interpreteerbare metrieke staten via een gestructureerde kinematische integrator, wat zorgt voor fysiek gegronde long-horizon voorspelling.
Zero-Shot Sim-to-Real Transfer: Demonstratie dat een model dat volledig is getraind op domain-randomized simulatiedata, robuuste controle kan bereiken op echte hardware zonder taakspecifieke fine-tuning.
Geautomatiseerd Dataset Pipeline: Een principiële procedure voor geautomatiseerde datasetgeneratie met behulp van Gaussische processen en domain randomization, wat de afhankelijkheid van onveilige real-world dataverzameling vermindert.

Resultaten

Het framework werd geëvalueerd via open-loop voorspelling en outdoor closed-loop experimenten op een 1,3-kg quadrotor.

Long-Horizon Nauwkeurigheid: SkyJEPA presteerde aanzienlijk beter dan autoregressieve voorspellingsbaselines in open-loop rollouts. Het vertoonde een lagere compounding ratio (foutgroei relatief aan teacher-forced voorspelling) en een lagere foutgroei-snelheid over lange horizonten (tot 60 stappen).
Interpreteerbaarheid: De physics-inspired prober verbeterde de metrieke staat-reconstructie drastisch. Vergeleken met een standaard MLP prober verminderde de PI Prober de positie RMSE van ~5,56m naar ~1,43m en de oriëntatiefout van ~40° naar ~4,7° in open-loop tests.
Zero-Shot Sim-to-Real Transfer: In real-world experimenten bereikte de voorgestelde controller lagere positie- en oriëntatie-trackingfouten dan de baselines (MPPI met voorspellende modellen) over diverse trajecten (cirkels, figuur-8's, lemniscaten). Bijvoorbeeld, op een cirkeltraject werd de positie RMSE verminderd van 0,39m (baseline) naar 0,24m.
Robuustheid: Het systeem behield de prestaties onder significante platformvariaties zonder hertraining, inclus�ief payload-toevoegingen (300g) en propellerwissels. Het presteerde consequent beter dan de baselines onder deze niet-nominale condities.
Data Kwaliteit: Analyse met een Trajectory Distribution Quality (TDQ) score toonde een sterke inverse correlatie tussen datasetdiversiteit/dekking en voorspellingsfout, wat de aanpak van domain-randomized datasynthese valideert.
Real-Time Prestaties: Het lichtgewicht model (~9K parameters) en de geoptimaliseerde inferentie maakten real-time executie op embedded hardware mogelijk binnen het 10ms controlebudget.

Betekenis

Het artikel beweert dat SkyJEPA voldoet aan de vier kerneigenschappen die vereist zijn voor een nuttig wereldmodel in de luchtvaartrobotica: nauwkeurige long-horizon voorspelling, interpreteerbaarheid, real-time inferentie en zero-shot taakgeneralisatie.

De primaire betekenis ligt in het aantonen dat training uitsluitend in simulatie met domain randomization voldoende is voor robuuste real-world controle wanneer dit gepaard gaat met een geschikt leerkader. Door autoregressieve foutaccumulatie te vermijden via latente voorspelling en de output te funderen met fysieke structuur, bereikt de aanpak een niveau van generalisatie en stabiliteit dat puur voorspellende modellen niet kunnen evenaren. De auteurs suggereren dat dit framework een schaalbare alternatief biedt voor kostbare real-world dataverzameling en handmatige systeemidentificatie, waardoor wendbare luchtvaartrobots betrouwbaar kunnen opereren in onzekere en veranderende omgevingen. Toekomstig werk wordt voorgesteld om dit uit te breiden naar hoog-dimensionale visuele inputs en het expliciet integreren van veiligheidsrestricties.