🤖 machine learning

SkyJEPA: Learning Long-Horizon World Models for Zero-Shot Sim-to-Real Control of Quadrotors

Ce document présente SkyJEPA, un modèle de dynamique latente de type JEPA doté d'un sondeur inspiré de la physique et d'un pipeline de données automatisé qui permet une prédiction précise à long horizon et un contrôle robuste sim-to-real zero-shot pour des quadrotors agiles sur du matériel embarqué.

Auteurs originaux : Pratyaksh Rao, Wancong Zhang, Randall Balestriero, Yann LeCun, Giuseppe Loianno

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pratyaksh Rao, Wancong Zhang, Randall Balestriero, Yann LeCun, Giuseppe Loianno

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Apprendre à un drone à « rêver » avant de voler

Imaginez que vous appreniez à un enfant à faire du vélo.

L'ancienne méthode : Vous lui dites : « Pédale, puis tourne le guidon, puis pédale encore. » S'il fait une minuscule erreur (comme un léger vacillement), et que vous continuez à donner des instructions basées sur ce vacillement, les instructions se dégradent de plus en plus jusqu'à la chute. C'est ainsi que fonctionnent la plupart des contrôleurs de robots actuels. Ils essaient de prédire l'étape exacte, étape par étape, et les petites erreurs s'accumulent comme une boule de neige qui dévale une colline.
La méthode SkyJEPA : Au lieu de prédire chaque petit vacillement, vous apprenez à l'enfant à comprendre la sensation de l'équilibre. Vous lui apprenez à reconnaître la « forme » d'une conduite fluide par rapport à un accident dans son esprit. Même s'il vacille un peu, son sens interne de l'équilibre le maintient sur la bonne voie.

Ce document présente SkyJEPA, une nouvelle façon d'apprendre aux drones (quadricoptères) à voler. Cela permet à un drone d'apprendre à partir d'un jeu vidéo (simulation) puis de voler parfaitement dans le monde réel sans avoir besoin d'être réappris ou d'avoir ses capteurs nettoyés au préalable.

Les trois problèmes principaux qu'ils ont résolus

1. Le problème du « Jeu du téléphone » (Prédiction à long terme)

Le problème : La plupart des modèles d'IA essaient de prédire l'avenir en devinant la seconde suivante, puis en utilisant cette supposition pour deviner la seconde d'après, et ainsi de suite. C'est comme le « Jeu du téléphone » (le téléphone arabe) : la personne A chuchote un message à la personne B, qui le chuchote à la personne C. Lorsqu'il arrive à la personne Z, le message est totalement déformé.
La solution SkyJEPA : Au lieu de chuchoter le message exact (la position exacte du drone), SkyJEPA apprend au drone à prédire l' essentiel ou l' ambiance du futur dans un « espace de rêve » compressé (espace latent).

Analogie : Imaginez que vous prédisiez un film. Au lieu d'essayer de décrire chaque image (ce qui devient complexe), vous prédisez le résumé de l'intrigue. Même si vous manquez un détail dans le résumé, l'histoire globale reste cohérente. Cela empêche les erreurs de s'accumuler lors de longs vols.

2. Le problème de la « Boîte noire » (Interprétabilité)

Le problème : Les modèles d'apprentissage profond sont souvent des « boîtes noires ». Ils savent comment voler, mais ils ne peuvent pas vous dire pourquoi ni vous donner des chiffres comme « Je me déplace à 5 mètres par seconde ». Vous ne pouvez pas mettre une « boîte noire » à l'intérieur d'un contrôleur de sécurité, car le contrôleur a besoin de chiffres réels pour savoir s'il est sur le point de heurter un mur.
La solution SkyJEPA : Ils ont ajouté un traducteur spécial appelé un « Prober inspiré de la physique ».

Analogie : Imaginez le cerveau du drone comme un chef qui parle uniquement le « Langage des Saveurs » (l'espace de rêve abstrait). Le « Prober » est un traducteur qui connaît les règles de la physique (comme la gravité et la poussée). Le traducteur prend le « Langage des Saveurs » du chef et le convertit en une recette avec des mesures exactes (mètres, degrés, vitesse). Cela permet au système de sécurité du drone de comprendre exactement ce qui se passe.

3. Le problème de la « Sortie scolaire dangereuse » (Collecte de données)

Le problème : Pour apprendre à un robot à voler, il faut généralement le faire s'écraser souvent dans le monde réel pour apprendre de ses erreurs. C'est coûteux, dangereux et cela gaspille le matériel.
La solution SkyJEPA : Ils ont construit un « Simulateur Magique » qui crée automatiquement des milliers de scénarios de vol différents.

Analogie : Au lieu de sortir un élève conducteur sur une autoroute encombrée de trafic réel (où il pourrait avoir un accident), vous le mettez dans un simulateur de conduite. Mais ce simulateur est spécial : il change aléatoirement le moteur de la voiture, les conditions de la route, le vent et le poids de la voiture pour chaque leçon.
En s'entraînant sur ce simulateur chaotique et aléatoire, le drone apprend à gérer n'importe quelle situation réelle. Lorsqu'il vole enfin à l'extérieur, c'est comme un conducteur expérimenté qui a déjà vécu toutes les conditions météorologiques et tous les dysfonctionnements de voiture possibles dans le simulateur.

Comment cela fonctionne dans la vie réelle

Les chercheurs ont testé cela sur un vrai drone dans un champ extérieur. Voici ce qui s'est passé :

Transfert Zero-Shot : Ils ont entraîné le drone uniquement dans la simulation informatique. Ils ne lui ont jamais montré une seule donnée du monde réel. Lorsqu'ils ont emmené le drone à l'extérieur, il volait parfaitement immédiatement. Pas de réentraînement, pas d'ajustement.
Les scénarios « Et si ? » : Ils ont testé le drone dans trois situations délicates :
- Vol normal : Il a suivi des trajectoires complexes comme des huit.
- Changement de charge utile : Ils ont suspendu un poids lourd au drone (changeant son poids). Le drone s'est ajusté instantanément.
- Changement d'hélices : Ils ont remplacé les hélices par d'autres (changeant le fonctionnement des moteurs). Le drone a toujours volé de manière fluide.
Le résultat : Le drone SkyJEPA était beaucoup plus précis et stable que les autres drones utilisant des méthodes plus anciennes. Il ne s'est pas écrasé et n'a pas été perturbé lorsque le poids ou les pièces du drone ont changé.

Ce qu'il faut retenir

SkyJEPA est comme donner à un drone un « instinct » pour la physique.

Il apprend en rêvant de manière compressée et résistante aux erreurs (Espace Latent).
Il possède un traducteur qui transforme ces rêves en chiffres du monde réel (Le Prober).
Il s'entraîne dans un jeu vidéo chaotique et aléatoire pour être prêt à tout dans le monde réel.

Le résultat est un drone capable de voler de manière agile, sûre et précise dans le monde réel, même s'il n'a jamais vu le monde réel auparavant, simplement parce qu'il a parfaitement appris les « règles du jeu » dans la simulation.

Résumé Technique : SkyJEPA : Apprentissage de modèles de monde à long horizon pour le contrôle sim-to-real zero-shot de quadrotors

Problématique

Des modèles de dynamique précis sont essentiels pour une prise de décision éclairée dans les véhicules aériens agiles, particulièrement pour le contrôle basé sur un modèle qui nécessite de raisonner sur l'évolution future du système. Cependant, les modèles de dynamique existants basés sur des réseaux de neurones font face à des limitations significatives :

Instabilité à long horizon : La plupart des approches utilisent des architectures encodeur-décodeur autorégressives qui réinjectent récursivement les prédictions comme entrées. Ce mécanisme amplifie les petites erreurs d'une étape au fil du temps, entraînant une dérive, une instabilité et des trajectoires physiquement implausibles à mesure que l'horizon de prédiction augmente.
Manque d'interprétabilité : De nombreux modèles appris opèrent dans des espaces latents abstraits ou reconstruisent des observations complètes, échouant à exposer des quantités physiquement significatives (ex: position, vitesse, attitude) nécessaires pour imposer des contraintes et des limites de sécurité aux contrôleurs.
Dépendance aux données et généralisation : La collecte de données réelles diversifiées et informatives est coûteuse, risquée et laborieuse. De plus, les modèles entraînés sur des plateformes ou des tâches spécifiques échouent souvent à se généraliser à de nouvelles configurations (ex: changements de charge utile, remplacement d'hélices) sans réentraînement.
Contraintes de temps réel : Un contrôle à haute fréquence sur du matériel embarqué aux ressources limitées nécessite des modèles pouvant être évalués de manière répétée avec une faible latence, un défi pour les modèles complexes basés sur la reconstruction.

Le papier répond à la question centrale : Pouvons-nous apprendre un modèle dynamique efficace pour les robots aériens qui offre une prédiction précise à long horizon, des déploiements (rollouts) physiquement interprétables, une capacité de contrôle en temps réel et une généralisation zero-shot à travers les tâches, tout en réduisant la dépendance à la collecte de données réelles risquées ?

Méthodologie

Les auteurs proposent SkyJEPA, un cadre basé sur les architectures de prédiction d'encastrement conjoint (Joint Embedding Predictive Architectures - JEPA) adaptées au contrôle de quadrotors en temps réel. L'approche se compose de quatre composantes principales :

Modèle de dynamique latente de type JEPA :
Au lieu de prédire de manière autorégressive les états ou les observations futurs, le modèle apprend à prédire des représentations futures dans un espace latent compact. Il prend un historique d'états ( $X_t$ ) et d'actions ( $A_t$ ) sur une fenêtre $H$ , les encode en représentations latentes ( $s_t, z_t$ ), et prédit l'état latent suivant ( $\tilde{s}_{t+1}$ ) conditionné par les actions futures. Cette formulation évite l'erreur de composition inhérente à la prédiction d'état autorégressive en opérant dans un espace latent structuré.
Objectif d'apprentissage (SIGReg) :
Le modèle est entraîné à l'aide d'une perte à deux termes :

Cohérence prédictive ( $L_{pred}$ ) : Minimise la distance entre les prédictions latentes déployées et les états futurs encodés.
Régularisation anti-effondrement (SIGReg) : Utilise la régularisation gaussienne isotrope esquissée (Sketched Isotropic Gaussian Regularization) pour empêcher l'effondrement des représentations. Elle encourage les plongements latents à correspondre à une distribution gaussienne isotrope en comparant des projections aléatoires unidimensionnelles de la distribution latente à une gaussienne standard. Cela favorise la diversité sans nécessiter de mécanismes de stop-gradient complexes ou de multiples termes de perte.

Sonde inspirée par la physique (Physics-Inspired Prober) :
Pour rendre les prédictions latentes utilisables pour le contrôle, un réseau de "sonde" (prober) mappe les déploiements latents gelés vers des états métriques physiquement significatifs. Il s'agit d'un processus en deux étapes :

Le modèle de dynamique latente est entraîné en premier.
Les encodeurs et le prédicteur sont gelés, et un réseau de sondage léger est entraîné pour prédire les termes de correction résiduels (accélération translationnelle et angulaire) basés sur les états latents.
Ces résidus sont intégrés dans un modèle cinématique différentiable (utilisant les cartes exponentielles SO(3) pour l'attitude) afin de reconstruire la trajectoire complète de l'état. Cela garantit que la sortie est interprétable et respecte les contraintes physiques.

Synthèse automatisée de données et randomisation de domaine :
Pour éliminer le besoin d'une collecte étendue de données réelles, les auteurs proposent un pipeline pour générer des données d'entraînement diversifiées entièrement en simulation :

Génération de référence : Des processus gaussiens génèrent des trajectoires de référence lisses et randomisées qui couvrent une large enveloppe de vol.
Suivi en boucle fermée : Un contrôleur de suivi (combinant NMPC et MPPI) exécute ces références en simulation pour produire des paires état-action physiquement réalisables.
Randomisation de domaine : Chaque déploiement est simulé avec des paramètres physiques randomisés (masse, inertie, traînée, constantes de temps des moteurs, etc.) pour exposer le modèle à une famille de systèmes plutôt qu'à un seul modèle nominal.

Contrôle par échantillonnage (MPPI) :
Le modèle appris est intégré dans un contrôleur d'Intégrale de Chemin Prédictif par Modèle (Model Predictive Path Integral - MPPI). Le contrôleur échantillonne des séquences d'actions, les déploie en utilisant le modèle de dynamique latente et la sonde, évalue les coûts de trajectoire, et met à jour l'entrée de contrôle. Cela s'exécute entièrement sur du matériel embarqué (NVIDIA Orin NX) à des fréquences élevées.

Contributions clés

JEPA pour le contrôle en temps réel : Introduction du premier modèle de dynamique latente de type JEPA entraîné de bout en bout pour le contrôle de quadrotor en temps réel, allant au-delà de la planification cinématique de haut niveau.
Sonde inspirée par la physique : Un mécanisme novateur qui mappe les représentations latentes gelées vers des états métriques interprétables via un intégrateur cinématique structuré, permettant une prédiction à long horizon ancrée physiquement.
Transfert sim-to-real zero-shot : Démonstration qu'un modèle entraîné entièrement sur des données de simulation avec randomisation de domaine peut atteindre un contrôle robuste sur du matériel réel sans ajustement (fine-tuning) spécifique à la tâche.
Pipeline de génération de données automatisé : Une procédure rigoureuse de génération automatisée de jeux de données utilisant des processus gaussiens et la randomisation de domaine, réduisant la dépendance à la collecte de données réelles dangereuses.

Résultats

Le cadre a été évalué via des expériences en boucle ouverte (prédiction) et en extérieur en boucle fermée sur un quadrotor de 1,3 kg.

Précision à long horizon : SkyJEPA a nettement surpassé les bases prédictives autorégressives lors des déploiements en boucle ouverte. Il a présenté un ratio de compilation (croissance de l'erreur par rapport à la prédiction forcée par l'enseignant) plus faible et des taux de croissance d'erreur plus faibles sur de longs horizons (jusqu'à 60 étapes).
Interprétabilité : La sonde inspirée par la physique a considérablement amélioré la récupération des états métriques. Comparée à une sonde MLP standard, la sonde PI a réduit l'erreur quadratique moyenne (RMSE) de position de ~5,56 m à ~1,43 m et l'erreur d'attitude de ~40° à ~4,7° lors des tests en boucle ouverte.
Transfert sim-to-real zero-shot : Dans les expériences réelles, le contrôleur proposé a atteint des erreurs de suivi de position et d'attitude plus faibles que les bases (MPPI avec modèles prédictifs) sur diverses trajectoires (cercles, huit, lemniscates). Par exemple, sur une trajectoire circulaire, l'erreur RMSE de position a été réduite de 0,39 m (base) à 0,24 m.
Robustesse : Le système a maintenu ses performances sous des variations de plateforme significatives sans réentraînement, incluant l'ajout de charges utiles (300 g) et le changement d'hélices. Il a systématiquement surpassé les bases dans ces conditions non nominales.
Qualité des données : L'analyse utilisant un score de Qualité de Distribution de Trajectoire (TDQ) a montré une forte corrélation inverse entre la diversité/couverture du jeu de données et l'erreur de prédiction, validant l'approche de synthèse de données par randomisation de domaine.
Performance en temps réel : Le modèle léger (~9K paramètres) et l'inférence optimisée ont permis une exécution en temps réel sur du matériel embarqué dans le budget de contrôle de 10 ms.

Signification

Le papier affirme que SkyJEPA satisfait les quatre propriétés clés requises pour un modèle de monde utile en robotique aérienne : prédiction précise à long horizon, interprétabilité, inférence en temps réel et généralisation de tâche zero-shot.

La principale importance réside dans la démonstration que l'entraînement uniquement par simulation avec randomisation de domaine est suffisant pour un contrôle robuste dans le monde réel lorsqu'il est couplé à un cadre d'apprentissage approprié. En évitant l'accumulation d'erreurs autorégressives grâce à la prédiction latente et en ancrant la sortie avec une structure physique, l'approche atteint un niveau de généralisation et de stabilité que les modèles purement prédictifs ne peuvent atteindre. Les auteurs suggèrent que ce cadre offre une alternative évolutive à la collecte de données réelles coûteuses et à l'identification de systèmes manuelle, permettant aux robots aériens agiles d'opérer de manière fiable dans des environnements incertains et changeants. Des travaux futurs sont proposés pour étendre cela à des entrées visuelles de haute dimension et incorporer des contraintes de sécurité explicites.