🤖 machine learning

AdaJEPA: An Adaptive Latent World Model

AdaJEPA est un modèle de monde latent adaptatif qui améliore la robustesse de la planification face aux changements de distribution en effectuant une adaptation auto-supervisée au moment du test au sein de la boucle de commande prédictive, en utilisant les transitions d'état observées pour recalibrer continuellement le modèle sans nécessiter de démonstrations d'experts supplémentaires.

Auteurs originaux : Ying Wang, Oumayma Bounou, Yann LeCun, Mengye Ren

Publié 2026-07-01

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ying Wang, Oumayma Bounou, Yann LeCun, Mengye Ren

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à conduire une voiture dans un simulateur. Vous passez des semaines à vous exercer, et le simulateur vous enseigne exactement comment la voiture réagit au volant et à la pédale d'accélérateur. Vous devenez un pro pour naviguer dans la ville virtuelle.

Maintenant, imaginez que vous sortez cette même voiture sur une véritable route. Mais voici le piège : la route réelle est légèrement différente. Peut-être que les pneus sont un peu plus glissants, que le vent est plus fort, ou que la route est recouverte d'une couche de poussière qui n'était pas présente dans le simulateur.

Le problème des modèles « gelés »
La plupart des systèmes d'IA actuels fonctionnent comme un conducteur qui aurait mémorisé parfaitement le simulateur, mais qui refuse d'apprendre quoi que ce soit de nouveau une fois qu'il est monté dans la vraie voiture. En termes techniques, ces systèmes utilisent un « modèle de monde » (une carte mentale du fonctionnement du monde) qui est gelé après l'entraînement.

Si le monde réel change, même un tout petit peu — comme une voiture qui se comporte différemment à cause de la pluie ou d'un nouvel obstacle — l'IA devient inexacte dans sa carte mentale. Elle essaie de conduire en se basant sur ses anciennes connaissances parfaites du simulateur, mais la voiture ne répond pas comme prévu. L'IA continue de faire les mêmes mouvements « parfaits », mais parce que la réalité a changé, elle finit par percuter ou échoue à atteindre sa destination.

La solution : AdaJEPA (Le conducteur adaptable)
Le papier présente AdaJEPA, une nouvelle façon de conduire qui agit davantage comme un humain. Au lieu de s'en tenir rigidement à son ancien entraînement, AdaJEPA possède une boucle spéciale de « Planification–Action–Adaptation–Replanification ».

Voici comment cela fonctionne, en utilisant une analogie simple :

Planifier : L'IA regarde la route devant elle et planifie un itinéraire basé sur sa carte mentale actuelle.
Agir : Elle fait le premier pas (comme tourner légèrement le volant).
Observer : Elle regarde immédiatement ce qui s'est réellement passé. La voiture a-t-elle glissé plus que prévu ? A-t-elle tourné plus brusquement ?
Adapter (L'étape magique) : Avant même de planifier le mouvement suivant, l'IA utilise cette observation unique pour mettre à jour sa carte mentale. Elle se dit : « D'accord, ma carte disait que la voiture tournerait à gauche, mais en fait, elle a tourné à droite. Je dois ajuster ma compréhension de la façon dont cette voiture réagit en ce moment même. »
Replanifier : Avec cette carte légèrement corrigée, elle planifie le mouvement suivant.

Cela se produit en une fraction de seconde, encore et encore, au fur et à mesure que l'IA avance. C'est comme un conducteur qui ajuste constamment sa direction en fonction du retour immédiat de la route, plutôt que de se fier à une carte statique datant d'une semaine.

Pourquoi cela importe
Les chercheurs ont testé cela de deux manières principales :

Changements visuels : Imaginez que l'éclairage de la pièce change, ou que l'objet que vous poussez change de couleur. Une IA gelée pourrait être confuse car elle a été entraînée sur un objet gris sous une lumière vive. AdaJEPA réalise rapidement : « Oh, cet objet est rouge maintenant, et la lumière est tamisée », et ajuste son plan instantanément.
Changements physiques : Imaginez que le sol soit soudainement beaucoup plus glissant (faible friction) ou que l'objet soit beaucoup plus lourd. Une IA gelée pousserait avec la même force qu'elle utilisait sur le sol sec et échouerait. AdaJEPA pousse, voit l'objet glisser trop loin, et apprend immédiatement : « Je dois pousser moins fort », pour l'étape suivante.

Les résultats
Le papier montre qu'AdaJEPA est incroyablement efficace. Elle n'a pas besoin de tout réapprendre à partir de zéro. Elle n'a souvent besoin que d'un seul petit ajustement (une seule « étape de gradient ») après chaque action pour corriger sa carte mentale.

Dans la zone « Sûre » : Même quand le monde est exactement comme l'IA l'attendait, AdaJEPA ne nuit pas aux performances ; elle reste simplement stable.
Dans la zone « Changée » : Quand le monde change (nouvelles formes, couleurs différentes, sols glissants), AdaJEPA surpasse de manière spectaculaire les modèles gelés. Elle se remet de ses erreurs beaucoup plus vite et atteint ses objectifs plus souvent.

L'essentiel
Le papier soutient que l'IA ne devrait pas être une statue statique qui cesse d'apprendre une fois qu'elle quitte le laboratoire d'entraînement. Au contraire, elle devrait être un système vivant qui calibre continuellement sa compréhension du monde tout en agissant. AdaJEPA prouve qu'en effectuant ces minuscules ajustements en temps réel, une IA peut gérer un monde changeant et imprévisible bien mieux qu'une IA qui refuse de s'adapter.

Résumé Technique : AdaJEPA : Un Modèle de Monde Latent Adaptatif

Problématique

Les modèles de monde latents, en particulier les architectures de prédiction d'encastrement conjoint (Joint-Embedding Predictive Architectures - JEPA), permettent une planification efficace en prédisant les états futurs dans un espace latent compact. Ces modèles sont généralement entraînés sur des trajectoires hors ligne sans récompense et couplés à un contrôle prédictif par modèle (MPC) pour des tâches conditionnées par un objectif. Cependant, une limitation critique existe : le modèle du monde est généralement gelé après l'entraînement.

Lors du déploiement, si les prédictions du modèle deviennent inexactes en raison de changements de distribution au moment du test (par exemple, des changements visuels comme du bruit ou de la luminosité, ou des changements dynamiques comme la friction et la masse), le planificateur MPC optimise un objectif incorrect. Des actions qui semblent efficaces dans « l'imagination latente » peuvent échouer dans l'environnement réel. De petites erreurs à une étape se cumulent sur l'horizon de planification, entraînant une dégradation substantielle des performances. Les approches actuelles nécessitent souvent des démonstrations d'experts supplémentaires, des données de réglage fin (fine-tuning) sur le domaine cible, ou des boucles externes complexes pour y remédier, ce qui entrave l'application dans le monde réel.

Méthodologie : AdaJEPA

Les auteurs proposent AdaJEPA, un modèle de monde latent adaptatif qui effectue une adaptation au moment du test (test-time adaptation) au sein de la boucle fermée du MPC. Au lieu de traiter le modèle comme statique, AdaJEPA recalibre continuellement le modèle du monde en utilisant des signaux auto-supervisés dérivés des propres interactions de l'agent.

La Boucle Planification–Exécution–Adaptation–Replanification

Le mécanisme central fonctionne comme suit à chaque étape du MPC :

Planifier : L'agent planifie une séquence d'actions en utilisant le modèle du monde actuel (potentiellement obsolète) pour minimiser un coût de l'atteinte de l'objectif latent.
Exécuter : L'agent exécute le premier bloc d'actions ( $a_t$ ) dans l'environnement.
Observer : L'agent reçoit l'observation suivante ( $o_{t+1}$ ).
Adapter : La transition $\{o_t, a_t, o_{t+1}\}$ est ajoutée à un tampon de rejeu (replay buffer). Les paramètres du modèle sont mis à jour via un petit nombre d'étapes de gradient (souvent une seule) pour minimiser l'erreur de prédiction latente sur cette nouvelle transition.
Replanifier : Le modèle mis à jour est immédiatement utilisé pour l'itération de planification suivante.

Composants Techniques

Architecture : Le modèle du monde sous-jacent se compose d'un encodeur sensoriel ( $\mathcal{E}_s$ ), d'un encodeur d'action ( $\mathcal{E}_a$ ) et d'un prédicteur ( $f_\theta$ ). Il est entraîné hors ligne pour prédire les représentations latentes futures ( $z_{t+1}$ ) plutôt que de reconstruire des pixels.
Perte d'Adaptation : L'adaptation utilise la même objective de prédiction latente auto-supervisée que le pré-entraînement :
$\mathcal{L}_{ada}(\mathcal{B}) = \frac{1}{|\mathcal{B}|} \sum_{(o_i, a_i, o_{i+1}) \in \mathcal{B}} \ell(f_\theta(z_i, \mathcal{E}_a(a_i)), \text{sg}(z_{i+1}))$
où $\mathcal{B}$ est un tampon des transitions récentes, $\ell$ est une perte de prédiction latente (par exemple, MSE), et $\text{sg}(\cdot)$ est un opérateur de stop-gradient pour éviter l'effondrement (collapse).
Mises à jour des Paramètres : Pour garantir l'efficacité, l'adaptation est légère. Les auteurs ne mettent à jour qu'un petit sous-ensemble de paramètres (par exemple, les dernières couches de l'encodeur et du prédicteur) plutôt que l'ensemble du réseau.
Stratégies de Tampon : Le tampon de rejeu $\mathcal{B}$ peut être géré via "récent-N" (garder les $N$ dernières transitions) ou "difficile-N" (garder les transitions présentant les plus grandes erreurs de prédiction).

Contributions Clés

Première Adaptation de JEPA pendant la Planification : À la connaissance des auteurs, c'est le premier travail à adapter un modèle de monde JEPA pendant la phase de planification, plutôt que de compter uniquement sur le pré-entraînement ou le réglage fin hors ligne.
Auto-supervision en Boucle Fermée : La méthode utilise les conséquences immédiates des actions exécutées comme un signal auto-supervisé, éliminant le besoin d'étiquettes de récompense, de démonstrations d'experts ou de phases de collecte de données distinctes.
Efficacité d'Échantillonnage et de Calcul : Le cadre obtient des gains de performance significatifs avec un surcoût computationnel minimal. Dans de nombreuses expériences, une seule étape de gradient par étape de replanification du MPC est suffisante.
Robustesse aux Changements de Distribution : L'approche démontre une robustesse face aux changements visuels (bruit, flou, changements de couleur), dynamiques (masse, amortissement) et structurels (configurations de labyrinthes inconnues).

Résultats Expérimentaux

Les auteurs ont évalué AdaJEPA sur les benchmarks PushT (poussée de blocs) et PointMaze (navigation) sous diverses variations de distribution entre l'entraînement et le test.

Performance en Distribution (In-Distribution) : Même sur des tâches similaires aux données d'entraînement, AdaJEPA améliore les taux de réussite (par exemple, un gain de >20 % sur certaines formes de PushObj) ou maintient les performances de base sans dégradation, prouvissant qu'il est sûr de l'appliquer en distribution.
Performance Hors-Distribution (OOD) :
- Changements de Forme : Sur des formes de blocs inédites, AdaJEPA a presque doublé le taux de réussite de la planification par rapport au modèle gelé.
- Changements Visuels : La méthode a montré des gains clairs sous un flou gaussien, un bruit de type sel et poivre, et un éclairage sombre.
- Changements de Dynamique et de Configuration : Dans PointMaze, AdaJEPA s'est rétabli des échecs causés par une faible masse ou un amortissement élevé et a considérablement amélioré les taux de réussite sur des configurations de labyrinthes inédites (par exemple, un gain de +25,3 % sur certaines variations de configuration).
Latence : L'étape d'adaptation introduit une latence négligeable (environ 0,01–0,03 s par replanification) car elle ne met à jour qu'un petit sous-ensemble de paramètres. De plus, en se rétablissant plus rapidement des erreurs de prédiction, l'agent atteint souvent l'objectif en moins de replanifications totales, réduisant ainsi le temps d'exécution global.
Généralisation à la Rareté de Données : Dans les régimes de faibles données, l'adaptation au moment du test a compensé la couverture limitée de l'entraînement. Par exemple, avec peu de données d'entraînement, AdaJEPA a surpassé un modèle gelé entraîné avec 16 fois plus de trajectoires.

Signification et Revendications

L'article soutient que les modèles de monde latents ne devraient pas rester fixes après l'entraînement mais devraient continuer à s'améliorer grâce à l'expérience rencontrée lors du déploiement.

Inspiration Biologique : L'approche est fondée sur l'adaptation sensorimotrice biologique, où les systèmes (comme le cervelet) ajustent le comportement en fonction des changements d'entrées et de la dynamique.
Complément à l'Échelle des Données : Bien que des données d'entraînement plus larges et plus diverses améliorent la généralisation, AdaJEPA offre une voie efficace en termes d'échantillonnage pour affiner les modèles lors du déploiement, agissant comme un complément à la mise à l'échelle des données.
Direction Future : Les auteurs suggèrent que la prochaine étape consiste à combiner cette adaptation légère au moment du test avec un apprentissage continu et actif pour étendre la couverture du modèle de monde au fil du temps, permettant une perception et une planification plus résilientes dans des environnements changeants.

Les auteurs soulignent que leur méthode est agnostique à l'implémentation spécifique du modèle de monde, montrant des améliorations constantes à travers différentes architectures (ResNet, Transformer, basées sur DINO) et différents planificateurs (Descente de Gradient, CEM).