🤖 machine learning

EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

Cet article démontre que la modulation des poids du côté de l'opérateur (EPM-JEPA) surpasse l'injection d'état du côté de l'opérande (EI-JEPA) pour adapter les modèles de monde de la famille JEPA aux changements de distribution, révélant que les trajectoires de performance sont pilotées par des processus dynamiques distincts plutôt que par une convergence vers l'équilibre, et motivant ainsi le développement d'un successeur fondé sur la physique.

Auteurs originaux : Vedant Pandya

Publié 2026-06-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vedant Pandya

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Apprendre à un robot à s'adapter

Imaginez que vous appreniez à un robot à prédire où une balle va rouler. Vous l'entraînez dans une pièce avec un sol plat (sans gravité). Ensuite, vous emmenez le robot dans une nouvelle pièce où le sol est incliné (la gravité est différente).

Les modèles d'IA standards sont comme des étudiants qui mémorisent les règles de la pièce plate. Lorsqu'ils entrent dans la pièce inclinée, ils sont confus car leur « cerveau » (leur calcul interne) n'a pas changé pour correspondre à la nouvelle réalité. Ils continuent de prédire que la balle va rouler droit, alors qu'elle roule en fait en pente.

Cet article tente d'apprendre au robot à apprendre à la volée. Il pose la question suivante : Comment pouvons-nous donner au robot une mémoire de ses erreurs récentes afin qu'il puisse instantanément ajuster son cerveau pour la nouvelle pièce inclinée ?

Les deux méthodes testées

Les chercheurs ont comparé deux façons différentes de donner cette « mémoire » au robot :

La méthode A : L'approche du « Carnet de notes » (EI-JEPA)
- L'analogie : Imaginez que le robot possède un carnet de notes. Lorsqu'il voit quelque chose de nouveau, il écrit une note dans le carnet. Lorsqu'il doit faire une prédiction, il lit la note et ajoute cette information à son processus de pensée actuel.
- Le résultat : Cela n'a pas bien fonctionné. Le robot était confus par les notes supplémentaires. C'était comme essayer de résoudre un problème de mathématiques pendant que quelqu'un vous murmure des indices à l'oreille ; cela rendait simplement le robot plus lent et moins précis.
La méthode B : L'approche du « Recâblage du cerveau » (EPM-JEPA)
- L'analogie : Au lieu de simplement lire une note, le robot utilise sa mémoire pour modifier physiquement les connexions à l'intérieur de son cerveau. C'est comme un musicien qui, en entendant un nouveau genre de musique, ajuste instantanément la tension des cordes de sa guitare pour s'adapter au nouveau son. Le robot change la façon dont il calcule, et pas seulement ce qu'il pense.
- Le résultat : Cela a mieux fonctionné. Le robot a ajusté ses « engrenages » internes pour s'adapter à la nouvelle pièce inclinée et a prédit la trajectoire de la balle plus précisément que le robot qui utilisait simplement un carnet de notes.

La découverte principale : Un « Résultat Nul » est quand même une victoire

Les chercheurs ont établi un pari strict avant de commencer. Ils voulaient voir si la méthode du « Recâblage » était significativement meilleure que la méthode du « Carnet de notes ».

Le Pari : Si la méthode du « Recâblage » améliorait la performance de plus de 5 %, ils considéreraient cela comme une victoire majeure.
Le Résultat : La méthode du « Recâblage » était légèrement meilleure, mais la différence n'était que d'environ 4,7 %.
Le Verdict : Techniquement, il s'agit d'un « Résultat Nul » (signifiant que les deux méthodes n'étaient pas statistiquement assez différentes pour déclarer un vainqueur).
Pourquoi c'est important : Les auteurs affirment que c'est un bon résultat scientifique. Cela prouve que le simple fait d'ajouter de la mémoire ne suffit pas ; la façon dont vous utilisez cette mémoire est cruciale. La méthode du « Recâblage » était la seule à réellement battre le robot qui n'avait aucune mémoire du tout.

La recette secrète : Pourquoi le robot s'est amélioré (puis a empiré)

La partie la plus intéressante de l'article n'est pas seulement que le robot s'est amélioré, mais comment il s'est amélioré. Les chercheurs ont découvert que la performance du robot suivait une danse spécifique en trois étapes qui ressemblait à une vague :

La phase de remplissage (Cycle du tampon/Buffer Cycling) : Le robot commence à collecter des souvenirs. À mesure que son « seau » de mémoire se remplit et commence à déborder pour laisser place aux nouveaux souvenirs, le robot trouve un « point idéal » où il prédit parfaitement.
La phase de dérive (Dérive EMA/EMA Drift) : Après ce point idéal, sa « cible » (l'objectif qu'il essaie d'atteindre) commence à dériver lentement. C'est comme si la ligne d'arrivée se déplaçait légèrement chaque seconde. Le robot continue d'essayer d'atteindre l'ancienne cible, donc sa performance commence à décliner.
La phase de stabilisation (Transitoire LoRA/LoRA Transient) : Même si l'on empêche le robot d'apprendre de nouvelles choses, ses « engrenages » internes mettent un certain temps à se stabiliser. Il y a un petit sursaut inévitable de performance pendant que le cerveau du robot se stabilise.

Ce qu'il faut retenir : La « performance de pointe » du robot n'était pas un état de perfection permanent. C'était un moment fugace causé par l'équilibre entre le remplissage de sa mémoire, la dérive de la cible et la stabilisation de ses engrenages internes.

Le problème de la « Corde raide »

Il y avait toutefois un bémol. Lorsque le robot était au sommet de sa forme (prédisant parfaitement la trajectoire de la balle), sa « diversité » interne chutait.

L'analogie : Imaginez un groupe de jazz. Lorsqu'ils jouent le solo parfait, ils commencent tous à jouer exactement la même note en parfaite harmonie. Cela sonne très bien pour cette chanson précise, mais c'est risqué car ils font tous la même chose.
Les chercheurs ont découvert que pour obtenir les meilleures prédictions, le robot devait devenir un peu « rigide » (moins diversifié). S'ils essayaient de le forcer à être plus diversifié, ses prédictions devenaient moins bonnes. C'est un compromis : Prédiction parfaite vs Pensée flexible.

Conclusion

L'article conclut que :

Changer le cerveau (les poids) est préférable à l'ajout de simples notes (les entrées).
Le « moment parfait » est temporaire. Il est causé par une danse complexe entre le remplissage de la mémoire, la dérive de la cible et la stabilisation interne.
Travaux futurs : Les auteurs prévoient de construire une nouvelle version (PEM-JEPA) qui utilise des règles de physique pour stopper la dérive de la cible, dans l'espoir de maintenir le robot dans ce « moment parfait » plus longtemps sans qu'il ne se bloque ou ne devienne rigide.

En bref : Ils ont construit un robot capable de recâbler son propre cerveau pour s'adapter à une nouvelle gravité. Cela a mieux fonctionné que de simplement lui donner un carnet de notes, mais la performance parfaite était un moment éphémère causé par une danse interne complexe, et non un état permanent.

Résumé Technique : EPM-JEPA – Modulation de l'expérience côté opérateur dans les modèles de monde de la famille JEPA

Énoncé du problème
Les architectures de prédiction par plongement conjoint (JEPA) prédisent les états futurs dans un espace latent afin d'éviter l'intraitabilité liée à la modélisation des détails perceptuels non pertinents. Cependant, les prédicteurs JEPA standards sont statiques ; leurs poids ne s'adaptent pas lorsque les dynamiques au moment du test divergent des distributions d'entraînement (par exemple, changements de gravité ou de friction). Bien que les modèles existants augmentés par la mémoire (par exemple, les Transformers avec une mémoire externe) traitent cela en injectant l'expérience comme un apport supplémentaire (côté opérande), ils laissent les poids du prédicteur inchangés. Cette publication examine si la modulation côté opérateur — utilisant l'expérience accumulée pour modifier directement les poids du prédicteur — offre un mécanisme supérieur pour l'adaptation aux changements de distribution.

Méthodologie
Les auteurs proposent EPM-JEPA (JEPA modulé par l'expérience) et le comparent à deux lignes de base sur une tâche Moving MNIST avec un changement de gravité (0,0 à 0,5 px/frame²). Tous les modèles partagent un encodeur, un encodeur cible EMA, et un prédicteur de base, ne différant que par la manière dont l'expérience est utilisée :

Piste A (Vanilla JEPA) : Une ligne de base sans mécanisme de mémoire.
Piste B (EI-JEPA) : Une approche côté opérande où une représentation d'expérience compressée est ajoutée comme un résidu à l'état caché du prédicteur.
Piste C (EPM-JEPA) : Une approche côté opérateur où la représentation de l'expérience génère des deltas de poids de faible rang ( $\Delta W$ ) via LoRA (Low-Rank Adaptation). Ces deltas sont appliqués aux couches linéaires du prédicteur, modifiant ainsi le calcul lui-même en fonction de l'historique récent.

Sous-système de mémoire
Les pistes B et C utilisent un pipeline de mémoire partagé :

Détection de frontière : Surveille la surprisal moyenne par lot pour identifier les « événements de frontière » (erreurs de prédiction significatives).
Tampon d'expérience : Un tampon FIFO (capacité 256) stocke les transitions latentes lors des événements de frontière.
Encodage et Agrégation : Un encodeur Transformer traite les paires stockées, et un mécanisme d'attention les agrège en un vecteur unique ( $e_{agg}$ ) conditionné par l'état latent actuel.
Modulation : Dans EPM-JEPA, $e_{agg}$ pilote un module LoRA pour produire $\Delta W = U \cdot \text{diag}(\delta) \cdot V^\top$ , qui est ajouté aux poids gelés du prédicteur.

Résultats clés
Les expériences ont été menées sur un cadre de comparaison pré-enregistré avec trois classes de résultats. La métrique principale est $D^{shift}_{n=50}$ , l'erreur de prédiction normalisée moyenne sur la distribution décalée.

Comparaison pré-enregistrée (Piste C vs Piste B) : La différence de performance était de $\delta = 4,74\%$ . Selon les critères des auteurs ( $|\delta| < 5\%$ ), cela constitue l'Issue C : un résultat nul. EPM-JEPA n'a pas surpassé statistiquement l'injection côté opérande (EI-JEPA) dans le test d'hypothèse primaire.
Observation secondaire (Piste C vs Piste A) : EPM-JEPA améliore l'erreur de prédiction de 1,90 % par rapport à la ligne de base sans mémoire (Piste A) de manière constante sur trois graines (seeds). Inversement, EI-JEPA (Piste B) a sous-performé la ligne de base, suggérant que l'injection naïve d'entrées est inefficace dans ce contexte, tandis que la modulation au niveau des poids offre un bénéfice modeste mais constant.
Analyse du mécanisme : La trajectoire de performance d'EPM-JEPA n'est pas une convergence vers un équilibre stable mais est gouvernée par trois processus dynamiques indépendants :
1. Cycle du tampon : Le tampon fini sature et cycle, influençant la formation des pics.
2. Dérive de la cible EMA : L'encodeur cible EMA, qui se déplace lentement, continue de faire dériver la cible de prédiction après que les poids LoRA se sont stabilisés, causant une divergence de performance post-pic.
3. Transitoire de stabilisation LoRA : Une hausse intrinsèque de +0,021 de l'erreur se produit lors de la stabilisation des poids LoRA sous un taux d'apprentissage décroissant, indépendamment du moment du gel.

Signification et revendications
Les auteurs affirment explicitement que leur principale contribution scientifique n'est pas la falsification de l'hypothèse côté opérateur (qui a abouti à un résultat nul) mais plutôt l'analyse du mécanisme des dynamiques du système.

Validité scientifique des résultats nuls : Les auteurs soulignent que l'Issue C est un résultat scientifique valide selon leurs critères pré-enregistrés, déplaçant l'attention de la « victoire » d'une comparaison vers la compréhension de pourquoi les systèmes se comportent comme ils le font.
Limitations dynamiques : L'étude révèle que le pic de performance est une configuration transitoire causée par l'interaction entre le cycle du tampon, la dérive de l'EMA et la stabilisation de LoRA, plutôt qu'un état optimal stable.
Tension structurelle : Il existe un compromis entre l'optimalité de la prédiction et la diversité de la représentation. Les meilleures configurations LoRA contractent la variété de sortie (faisant descendre $\sigma_{embed}$ sous le seuil de sécurité de 0,5), tandis que l'augmentation de la régularisation pour restaurer la diversité dégrade la performance de prédiction.
Direction future : Ces conclusions motivent le PEM-JEPA, un successeur proposé qui introduit des structures latentes fondées sur la physique (états cinématiques explicites) pour contraindre la distribution cible et atténuer les limitations de pic dynamique identifiées.

Les auteurs concluent que bien que la modulation côté opérateur via LoRA offre une voie d'adaptation distincte de l'injection d'entrées, l'architecture actuelle est limitée par des transitoires dynamiques intrinsèques qui nécessitent des changements structurels (plut plutôt que de simples ajustements de calendrier d'entraînement) pour être résolus.