🤖 machine learning

Diagnosing JEPA World Models with Action-Conditioned Predictive Consistency

Cet article introduit l'Action-Conditioned Predictive Consistency (ACPC), un cadre de diagnostic fondé sur la théorie de la bisimulation qui quantifie la robustesse des modèles de monde de type Joint-embedding predictive architecture (JEPA) en mesurant la divergence entre les déroulements d'états propres et perturbés, fournissant ainsi des bornes théoriques sur les erreurs de prédiction et les coûts de planification tout en démont Nant son efficacité à travers diverses tâches de contrôle visuel.

Auteurs originaux : Guo An, Zijing Wu, Honghua Dong, Yuhao Yan, Zixuan Gui, Haochong Chen, Shanzhao Ruan, Xiang Wang, Yurong Ling, Qi Tian

Publié 2026-08-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guo An, Zijing Wu, Honghua Dong, Yuhao Yan, Zixuan Gui, Haochong Chen, Shanzhao Ruan, Xiang Wang, Yurong Ling, Qi Tian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment jouer à un jeu vidéo. Vous voulez que le robot apprenne les règles du jeu — la physique, les objectifs et la façon dont ses actions modifient le monde — afin qu'il puisse prendre des décisions intelligentes. Mais il y a un piège : le robot voit le monde à travers une caméra, et les caméras peuvent être capricieuses. Un peu de statique, un flou ou un changement soudain de luminosité ne devraient pas troubler le robot au point de lui faire croire que le jeu a complètement changé. Dans le monde de l'intelligence artificielle, c'est le défi de la construction de « modèles de monde ». Ce sont des cartes internes qu'une IA construit pour prédire ce qui se passera ensuite si elle effectue une certaine action.

Récemment, un type d'IA très populaire appelé « architecture prédictive à plongements conjoints » (ou JEPA pour faire court) est devenu un favori pour construire ces cartes. Au lieu d'essayer de redessiner chaque pixel de l'écran du jeu (ce qui revient à essayer de mémoriser la couleur exacte de chaque brin d'herbe), les JEPA apprennent un résumé compact et abstrait de la scène. C'est comme si un robot apprenait que « la balle rouge est près du mur » plutôt que de mémoriser la nuance exacte de rouge. C'est efficace, mais cela possède un défaut caché : parfois, un minuscule incident visuel (comme une poussière sur l'objectif) peut tromper le résumé du robot, le faisant changer radicalement, ce qui provoque de mauvaises décisions. La grande question que se posent les chercheurs est la suivante : comment savoir si la carte interne d'un robot est vraiment robuste, ou s'il s'agit d'un château de cartes prêt à s'effondrer dès que la lumière change ?

Cet article introduit une nouvelle méthode ingénieuse pour tester ces cerveaux de robots, appelée Cohérence Prédictive Conditionnée par l'Action (ACPC). Imaginez que vous avez un robot regardant une vidéo propre et parfaite d'un jeu, puis vous lui montrez exactement la même vidéo avec un peu de « bruit » visuel ajouté, comme de la statique ou du flou. Les chercheurs lui demandent : si on lui demande d'effectuer exactement la même séquence de mouvements dans les deux scénarios, ses prédictions de l'avenir restent-elles proches l'une de l'autre ? Si le robot est intelligent et robuste, les deux chemins futurs qu'il imagine devraient être très similaires, même si les images de départ étaient légèrement différentes. Si le robot est fragile, les deux chemins s'écarteront considérablement, entraînant la confusion.

Les auteurs ne se contentent pas de regarder cette comparaison unique ; ils ont développé deux « contrôles de santé » spécifiques pour résumer la performance du robot. Le premier est le Rayon d'Invariance (RI). Considérez cela comme la mesure de la façon dont l'imagination du robot vacille lorsque l'entrée devient bruyante. Un RI faible est une bonne chose — cela signifie que les prédictions du robot restent stables et proches les unes des autres, comme un funambule qui ne vacille pas beaucoup. Le second contrôle est le Taux de Séparation (TS). C'est le filet de sécurité. Nous ne voulons pas que le robot soit trop stable au point d'ignorer toutes les différences. Si le robot est défaillant, il pourrait simplement prédire le même futur ennuyeux, peu importe ce qu'il voit (une représentation « effondrée »). Le TS vérifie si le robot est toujours capable de distinguer deux situations réellement différentes (comme une balle à gauche versus une balle à droite) même après l'ajout du bruit. Un TS élevé signifie que le robot garde les yeux ouverts et peut toujours distinguer les détails importants.

Les chercheurs ont testé cette idée sur quatre tâches de contrôle robotique différentes, allant de la navigation dans un labyrinthe à la poussée d'objets. Ils ont découvert que lorsqu'un modèle de robot était entraîné pour gérer le bruit visuel, son RI diminuait (il devenait plus stable) et son TS augmentait (il restait précis). Plus important encore, ils ont prouvé mathématiquement que si les prédictions du robot restent proches (faible ACPC), alors l'erreur dans ses suppositions futures et le coût de ses décisions de planification ne changeront pas radicalement. En d'autres termes, si l'imagination du robot ne s'écarte pas lorsque la caméra est sale, il est beaucoup moins susceptible de commettre une erreur coûteuse.

Ils ont également montré que ce diagnostic fonctionne sur différents types de cerveaux de robots, et pas seulement sur une conception spécifique. Lorsqu'ils l'ont testé sur une architecture différente, le même schéma s'est maintenu : une meilleure performance sous un stress visuel signifiait un RI plus bas et un TS plus élevé. Bien qu'ils n'aient pas prétendu avoir résolu le problème de la vision robotique pour toujours, leurs résultats suggèrent fortement que vérifier à quel point les prédictions futures d'un robot dérivent sous les mêmes actions est un moyen puissant de repérer quels modèles sont réellement prêts pour le monde réel, complexe et imprévisible. C'est comme vérifier si le compas d'un navire indique toujours le nord même lorsque les nuages d'orage arrivent, plutôt que d'espérer simplement que le navire ne coule pas.

Résumé technique : Diagnostiquer les modèles de monde JEPA par la cohérence prédictive conditionnée par l'action

Énoncé du problème

Les architectures de prédiction à plongements joints (JEPA) apprennent des modèles de monde en prédisant des représentations cibles dans un espace latent compact plutôt qu'en reconstruisant des pixels bruts. Bien que cette conception évite de modéliser les détails visuels superflus, elle n'offre aucune garantie intrinsèque que les représentations apprises soient robustes aux perturbations visuelles. Une lacune critique existe dans les diagnostics actuels : les distances au niveau de l'encodeur ou les métriques de transition unique ne parviennent pas à capturer comment les perturbations visuelles se propagent à travers des déploiements multi-étapes (rollouts). Plus précisément, une perturbation peut provoquer une divergence significative de la trajectoire prédite par rapport à la trajectoire propre, altérant les prédictions conditionnées par l'action et les coûts de planification, même si les représentations encodées initiales semblent similaires. Le problème central est de déterminer à quel point les trajectoires prédites d'un historique propre et de sa vue visuellement perturbée divergent lorsqu'elles sont projetées vers l'avant sous la même séquence d'actions.

Méthodologie

Cohérence prédictive conditionnée par l'action (ACPC)

Les auteurs introduisent la Cohérence prédictive conditionnée par l'action (ACPC) comme métrique de diagnostic. L'ACPC mesure la divergence entre deux trajectoires prédites : l'une générée à partir d'un historique propre ( $h$ ) et l'autre à partir d'une vue visuellement perturbée ( $\tilde{h}$ ), toutes deux projetées vers l'avant sous une séquence d'actions enregistrée identique ( $a$ ).

Mécanisme : Un encodeur gelé projette $h$ et $\tilde{h}$ en états latents $z$ et $\tilde{z}$ . Un prédicteur conditionné par l'action, également gelé, projette ensuite ces états vers l'avant pendant $H$ étapes.
Métrique : L'ACPC calcule la distance euclidienne pondérée des trajectoires latentes des déploiements propres et perturbés.
Limites théoriques : L'article prouve que l'ACPC limite le changement de l'erreur de prédiction multi-étapes induit par la perturbation (Proposition 1). De plus, lors de l'évaluation de séquences d'actions candidates pour la planification, l'ACCP limite le changement des coûts prédits (Proposition 2). Ces limites sont valables pour des paires individuelles sans nécessiter d'hypothèses distributionnelles ou de l'aspect lissé (smoothness).

Diagnostics composites : IR et SR

Pour résumer l'ACPC à travers un point de contrôle (checkpoint) de modèle, les auteurs définissent deux mesures complémentaires :

Rayon d'invariance (IR - Invariance Radius) : Il résume la sensibilité des déploiements appariés aux perturbations visuelles. Il est calculé comme le quantile (par exemple, le 90e percentile) des valeurs ACPC normalisées à travers de nombreux ancres d'historique. Un IR faible indique que les vues perturbées restent proches de leurs homologues propres.
Taux de séparation (SR - Separation Rate) : Il vérifie si le modèle préserve les distinctions entre différents états. Il mesure la fraction de paires d'états différents dont la distance de déploiement dépasse l'IR plus une marge. Un SR élevé indique que des états distincts restent distinguables après le déploiement.

Les auteurs soulignent que l'IR seul est insuffisant car une représentation effondrée (où tous les états sont mappés sur le même point) produirait un IR faible mais échouerait à soutenir le contrôle. Inversement, un SR élevé seul ne garantit pas la robustesse aux perturbations. Un point de contrôle robuste doit présenter à la fois un IR faible et un SR élevé.

Protocole d'évaluation

La méthodologie est évaluée sur la famille LeWM (Learning World Models) et l'architecture PLDM à travers quatre tâches de contrôle visuel (TwoRoom, PushT, Reacher, OGBench-Cube).

Perturbations : Les expériences utilisent le bruit gaussien, le flou gaussien et le redimensionnement d'image.
Sélection (Screening) : Un « écran de point de contrôle » est défini à l'aide de seuils pour l'IR relatif (comparé à une ligne de base non augmentée) et le SR. Un point de contrôle passe si il démontre une sensibilité réduite (IR relatif faible) tout en maintenant la séparation des états (SR élevé).

Contributions clés

Introduction de l'ACPC : L'article propose l'ACPC, un diagnostic par paire qui compare les trajectoires prédites d'histoques propres et perturbés sous des actions partagées. Contrairement aux travaux antérieurs se concentrant sur les distances d'encodeur ou les prédictions à une étape, l'ACPC capture les effets au niveau du déploiement.
Limites théoriques : Les auteurs fournissent des preuves par échantillon montrant que l'ACPC limite le changement de l'erreur de prédiction multi-étapes et le changement des coûts de planification prédits. Ces limites expliquent pourquoi l'ACPC est informatif sur les échecs de planification en aval.
Cadre de diagnostic (IR et SR) : L'article définit le Rayon d'invariance et le Taux de séparation pour résumer l'ACPC à travers un point de contrôle. Ce cadre protège explicitement contre l'effondrement de la représentation tout en mesurant la sensibilité aux décalages visuels.
Validation empirique :
- Au niveau de la paire : Il est démontré que l'ACPC prédit les changements dans l'erreur de prédiction et le « regret de sélection » (coût supplémentaire) subi lorsqu'un planificateur (CEM) sélectionne un plan différent à cause de la perturbation.
- Au niveau du point de contrôle : À travers quatre tâches, les points de contrôle avec un IR plus faible et un SR plus élevé correspondent généralement à un meilleur succès de planification sous bruit visuel.
- Généralisation : Le profil bas-IR, haut-SR est observé sur une architecture différente (PLDM) et s'étend à des perturbations non gaussiennes (flou et redimensionnement).

Résultats

Erreur de prédiction et coût de planification : Dans des expériences de validation croisée, l'ajout de l'ACPC multi-étapes à des modèles de régression réduit significativement l'erreur de prédiction de la dérive de l'erreur de prédiction et du coût supplémentaire des changements de plan CEM, surpassant les bases de référence utilisant uniquement les décalages d'encodeur ou l'ACPC à une étape.
Identification de la récupération : Sur LeWM, les seuils pour l'IR et le SR sélectionnés sur un sous-ensemble de tâches ont réussi à identifier les points de contrôle qui ont récupéré les performances de planification sur des tâches non vues sous bruit gaussien.
Détection de l'effondrement de la représentation : Dans une étude de cas où un effondrement de la représentation s'est produit (dû à des poids d'entraînement spécifiques), l'IR est resté faible (indiquant une faible sensibilité), mais le SR est tombé près de zéro, identifiant correctement l'échec du maintien des distinctions d'état.
Transversalité des architectures et des perturbations : Les tendances diagnostiques (un IR plus faible et un SR plus élevé corrélés à une meilleure performance) ont été observées sur PLDM. De plus, le changement du score conjoint IR-SR ( $\Delta S$ ) est corrélé aux gains de succès de planification sous flou et redimensionnement, suggérant que la métrique n'est pas limitée au bruit gaussien.

Signification et affirmations

L'article affirme que la Cohérence prédictive conditionnée par l'action fournit un diagnostic nécessaire pour les modèles de monde qui va au-delà de l'analyse statique des représentations. En projetant les observations appariées vers l'avant sous les mêmes actions, l'ACPC révèle comment les perturbations visuelles se propagent à travers le modèle de dynamique, liant directement la stabilité de la représentation à la performance de la planification.

Les auteurs soutiennent que :

L'ACPC multi-étapes capture les effets en aval que les comparaisons de l'encodeur seul ou à une étape manquent.
La combinaison de l'IR et du SR offre un « écran » pratique pour identifier des points de contrôle robustes sans nécessiter de réentraînement ou d'accès aux états futurs réels pendant la phase de diagnostic (bien que les futurs observés soient utilisés pour la normalisation dans le calcul de l'IR).
Le diagnostic est indépendant de l'architecture (valide pour LeWM et PLDM) et robuste aux différents types de décalages visuels.

L'article reste modeste quant à sa portée, notant que l'ACPC est un outil de diagnostic et ne modifie pas le planificateur lui-même. Les limites théoriques s'appliquent à des paires spécifiques et à des ensembles de candidats fixes, et les résultats de filtrage empirique sont spécifiques aux décalages visuels et étiquettes d'états évalués. Le travail ne prétend pas certifier une robustesse absolue, mais plutôt fournir des métriques informatives qui sont fortement corrélées au succès de la planification sous perturbation.