IMPLY: Physically Anchored Consistency for World-Model Rollouts

Imaginez un robot capable de planifier son prochain mouvement en imaginant d'abord ce qui va se passer. Il pousse un bloc et, avant même que son bras ne bouge, il lance une simulation mentale du futur : le bloc glisse, s'arrête et se stabilise. Pour qu'une intelligence artificielle de ce type soit utile, le robot doit pouvoir avoir confiance en sa propre imagination. Si la simulation est erronée, le robot se fracassera contre un mur ou laissera tomber un objet fragile. Pendant des années, les scientifiques ont cherché à comprendre comment déterminer si la simulation mentale d'un robot est fiable. La réponse standard a consisté à rechercher la cohérence. Si le robot imagine le même futur dix fois, et que les dix versions se ressemblent, nous supposons que la simulation est bonne. Si les dix versions sont toutes différentes, nous supposons que le robot est confus. C'est un test simple et logique : si l'histoire que le robot se raconte est la même à chaque fois, l'histoire est forcément vraie.

Mais il existe une faille dans cette logique que une nouvelle étude vient de mettre en lumière. Un robot peut raconter exactement la même histoire à chaque fois et être pourtant complètement dans l'erreur. Imaginez un robot qui aurait appris une règle générique : « Quand je pousse quelque chose, cela glisse généralement d'environ dix centimètres. » Si le robot rencontre un bloc lourd et collant qui ne devrait glisser que de deux centimètres, sa règle générique lui dira toujours de s'attendre à dix centimètres. S'il lance cette simulation dix fois, les dix résultats seront identiques. Le robot est parfaitement cohérent, et pourtant, il échoue à comprendre l'objet spécifique qui se trouve devant lui. Il a ignoré la réalité de la situation au profit d'une supposition moyenne et sécurisante. C'est l'angle mort que les chercheurs Aman Mehta et Riya Baviskar se sont donné pour corriger. Ils proposent une nouvelle façon de vérifier l'imagination d'un robot, une méthode qui ne demande pas seulement si le robot est d'accord avec lui-même, mais si le robot est d'accord avec le monde physique.

Les chercheurs ont testé leur idée dans un environnement numérique contrôlé où un palet virtuel frappe une boîte, la faisant glisser sur une table. Dans le monde réel, la distance parcourue par cette boîte dépend de deux facteurs : sa masse et le frottement de la table contre elle. Si vous poussez une boîte lourde lentement, elle peut s'arrêter rapidement. Si vous poussez une boîte légère avec la même vitesse, elle pourrait glisser beaucoup plus loin. Un robot intelligent devrait être capable de comprendre le poids et le frottement de la boîte simplement en la regardant bouger. Les chercheurs ont créé un test en demandant à un modèle informatique d'imaginer ce qui se passerait si l'on poussait la boîte à cinq vitesses différentes. Ils ont ensuite vérifié si l'imagination du modèle respectait la physique.

L'ancienne méthode, qu'ils appellent auto-cohérence (self-consistency), vérifiait simplement si les cinq futurs imaginés étaient en accord les uns avec les autres. Ils ont découvert que cette méthode échouait de manière spectaculaire face à un type d'erreur spécifique. Ils ont construit un modèle « fictif » qui ignorait totalement la boîte et prédisait simplement la distance de glissement moyenne pour n'importe quelle poussée. Comme ce modèle fictif donnait toujours la même réponse, il obtenait un score parfait au test d'auto-cohérence. Il passait pour un génie selon l'ancien test, alors qu'il ne savait rien de l'objet. La nouvelle méthode, qu'ils nomment cohérence ancrée (anchored consistency), fonctionne différemment. Avant de demander au modèle d'imaginer le futur, les chercheurs lui ont montré deux poussées réelles de la même boîte. Le modèle a observé la boîte glisser une distance spécifique à une vitesse lente, et une distance différente à une vitesse plus rapide. Ces deux observations réelles agissent comme une ancre, un point fixe dans la réalité.

Lorsque le modèle tente ensuite d'imaginer les cinq nouvelles poussées, la nouvelle méthode vérifie si ces futurs imaginés peuvent être expliqués par le même objet physique qui a provoqué les deux poussées réelles. Si le modèle était le modèle « fictif » qui ignore l'objet, ses futurs imaginés ne correspondraient pas à l'ancre réelle. Les calculs ne seraient pas cohérents. La nouvelle méthode a détecté cette erreur à chaque fois, obtenant un score parfait pour la détection de l'erreur, alors que l'ancienne méthode l'avait complètement manquée. Dans des tests avec 200 objets différents, la nouvelle méthode pouvait distinguer un modèle qui comprenait réellement la physique d'un modèle qui se contentait de deviner la moyenne, tandis que l'ancienne méthode ne pouvait faire aucune distinction.

Les chercheurs ont ensuite appliqué ce test à un scénario réel plus complexe utilisant un modèle d'IA sophistiqué appelé V-JEPA 2-AC. Ce modèle avait été entraîné à prédire les images vidéo d'objets en mouvement. Ils ont donné au modèle la possibilité d'apprendre les propriétés d'un objet spécifique en lui montrant d'abord deux poussées réelles. Lorsque le modèle recevait cette information, il parvenait à suivre le comportement de l'objet, prédisant ses mouvements futurs avec une grande précision. Cependant, lorsqu'ils remplaçaient les poussées réelles par celles d'un autre objet, le modèle perdait pied. Il commençait à prédire les mouvements du mauvais objet, ou ne prédisait rien du tout.

Ici, la différence entre les deux méthodes est devenue flagrante. L'ancien test d'auto-cohérence ne pouvait pas distinguer le modèle utilisant la bonne information du modèle utilisant la mauvaise information. Il leur donnait des scores presque identiques, revenant essentiellement à jouer à pile ou face pour décider lequel était le meilleur. La nouvelle méthode d'ancrage, en revanche, a immédiatement repéré l'erreur. Lorsque le modèle utilisait l'historique du mauvais objet, le score augmentait immédiatement, indiquant une déconnexion entre l'imagination et l'ancre. La nouvelle méthode a correctement identifié la bonne preuve 73 % du temps, contre un taux de réussite de 52 % pour l'ancienne méthode, ce qui n'est guère mieux que le hasard. De plus, le nouveau score était si précis qu'il pouvait prédire exactement l'ampleur de l'erreur des prédictions futures du modèle, présentant une corrélation quasi parfaite avec l'erreur réelle.

L'étude démontre que pour qu'un robot comprenne véritablement le monde, il ne peut pas se contenter de compter sur son propre accord interne. Il doit être lié à des preuves. Un modèle qui a appris une mauvaise physique est tout aussi cohérent avec lui-même qu'un modèle qui a appris la bonne physique. Le seul moyen de les distinguer est de vérifier si l'imagination du modèle correspond à la réalité spécifique et observée de l'objet avec lequel il interagit. En ancrant le test de cohérence sur deux observations réelles, les chercheurs ont créé un outil capable de détecter quand un robot ignore l'objet qui est devant lui. Cela ne signifie pas que le robot est désormais parfait, mais cela fournit un moyen fiable de savoir quand le robot se ment à lui-même, une étape cruciale pour construire des machines capables de naviguer de manière sûre et efficace dans un monde physique.