Dans le monde de l'intelligence artificielle, les chercheurs tentent d'apprendre aux machines à comprendre comment le monde physique fonctionne. Ils veulent que les robots et les voitures autonomes prédisent ce qui va se passer ensuite, non pas seulement en mémorisant des images, mais en construisant un modèle mental interne de cause à effet. Pour ce faire, ils utilisent un système qui agit comme une carte compressée de la réalité, transformant des données sensorielles complexes en une représentation abstraite plus simple. L'espoir est que si la machine comprend les règles sous-jacentes de la physique — comment la gravité attire, comment les articulations bougent ou comment une voiture tourne — elle pourra planifier ses actions de manière plus sûre et plus efficace. Pendant des années, le conseil standard a été de forcer ces règles directement dans la carte interne de la machine, en croyant que ce guidage « informé par la physique » aiderait l'IA à apprendre plus vite et mieux.

Cependant, une nouvelle étude a découvert que cette approche intuitive est en réalité néfaste. Les chercheurs ont constaté que lorsque l'on tente d'imposer les lois physiques dans la représentation interne de la machine, le système s'effondre, perdant sa capacité à comprendre le monde avec précision. Au lieu de cela, ils ont prouvé mathématiquement et démontré par des tests rigoureux que les règles physiques devraient être maintenues tout à la fin du processus, utilisées uniquement pour interpréter le résultat final, tandis que la carte interne elle-même doit rester complètement libre et flexible. Cette découverte résout un mystère de longue date sur les raisons pour lesquelles les tentatives précédentes de construction de robots plus intelligents ont échoué, offrant un schéma directeur clair pour construire ces systèmes correctement.

L'étude, dirigée par Mohsen Mostafa, se concentre sur un type spécifique d'architecture d'IA conçue pour prédire l'état futur d'un système en fonction de son état actuel et de ses actions. Imaginez un bras robotique essayant d'enfiler une aiguille. L'IA prend une image de la scène et de la position actuelle du robot, compresse cette information en un code caché, puis tente de prédire où le robot sera un instant plus tard. L'objectif est de créer un « modèle de monde » capable de simuler le futur à l'intérieur de l'ordinateur avant que le robot ne bouge réellement. Les chercheurs étudiaient un paradoxe : lorsqu'ils ajoutaient directement des règles sur la façon dont les articulations du robot devaient bouger ou comment la caméra devait voir le monde dans la partie de l'IA qui crée le code caché, le système fonctionnait moins bien. Lorsqu'ils retiraient ces règles, le système fonctionnait mieux. Cela semblait contre-intuitif, car on pourrait s'attendre à ce que donner plus d'informations sur les lois de la physique aide l'IA.

Pour résoudre cette énigme, l'équipe a développé une série de preuves mathématiques montrant que le code interne, ou « embedding », fonctionne mieux lorsqu'il est aussi aléatoire et étalé que possible, un état connu sous le nom d'entropie maximale. Ils ont prouvé que si l'on contraint ce code avec des règles physiques, on le force dans une forme étroite qui ne peut pas représenter toute la variété du monde. C'est comme essayer de faire entrer un objet complexe et tridimensionnel dans une boîte plate et rigide ; l'objet est écrasé, et l'on perd les détails. Les mathématiques ont montré que la partie de la prédiction du système, qui devine le futur, peut gérer n'importe quel type de physique sans nuire au code interne, mais que le code lui-même doit rester non contraint. Le seul endroit où les règles physiques sont sûres à appliquer est tout à la fin, dans le « décodeur », qui traduit le code caché en une prédiction de ce que le robot voit ou fait.

Les chercheurs ont testé cette théorie à travers deux scénarios très différents du monde réel : la conduite autonome et la manipulation robotique. Ils ont utilisé les données de l'ensemble de données nuScenes, qui contient des milliers d'heures de séquences de conduite, et l'ensemble de données MimicGen, qui présente un robot bimanuel tentant d'enfiler une aiguille. Dans les deux cas, ils ont mené des centaines d'expériences, entraînant l'IA avec différentes configurations. Ils ont comparé des systèmes où les règles de la physique étaient appliquées au code interne à des systèmes où les règles étaient appliquées uniquement à la sortie finale. Les résultats étaient cohérents et statistiquement significatifs. Dans chaque test, le système qui gardait le code interne libre et appliquait la physique seulement à la fin produisait une représentation du monde bien meilleure et plus fiable. Les systèmes qui tentaient de forcer la physique dans le code souffraient d'un « effondrement », où la carte interne devenait trop simple et perdait sa capacité à distinguer différentes situations.

L'une des découvertes les plus surprenantes est venue de la tâche de filetage robotique. Les chercheurs ont découvert un mode de défaillance caché qui était passé inaperçu dans les études précédentes. Ils ont trouvé que même lorsque l'IA semblait fonctionner correctement en surface, elle pouvait subir un « effondrement » invisible aux contrôles standards. L'IA trouvait un raccourci où elle satisfaisait les règles de base du jeu sans réellement apprendre les relations complexes nécessaires au contrôle. Cela se produisait parce que la tâche était si simple que l'IA pouvait contourner le système. Pour détecter cela, l'équipe a développé un nouvel outil de diagnostic qui regardait plus profondément dans les signaux internes de l'IA, révélant que le système « intelligent » était en fait creux. Cette découverte avertit que vérifier simplement si une IA peut prédire l'image suivante ne suffit pas ; il faut également s'assurer que la représentation interne est riche et diversifiée.

L'étude a également abordé une question critique : savoir si ces meilleures représentations mènent réellement à un meilleur contrôle. Les chercheurs ont construit un système de planification qui utilisait l'IA entraînée pour déterminer la meilleure séquence de mouvements pour atteindre un objectif. Ils s'attendaient à ce que l'IA avec le placement correct de la physique planifie mieux que les autres. Cependant, ils ont découvert un piège subtil. Le système de planification était capable de trouver des séquences d'actions qui obtenaient un score parfait sur la fonction de coût interne de l'IA, mais qui étaient en réalité loin du chemin correct et véritable. C'était comme si l'IA avait appris à jouer avec le système de notation plutôt qu'à résoudre le problème. Cela se produisait dans toutes les versions du modèle, quelle que soit la façon dont elles étaient construites. Les chercheurs ont conclu que, bien que leur nouveau principe de conception crée une bien meilleure carte interne, prouver que cette carte conduit à un meilleur contrôle dans le monde réel nécessite de tester le robot dans un environnement réel, et non pas seulement dans une simulation informatique.

Ce travail apporte une réponse définitive à un problème qui a tourmenté le domaine de la robotique et de la conduite autonome. Il montre que l'intuition consistant à injecter des connaissances du domaine dans l'IA est correcte, mais que la cible était la mauvaise. La physique appartient au décodeur, où elle aide à interpréter le monde, mais jamais dans l'encodeur, où elle détruit la capacité du système à apprendre. En suivant cette règle, les ingénieurs peuvent construire des modèles de monde qui sont théoriquement solides et empiriquement robustes. L'étude sert également de mise en garde pour le domaine, soulignant que les tests hors ligne peuvent être trompeurs et que la véritable validation nécessite de voir comment le système se comporte lorsqu'il interagit avec le monde réel. Le code et les données de ces expériences ont été rendus publics, permettant à d'autres chercheurs de vérifier ces conclusions et de s'appuyer sur ce nouveau fondement pour créer des machines intelligentes.