An Omitted Mode Is a Rare Rule: The Sampling-Verification Danger Law in Continuous Code World Models

Dans le monde moderne de l'intelligence artificielle, une stratégie populaire pour enseigner aux machines comment contrôler des systèmes physiques — comme les robots ou les voitures autonomes — consiste à faire en sorte que la machine construise d'abord une carte mentale de la façon dont le monde fonctionne. Cette carte, souvent appelée « modèle de monde », prédit ce qui se passera ensuite si une action spécifique est entreprise. Une fois que la machine possède cette carte, elle utilise un algorithme de planification pour simuler des milliers de futurs possibles, à la recherche de la séquence d'actions qui mènera au meilleur résultat. L'hypothèse de longue date est que si cette carte mentale est suffisamment précise sur les données qu'elle a vues, elle sera sûre à utiliser pour la planification. Si la carte prédit l'avenir correctement lors de mille essais, on suppose qu'elle est un guide fiable.

Cependant, une nouvelle étude remet en question cette hypothèse en examinant ce qui se passe lorsque le monde contient des événements rares et soudains que la machine n'a jamais rencontrés lors de son entraînement. Imaginez une voiture qui a appris à conduire sur une route lisse mais qui n'a jamais vu de mur. Si le mur est assez rare pour que la voiture ne soit jamais entrée dedans pendant son entraînement, la carte mentale de la machine pourrait simplement ignorer l'existence du mur, supposant que la route se poursuit indéfiniment. Le danger est que, lorsque la machine essaie enfin de conduire dans le monde réel, elle puisse planifier un trajet droit dans ce mur invisible, croyant pouvoir passer à travers. La question que les chercheurs ont posée était de savoir si un contrôle de sécurité standard, qui teste la carte de la machine par rapport à des échantillons aléatoires du monde, permettrait de détecter ce genre de cécité spécifique avant qu'un accident ne survienne.

Les chercheurs ont mis en place une série d'expériences contrôlées pour répondre à cela, en utilisant des simulations physiques simples comme un chariot se déplaçant le long d'une piste ou un pendule oscillant. Dans ces simulations, ils ont introduit une « règle rare » : un arrêt brutal, comme un mur ou un sol, qui interrompt instantanément le mouvement de l'objet s'il le touche. Ils ont ensuite demandé à un grand modèle de langage d'écrire le code de la carte mentale de la machine, mais ils ont délibérément caché l'existence de ce mur des données d'entraînement du modèle. Le modèle n'a reçu que des mouvements aléatoires du chariot ou du pendule qui évitaient par hasard le mur. Parce que le mur était rare, le modèle ne l'a souvent jamais vu durant son entraînement.

Les résultats ont été frappants. Lorsque les chercheurs ont testé les modèles à l'aide d'un contrôle de sécurité standard — en faisant passer le modèle par des milliers de scénarios aléatoires pour voir s'il correspondait à la physique réelle — les modèles ont fréquemment réussi. Ils étaient acceptés comme « corrects » car, dans les milliers de tests aléatoires, le mur n'était jamais déclenché. Pourtant, lorsque ces modèles « vérifiés » étaient confiés à un planificateur pour contrôler le système, le planificateur dirigeait avec assurance le chariot ou le pendule directement dans le mur caché. Le modèle, n'ayant aucune notion du mur, prédirait que l'objet passe droit à travers. Le planificateur, faisant confiance à cette fausse prédiction, dirigerait l'objet dans le mur, où il resterait bloqué. La machine serait alors incapable d'atteindre son objectif, perdant presque tout son potentiel de réussite. L'étude a révélé que ce n'était pas une erreur de calcul, mais une lacune fondamentale de connaissance : le modèle était aveugle à une règle qui existait mais qui n'avait jamais été échantillonnée.

Les chercheurs ont découvert que la probabilité de ce désastre suit un schéma mathématique précis basé sur la rareté. Si un événement dangereux se produit dans un cas sur cent essais aléatoires, et que le contrôle de sécurité n'effectue que cent essais, il existe une chance significative que le contrôle manque entièrement l'événement. Si le contrôle effectue mille essais, la chance de manquer l'événement diminue, mais elle n'atteint jamais zéro. L'étude a prouvé que tant que les données d'entraînement ne comprennent pas l'événement rare, aucune quantité de planification ingénieuse ou de raffinement du modèle ne peut le découvrir. Le modèle reste aveugle, et le contrôle de sécurité, par sa nature même d'utilisation de l'échantillonnage aléatoire, ne peut garantir que l'angle mort a été trouvé.

L'étude a également exploré si la machine pouvait apprendre la règle si on lui montrait le mur pendant l'entraînement. Pour des tâches simples en une dimension, comme un chariot se déplaçant en ligne droite, la réponse est étonnamment positive. Lorsque le modèle a été confronté à quelques exemples de collision du chariot avec le mur, le modèle de langage a été capable d'écrire le code exact pour arrêter le chariot, « réparant » ainsi sa carte mentale. Il a appris la règle parfaitement. Cependant, les chercheurs sont ensuite passés à des environnements plus complexes, en deux dimensions, où le mur était une zone circulaire sur une surface plane. Dans ces cas, même lorsque le modèle a été confronté à la collision avec la zone, il n'a pas réussi à inférer la forme et l'emplacement corrects de la limite. Au lieu d'apprendre la règle circulaire, le modèle inventait des formes incorrectes, comme une ligne droite ou un carré, ou il figeait simplement l'objet sans comprendre pourquoi. Le modèle ne pouvait pas généraliser à partir des quelques exemples vus pour obtenir la forme complète de l'obstacle.

Cette découverte met en lumière une limitation critique dans la façon dont ces systèmes apprennent. L'étude a montré que si la machine peut être excellente pour traduire une règle qui lui est explicitement dictée ou montrée dans un contexte simple, elle peine à inférer la forme et l'emplacement d'une règle complexe à partir d'indices épars. La capacité de la machine à se « réparer » dépend fortement de la géométrie du problème. Dans les cas simples, cela fonctionne ; dans les cas complexes en deux dimensions, cela échoue. Les chercheurs ont testé diverses manières d'aider le modèle, comme lui donner plus d'exemples, changer sa façon de raisonner ou lui fournir des indices sur la forme de l'obstacle. Aucune de ces interventions n'a fonctionné. Le modèle échouait systématiquement à induire la règle correcte pour la zone en deux dimensions, substituant souvent une forme plus simple mais incorrecte.

Les implications de ce travail sont significatives pour quiconque compte sur l'IA pour contrôler des systèmes physiques. Cela suggère que les contrôles de sécurité basés sur l'échantillonnage aléatoire sont insuffisants pour détecter les échecs rares mais catastrophiques. Un modèle peut réussir tous les tests qui lui sont soumis et rester dangereusement erroné sur un événement spécifique et rare. L'étude prouve que si un événement dangereux est assez rare pour être manqué par le processus d'échantillonnage, le modèle restera aveugle, et le planificateur exploitera cette cécité, menant à l'échec. La seule façon de garantir la sécurité est de garantir que les données d'entraînement couvrent les limites de ces événements rares, ou d'utiliser un autre type de vérification qui ne repose pas sur le hasard. La recherche conclut que bien que l'IA puisse être remarquablement douée pour apprendre à partir de données, elle ne peut pas apprendre ce qu'elle n'a jamais vu, et dans le monde physique, ce qu'elle n'a jamais vu peut être précisément ce qui cause le plus de dégâts.