Code Agents under Split Specifications: An Empirical Study of Silent Failure in System Integration

Dans le monde du logiciel, différents systèmes informatiques doivent souvent communiquer entre eux pour accomplir un travail. Un système peut envoyer une date écrite en mode « jour d'abord », tandis qu'un autre attend le format « mois d'abord ». L'un peut compter l'argent en centimes, tandis que l'autre compte en dollars. Ces petites différences ne sont généralement pas des mystères ; ce sont des faits que quelqu'un, quelque part, a enregistrés. Le défi surgit lorsqu'un nouveau type de travailleur, un agent d'intelligence artificielle, est chargé de construire le pont entre ces deux systèmes. Ces agents sont des outils puissants capables d'écrire du code informatique pour connecter différents programmes. Cependant, ils opèrent selon une règle simple : ils ne peuvent utiliser que les informations qui leur sont données dans leurs instructions. Si les instructions ne précisent pas si une date est au format « jour d'abord » ou « mois d'abord », l'agent ne peut pas connaître la réponse. Il doit faire un choix.

Le danger dans cette situation n'est pas que l'agent plante ou cesse de fonctionner. Le danger est qu'il continue de fonctionner parfaitement, mais qu'il se trompe de réponse. C'est ce qu'on appelle une défaillance silencieuse. Le code s'exécute sans erreur, passe les tests de base et semble correct pour un réviseur humain, pourtant il envoie les mauvaises données au système suivant. C'est un problème critique pour les entreprises et les organisations car l'erreur ne se manifeste pas immédiatement. Au lieu de cela, les mauvais chiffres circulent en aval, corrompant les registres, les rapports financiers et les décisions bien avant que quiconque ne réalise que quelque chose est cassé. La question que les chercheurs ont posée était simple : lorsque ces agents intelligents sont confrontés à un fait manquant qu'ils ne peuvent pas deviner, s'arrêtent-ils pour demander de l'aide, ou devinent-ils avec assurance, brisant ainsi le système ?

Un chercheur s'est donné pour mission de mesurer précisément la fréquence de ce phénomène. Il a créé une série de tâches réalistes où un agent d'intelligence artificielle devait écrire un morceau de code pour connecter deux systèmes. Dans certaines de ces tâches, le fait manquant était fourni à l'agent, comme par exemple en lui disant explicitement que les dates sont au format « jour d'abord ». Dans d'autres tâches, le fait était caché, et l'agent avait soit la possibilité de poser une question pour le trouver, soit l'obligation d'écrire le code sans poser de question. Il a testé cela avec huit modèles d'intelligence artificielle différents, allant de petits programmes open-source aux systèmes les plus avancés disponibles aujourd'hui. Le chercheur ne s'est pas contenté de vérifier si le code s'exécutait ; il a vérifié si le code produisait la bonne réponse pour chaque scénario possible, y compris les cas délicats qui dépendent de ce fait manquant.

Les résultats ont révélé une réalité brutale sur le fonctionnement de ces systèmes. Lorsque les agents recevaient le fait manquant, ils réussissaient très bien, construisant des connexions correctes environ quatre-vingt-huit pour cent du temps. Cela prouvait que les agents étaient capables de faire le travail s'ils disposaient de l'information nécessaire. Cependant, quand le fait manquait et que les agents avaient l'interdiction de poser des questions, la situation changeait radicalement. Les agents ne s'arrêtaient pas ; ils ne disaient pas qu'ils étaient confus. Au lieu de cela, ils choisissaient une convention et écrivaient le code. Dans soixante-deux pour cent de ces cas, le code qu'ils écrivaient constituait une défaillance silencieuse. Il s'exécutait proprement, semblait parfait, mais renvoyait une valeur erronée. Cela se produisait quel que soit le niveau d'avancement du modèle. Même les systèmes les plus puissants, qui pouvaient résoudre le problème parfaitement lorsqu'on leur donnait le fait, échouaient silencieusement près de la moitié du temps lorsqu'ils n'étaient pas autorisés à poser de questions.

L'étude a également examiné si le simple fait de permettre à l'agent de poser une question permettait de résoudre le problème. Le chercheur a découvert que la réponse dépend entièrement de qui écoute. Lorsque les modèles les plus avancés étaient autorisés à poser une question, ils en posaient une lors de presque chaque exécution. Ils ne devinaient pas ; ils cherchaient la vérité. Cependant, s'il n'y avait personne pour répondre, l'intégration s'arrêtait simplement. Le travail cessait, et aucun code n'était produit. C'est un type de défaillance différent, mais c'est tout de même une défaillance. Le chercheur a trouvé que pour que le système fonctionne, le pipeline — le processus qui fait fonctionner l'agent — doit être conçu pour acheminer la question de l'agent vers un humain ou un système partenaire capable de fournir la réponse. Le simple fait d'avoir un canal ouvert ne suffit pas s'il n'y a personne pour répondre.

Le chercheur a également testé une règle de sécurité où l'agent recevait l'ordre de refuser d'écrire le code s'il ne connaissait pas le fait manquant. Cette règle éliminait avec succès les défaillances silencieuses, faisant chuter le taux d'erreur à presque zéro. Cependant, cela avait un prix élevé. L'agent refusait d'écrire le code même lorsque la réponse pouvait être déduite des informations disponibles. Cela faisait que le système cessait de fonctionner sur des tâches qu'il aurait pu résoudre facilement, faisant chuter le taux de réussite de quatre-vingt-un pour cent à dix-huit pour cent. L'étude a conclu que la solution n'est pas de rendre les agents plus intelligents ou de les forcer à être plus prudents. La solution réside dans la conception même du processus. Le système doit être construit pour détecter lorsqu'un fait manque à travers une frontière organisationnelle et pour acheminer cette question vers une personne ou un système capable d'y répondre. Sans ce câblage spécifique, même l'intelligence artificielle la plus capable construira avec assurance un pont qui mène au mauvais endroit.