Does a Tool Result Carry More Authority Than Plain Text? Three Prospective Studies of False-Claim Adoption in a Synthetic Assignment Task with Claude Opus 5
Trois études prospectives sur Claude Opus 5 révèlent que, bien que les métadonnées outil-résultat aient initialement semblé augmenter l'adoption de fausses affirmations par rapport aux assertions simples, des réplications ultérieures préenregistrées ont démontré que cet effet n'était ni constant ni supérieur à l'influence d'un texte en ligne explicitement annoncé.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde moderne de l'intelligence artificielle, les programmes informatiques connus sous le nom de modèles de langage agissent de plus en plus comme des agents capables de se souvenir de choses, de rechercher des informations et de s'écrire des notes pour eux-mêmes. Imaginez un assistant numérique qui tient un journal de son travail. Il pourrait lire une note qu'il a écrite plus tôt, traiter cette note comme un fait, et l'utiliser pour prendre une décision plus tard. Cette capacité à lire dans un magasin où il écrit également crée une boucle unique : une affirmation qui n'était qu'une simple note écrite sans preuve peut revenir plus tard avec l'apparence d'un enregistrement vérifié. La question que les chercheurs se posent désormais est de savoir si la manière dont cette information est emballée modifie la façon dont l'ordinateur la traite. Est-ce qu'une note qui arrive à l'intérieur d'un « résultat d'outil » (tool result) formel et structuré — un format numérique spécifique utilisé pour la récupération de données — possède plus de poids que la même note arrivant sous forme de texte brut ? Si le format seul rend l'ordinateur plus susceptible de croire une fausse affirmation, cela suggère que le système pourrait être trompé par l'apparence d'autorité plutôt que par la preuve réelle.
Pour enquêter sur ce point, un chercheur nommé Justin Bronder a mis en place une série d'expériences contrôlées utilisant une version spécifique d'un modèle d'IA appelée Claude Opus 5. L'objectif était de voir si le modèle adopterait une information fausse simplement parce qu'elle arrivait dans un certain format. La configuration était une tâche synthétique où le modèle devait identifier un code spécifique pour un article nommé. Le code correct était caché au modèle, mais un mauvais code avait été secrètement planté dans l'historique de la conversation. Le modèle devait choisir entre le mauvais code, un autre code correct, ou admettre qu'il ne savait pas. Le cherchenaire a testé si le modèle accepterait aveuglément le mauvais code planté s'il apparaissait dans un format de « résultat d'outil » par rapport à s'il apparaissait comme une simple déclaration de l'assistant.
Dans la première phase de l'étude, le modèle a reçu un historique où un assistant précédent avait fait une affirmation, et un « résultat d'outil » distinct contenait un enregistrement. Lorsque le faux code apparaissait dans la déclaration en texte brut de l'assistant, le modèle ne l'acceptait presque jamais ; il ignorait correctement la fausse information ou admettait qu'il ne savait pas. Cependant, lorsque ce même faux code apparaissait à l'intérieur du résultat d'outil structuré, le modèle l'acceptait comme vrai dans quatorze des vingt-quatre tentatives. Ce premier résultat suggérait que le format du résultat d'outil pourrait effectivement porter une sorte d'autorité spéciale que le texte brut ne possède pas. Le modèle semblait traiter l'enregistrement structuré comme une recherche vérifiée, même s'il ne s'agissait que d'une erreur plantée.
Pour s'assurer qu'il ne s'agissait pas d'un coup de chance, le chercheur a répété la comparaison dans une seconde expérience strictement planifiée. Cette fois, le modèle a de nouveau ignoré la fausse affirmation lorsqu'elle provenait du texte de l'assistant, mais il a accepté la fausse affirmation dans le format du résultat d'outil dans sept des vingt-quatre tentatives. Cela a confirmé que la différence était réelle et reproductible dans ces conditions spécifiques. Le paquet du résultat d'outil semblait exercer une influence plus forte sur la prise de décision du modèle que l'assertion en texte brut.
Cependant, l'histoire a pris un tournant significatif lors de la troisième et dernière étude. Le chercheur a réalisé que les tests précédents pouvaient être injustes car le texte brut et le résultat d'outil étaient présentés de manières différentes et à des moments différents. Dans cette nouvelle configuration, le modèle a été informé à l'avance qu'il verrait deux enregistrements : l'un au format de résultat d'outil et l'autre en texte brut. Les deux étaient présentés ensemble dans la question finale. Le chercheur a ensuite inversé l'enregistrement contenant le faux code. Lorsque le faux code se trouvait dans le texte brut, le modèle l'acceptait dans chaque essai, soixante fois sur soixante. Lorsque le faux code était dans le résultat d'outil, le modèle l'acceptait cinquante-sept fois sur soixante.
Ce résultat final a renversé l'idée initiale selon laquelle le format du résultat d'outil est intrinsèquement plus puissant. Il a montré que lorsqu'on dit explicitement au modèle de regarder les deux enregistrements, le texte brut est tout aussi convaincant que le résultat d'outil. La différence observée précédemment n'était pas due au fait que le format du résultat d'outil possédait une autorité magique, mais parce que la manière dont l'information était présentée dans les deux premières études faisait en sorte que le résultat d'outil paraisse être la seule réponse valide à une tâche de recherche. Le modèle suivait les instructions de la structure de la tâche plutôt que de juger la source de l'information.
L'étude conclut que le modèle ne possède pas une règle intégrée disant « les résultats d'outils sont toujours vrais ». Au lieu de cela, le modèle est sensible à la manière dont la tâche est cadrée. Si la tâche ressemble à une recherche où un résultat d'outil est la réponse attendue, le modèle fera confiance à ce format. Si la tâche présente deux options côte à côte, le modèle les traite comme des égales et croira à une information fausse, qu'elle soit dans un résultat d'outil ou en texte brut. Les résultats suggèrent que le danger de la fausse information ne réside pas seulement dans le format dans lequel elle arrive, mais dans la manière dont l'ensemble de la conversation est structuré pour donner au modèle une raison de faire confiance à cette information. La recherche souligne que l'apparence d'un enregistrement vérifié peut être fabriquée simplement en changeant l'emballage, mais que cet effet disparaît lorsque le modèle est invité à comparer directement les sources.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.