Skills That Don't Exist: A Large-Scale Study of Hallucinated Skill Recommendation in LLM Agents
Cet article révèle une vulnérabilité critique de la chaîne d'approvisionnement des agents LLM, où ils hallucinent fréquemment des noms de compétences inexistants avec une grande cohérence, créant ainsi un vecteur d'attaque exploitable qui ne peut être résolu par le seul réglage du modèle, mais qui nécessite des changements structurels à l'échelle de l'écosystème, tels que des réservations de noms au niveau du registre.
Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un assistant robotique super intelligent capable d'apprendre de nouveaux tours. Au lieu de fouiller dans une bibliothèque géante pour trouver le bon tour, vous demandez simplement au robot : « Hé, quel est un bon tour pour organiser mes fichiers ? » Le robot est censé chercher un manuel d'instructions réel et préétabli (appelé une « compétence » ou « skill ») et vous donner son nom pour que vous puissiez le télécharger.
Mais voici la partie effrayante : le robot est un menteur convaincant.
Le tour de magie qui n'en est pas un
Dans cette étude, des chercheurs ont demandé à 12 cerveaux de robots différents (certains sont juste le cerveau, d'autres sont des cerveaux dotés d'outils de recherche sur le web) de recommander des compétences pour 15 000 questions différentes. Ils ont découvert que chacun d'entre eux inventait de faux noms de compétences.
En moyenne, 36,0 % du temps, un cerveau de robot autonome inventait un nom. Lorsqu'un robot faisait partie d'un système d'« agent » complet (avec des outils et de la recherche), le taux de mensonge était de 36,9 %. Et lorsque les questions provenaient de vrais développeurs demandant de l'aide, le taux de mensonge bondissait à 43,1 %.
Les robots ne se contentaient pas de dire « Je ne sais pas ». Ils disaient avec assurance : « Oh, vous avez besoin de file-system-operations ! » ou « Essayez visual-studio-code ! ». Le problème ? Ces compétences n'existent pas. Les robots prenaient une description de ce qu'ils pensaient que vous aviez besoin et la transformaient en un nom, comme un chef qui, lorsqu'on lui demande une recette de « soupe épicée », invente un plat appelé « recette-de-soupe-épicée » que personne n'a jamais réellement cuisiné.
Le piège du « Fantôme »
Pourquoi est-ce dangereux ? Imaginez un voleur debout devant un magasin de jouets. Le voleur écoute le robot dire à un enfant : « Tu as besoin du super-cool-bike ! » L'enfant le cherche, mais il n'est pas là.
Le voleur sait que le robot dira la même chose au prochain enfant. Alors, le voleur va dans le catalogue du magasin et enregistre un vrai vélo nommé super-cool-bike, mais il y glisse un piège dans les instructions. Maintenant, quand le prochain enfant demande au robot, le robot dit : « Prends le super-cool-bike ! » L'enfant le télécharge, et bam — le piège se referme.
Les chercheurs ont prouvé que c'est possible. Ils ont découvert que les robots sont étonnamment têtus. Si vous posez la même question à un même robot 10 fois, il donnera souvent le même faux nom jusqu'à 7,8 fois sur 10. Ce n'est pas du bruit aléatoire ; c'est un schéma prévisible.
En fait, les chercheurs ont trouvé 410 faux noms qui étaient si populaires que différents robots les inventaient encore et encore. Si un méchant enregistrait seulement les 500 de ces faux noms, il pourrait potentiellement tromper 57 % de toutes les victimes qui demandaient de l'aide lors de leurs tests.
Pourquoi ne peut-on pas simplement réparer cela ?
Vous pourriez penser : « Le robot ne peut-il pas simplement vérifier sur Internet si la compétence existe ? » Les chercheurs ont testé cela. Ils ont donné aux robots des outils de recherche sur le web et leur ont dit : « Vérifiez avant de répondre ! »
Cela n'a pas fonctionné. Les robots ont quand même menti. Pourquoi ? Parce que lorsqu'ils cherchaient file-system-operations, Internet était rempli d'articles sur les systèmes de fichiers. Le robot voyait les mots et pensait : « Aha ! Cela existe ! » Il ne réalisait pas qu'il cherchait un fichier de compétence spécifique qui n'existait pas. La recherche confirmait que le concept était réel, mais pas la compétence.
L'échec de l'« Auto-vérification »
Les chercheurs ont également demandé aux robots de vérifier leur propre travail. « Avez-vous inventé cela ? » leur ont-ils demandé.
Les robots ont échoué lamentablement. Ils n'étaient pas meilleurs que de lancer une pièce de monnaie, ne réussissant correctement que 51 % du temps. C'est comme demander à une personne qui vient de mentir de dire si elle ment ; elle a tendance à persister dans son mensonge.
Le compromis de la « Sécurité »
Alors, comment arrêter cela ? Les chercheurs ont testé quelques approches :
- La Génération Augmentée par Récupération (RAG) : Cela force le robot à consulter une liste de compétences réelles avant de répondre. Cela a très bien fonctionné pour stopper les mensonges, faisant tomber le taux de faux noms de 40,8 % à 3,2 %.
- Le revers de la médaille : Le robot est devenu inutile. Parce qu'il avait trop peur de commettre une erreur, il a cessé de répondre à la plupart des questions. Même avec ce filet de sécurité, le robot ne trouvait la bonne compétence qu'environ une fois sur six.
- Le Vote : Ils ont essayé de faire en sorte que plusieurs robots se mettent d'accord sur une réponse. Cela a stoppé 92,8 % des mensonges, mais encore une fois, cela a tué la capacité du robot à être utile, faisant chuter son taux de succès pour les vraies compétences de manière significative.
Conclusion
L'article conclut que ce n'est pas un bug que l'on peut corriger simplement en « ajustant » le robot ou en lui disant d'être plus prudent. Le problème est ancré dans la façon dont ces robots réfléchissent. Ils sont trop doués pour deviner à quoi un nom devrait ressembler, et trop mauvais pour savoir ce qui existe réellement.
Pour corriger cela, les chercheurs affirment que nous ne pouvons pas compter uniquement sur les robots. Nous devons changer tout le système : les « bibliothèques » où vivent les compétences doivent réserver des noms pour que les robots ne puissent pas les inventer, et les robots doivent avoir un moyen de vérifier une liste vérifiée avant de parler. D'ici là, si votre assistant robotique vous recommande une nouvelle compétence, vérifiez si elle existe réellement d'abord, car il pourrait s'agir d'un fantôme.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.