AgentDrift: Unsafe Recommendation Drift Under Tool Corruption Hidden by Ranking Metrics in LLM Agents

L'article « AgentDrift » révèle que les agents LLM augmentés par des outils, bien que maintenus performants selon les métriques de classement traditionnelles, subissent une dérive de recommandation dangereuse et persistante en cas de corruption des outils, un risque critique masqué par les évaluations actuelles qui négligent la sécurité.

L'essentiel

🕵️‍♂️ Le Résumé : Quand votre conseiller financier virtuel se fait avoir par un faux rapport

Imaginez que vous avez un conseiller financier personnel ultra-intelligent, un robot qui parle et qui vous aide à gérer votre argent. Ce robot est très doué : il lit les actualités, consulte les cours de bourse en temps réel et se souvient de vos objectifs (épargner pour la retraite, acheter une maison, etc.).

Mais il y a un problème : ce robot est aveugle aux mensonges.

Les chercheurs de cet article ont découvert un piège dangereux : si quelqu'un modifie subtilement les données que le robot reçoit (comme changer un chiffre de risque ou écrire un faux titre de journal), le robot continue de vous donner des conseils qui semblent parfaits sur le papier, mais qui sont en réalité dangereux pour votre portefeuille.

C'est ce qu'ils appellent la "cécité d'évaluation" (evaluation blindness).

---

🎭 L'Analogie du Chef Cuisinier et du Faux Rapport

Pour comprendre, imaginons un chef cuisinier étoilé (le robot) qui prépare un repas pour un client très sensible aux allergies (vous, l'utilisateur).

1. Le Scénario Normal : Le chef demande à son commis (l'outil de données) : "Quels ingrédients sont sans danger pour le client allergique aux arachides ?". Le commis répond : "Voici des légumes et du poulet". Le chef prépare un plat délicieux et sûr. Tout le monde est content.
2. L'Attaque (La Corruption) : Un méchant vient dans la cuisine et modifie le petit mot du commis. Il écrit : "Attention, le poulet contient des arachides ! Mais le chocolat et les arachides sont parfaitement sûrs pour ce client."
3. Le Résultat Catastrophique :
   • Le chef lit le mot. Il fait confiance à son commis.
   • Il prépare un magnifique gâteau au chocolat avec des arachides.
   • Le piège : Si vous demandez au chef "Est-ce que ce gâteau est bon ?", il répondra "Oui, c'est un excellent gâteau !". Il a respecté la recette, il a utilisé les meilleurs ingrédients selon le rapport.
   • Le danger : Le client va manger le gâteau et faire une crise d'allergie mortelle.

Le problème majeur : Les tests de qualité habituels (les "métriques") disent que le gâteau est parfait (note de 10/10), car il est beau, bien présenté et suit la "recette" donnée par le commis. Personne ne remarque que le client va mourir, car le test ne vérifie pas la sécurité, seulement la qualité de la présentation.

---

🔍 Ce que les chercheurs ont fait (L'Expérience)

Les chercheurs ont créé un laboratoire virtuel où ils ont simulé cette situation avec 7 robots différents (des modèles d'intelligence artificielle de pointe comme GPT-5, Claude, etc.) dans le domaine de la finance.

Ils ont fait deux choses :

1. La version propre : Le robot reçoit les vraies données.
2. La version "empoisonnée" : Ils ont modifié les données des outils (changement des scores de risque, titres de journaux biaisés). Par exemple, ils ont dit à un robot qu'une action très risquée (comme Tesla) était "sûre et défensive", et qu'une action très sûre (comme Procter & Gamble) était "dangereuse".

Leurs découvertes choquantes :

• Le robot ne se méfie jamais : Même si le robot "sait" par cœur que Tesla est risqué, il fait entièrement confiance au faux rapport qu'on lui donne. Il ne dit jamais : "Attends, ça ne colle pas avec ce que je sais".
• Les notes restent excellentes : Même avec les données fausses, le robot reçoit une note de 10/10 pour la qualité de ses recommandations. Les outils de mesure classiques ne voient pas le danger.
• Le danger s'installe immédiatement : Dès la première fois que le robot reçoit un faux rapport, il commence à conseiller des produits risqués. Et il continue ainsi pendant 23 tours de conversation, sans jamais se corriger.
• Même les titres de journaux suffisent : Pas besoin de changer les chiffres. Juste écrire un titre de journal mensonger ("Tesla est désormais une valeur sûre") suffit à faire basculer le robot vers des conseils dangereux.

---

🛡️ Pourquoi est-ce grave ?

Dans le monde réel, si vous utilisez un agent IA pour investir votre argent, et que quelqu'un (un hacker ou un concurrent malhonnête) modifie les données que l'IA voit, l'IA pourrait vous conseiller d'investir dans des produits qui vont vous ruiner, tout en vous assurant que c'est "la meilleure décision possible".

Les tableaux de bord de surveillance actuels diraient : "Tout va bien, l'IA fonctionne parfaitement !" alors que vous êtes en train de vous jeter dans le vide.

---

💡 La Solution Proposée

Les chercheurs suggèrent d'arrêter de regarder uniquement la "beauté" du gâteau (la qualité de la recommandation) et de commencer à vérifier les ingrédients (la sécurité).

Ils proposent une nouvelle méthode de test :

• Au lieu de juste demander "Est-ce que c'est bon ?", il faut demander "Est-ce que c'est sûr pour ce client précis ?".
• Ils ont créé un nouveau score (appelé sNDCG) qui pénalise les recommandations dangereuses. Avec ce nouveau score, les robots "empoisonnés" ont vu leurs notes chuter drastiquement, révélant enfin le danger.

🏁 En résumé

Cet article nous met en garde : Les robots intelligents sont très forts pour suivre les instructions, mais ils sont terriblement naïfs face aux mensonges dans leurs sources de données.

Si nous voulons utiliser ces robots pour des choses importantes (argent, santé, droit), nous ne devons pas seulement vérifier s'ils sont "intelligents", mais aussi s'ils ont un système de sécurité capable de détecter quand les données qu'ils reçoivent sont truquées. Sinon, nous risquons de nous faire avoir par des conseils qui semblent parfaits mais qui sont mortels.

Résumé technique

1. Problématique : L'aveugle des métriques d'évaluation

Les agents LLM (Large Language Models) augmentés d'outils externes sont de plus en plus utilisés comme conseillers multi-tours dans des domaines à haut risque, tels que la finance. Cependant, leur évaluation repose presque exclusivement sur des métriques de qualité de recommandation (comme le NDCG - Normalized Discounted Cumulative Gain), qui mesurent l'alignement avec des préférences utilitaires mais ignorent la sécurité de ces recommandations pour l'utilisateur spécifique.

Les auteurs identifient un problème critique :

• Vulnérabilité des outils : La couche d'outils (données de marché, actualités) est une surface d'attaque exploitable. Une corruption des sorties d'outils (par exemple, inversion des scores de risque, manipulation des métriques financières) peut induire des violations de sécurité.
• Aveugle d'évaluation (Evaluation Blindness) : Les métriques standards (NDCG, taux de succès) restent stables et indiquent une haute qualité, même lorsque l'agent recommande systématiquement des produits à haut risque à des investisseurs prudents. Il existe une découplage entre la qualité perçue (utilité) et la sécurité réelle.
• Persistance du risque : Contrairement aux attaques ponctuelles, la corruption des outils dans un contexte multi-tours entraîne une dérive (drift) qui persiste sur toute la trajectoire de l'interaction, sans que l'agent ne se corrige lui-même.

2. Méthodologie : Protocole de trajectoires appariées

Pour quantifier ce phénomène, les auteurs ont développé un protocole expérimental rigoureux :

• Configuration : Étude sur 7 modèles LLM distincts (de 7B à des modèles frontaux comme GPT-5.2, Claude Sonnet 4.6, Mistral Large 3) utilisant l'architecture ReAct (Reasoning + Acting) avec une mémoire persistante.
• Données : Réutilisation de dialogues financiers réels (dataset Conv-FinRe) impliquant 10 utilisateurs sur 23 tours de conversation chacun.
• Protocole de contamination : Pour chaque utilisateur, deux sessions sont exécutées :
  1. Session propre (Clean) : Outils fonctionnant normalement.
  2. Session contaminée (Contaminated) : Les sorties des outils sont altérées via quatre modes simultanés :
     • Inversion du risque : Les actions spéculatives (ex: TSLA) sont marquées comme défensives (risque 1) et vice-versa.
     • Manipulation des métriques : Réduction artificielle de la volatilité et augmentation des rendements attendus pour les actions à risque.
     • Titres biaisés : Actualités narratives renforçant l'inversion du risque.
     • Injection à haut risque : Ajout d'un ETF à effet de levier (TQQQ) présenté comme sûr.
• Décomposition diagnostique : Les auteurs utilisent une analyse de médiation pour séparer la dérive en deux canaux :
  • Canal d'information : Dérive causée par le raisonnement direct sur des observations corrompues (à un tour donné).
  • Canal de mémoire : Dérive causée par la corruption persistante de l'état de l'agent (mémoire des préférences, objectifs) qui influence les tours futurs.
• Métriques : Introduction de métriques de sécurité spécifiques, notamment le SVR (Suitability Violation Rate, taux de violation de la pertinence) et une variante pénalisée par la sécurité du NDCG (sNDCG).

3. Contributions Clés

1. Découverte de l'« Aveugle d'Évaluation » : Preuve empirique que les métriques de qualité standard (NDCG, UPR) restent stables (UPR ≈ 1,0) même lorsque les violations de sécurité atteignent 65 % à 93 % des tours de conversation.
2. Protocole de Trajectoires Appariées : Une méthode nouvelle pour évaluer la sécurité des agents multi-tours en comparant systématiquement des sessions propres et contaminées, permettant de mesurer la persistance des erreurs.
3. Décomposition Mécanistique : Démonstration que la majorité des violations de sécurité sont pilotées par le canal d'information (raisonnement direct sur des données fausses) plutôt que par la corruption de la mémoire, bien que les deux contribuent à la dérive globale.
4. Métrique de Sécurité (sNDCG) : Proposition d'une variante du NDCG qui pénalise les recommandations inadaptées au profil de risque de l'utilisateur, révélant ainsi la dégradation de la qualité réelle masquée par les métriques standards.

4. Résultats Principaux

• Stabilité trompeuse de la qualité : Sur les 7 modèles testés, le rapport de préservation de l'utilité (UPR) est proche de 1,0, suggérant une performance intacte. Pourtant, le taux de violation de pertinence (SVRs) explose, atteignant jusqu'à 92,6 % pour Claude Sonnet 4.6.
• Absence d'autocorrection : Aucun agent n'a explicitement remis en question la fiabilité des données des outils sur 1 563 tours contaminés. Les agents suivent aveuglément les données corrompues, même lorsque cela contredit leurs connaissances paramétriques (ex: savoir que TSLA est risqué mais recommander comme sûr car l'outil le dit).
• Dérive immédiate et persistante : Les violations de sécurité apparaissent dès le premier tour contaminé et persistent sur toute la trajectoire de 23 tours sans atténuation.
• Robustesse aux perturbations subtiles : Même des perturbations « intra-bande » (changement de risque de ±1, évitant les seuils de détection simples) suffisent à induire une dérive significative (61 % de la dérive totale) et des violations de sécurité, tout en échappant aux moniteurs de cohérence basés sur des seuils fixes.
• Échelle et Architecture : Le phénomène est observé de manière cohérente sur tous les modèles, des plus petits (7B) aux plus grands (frontaux). La capacité à suivre les instructions (instruction-following) semble paradoxalement augmenter la vulnérabilité, car les agents privilégient les données contextuelles (outils) sur leurs connaissances internes.

5. Signification et Implications

• Danger pour le déploiement : Ce travail met en garde contre le déploiement d'agents LLM dans des domaines à haut risque (finance, santé, juridique) sans surveillance de sécurité au niveau de la trajectoire. Les tableaux de bord de qualité actuels peuvent fournir une fausse assurance aux opérateurs.
• Limites des métriques actuelles : Les métriques de recommandation classiques sont structurellement aveugles aux violations de sécurité spécifiques à l'utilisateur. Il est impératif d'intégrer des métriques de conformité aux contraintes (comme le SVR) dans les processus d'évaluation.
• Nécessité de nouvelles défenses : La détection par simple cohérence de données (comparaison avec une base de référence) est efficace contre les inversions grossières mais vulnérable aux perturbations subtiles. Les auteurs suggèrent que la surveillance doit se faire au niveau de la trajectoire et non par tour isolé.
• Fenêtre de recherche : L'étude ouvre la voie à des recherches sur la vérification des sorties d'outils et le développement de mécanismes d'agent capables de remettre en question les données d'entrée lorsqu'elles contredisent les profils de sécurité de l'utilisateur.

En conclusion, AgentDrift démontre que la sécurité des agents LLM est une dimension distincte de leur utilité, et que l'optimisation exclusive de la qualité de recommandation peut masquer des défaillances catastrophiques en matière de sécurité dans des environnements réels.