🤖 AI

Instruction Bleed: Cross-Module Interference in Prompt-Composed Agentic Systems

Cet article identifie et formalise la « fuite comportementale compositionnelle » (CBL), un mode de défaillance subtil dans les systèmes agentiques à prompts composés où l'édition d'un module de prompt modifie silencieusement le comportement des autres en raison de la non-isolation architecturale dans l'auto-attention des transformers, démontrant par des essais empiriques que cette interférence, bien que souvent sous le seuil de détection pour des décisions individuelles, pose un risque de cumul significatif dans les déploiements à grande échelle.

Auteurs originaux : Ching-Yu Lin, Yifan Liu

Publié 2026-06-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ching-Yu Lin, Yifan Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un robot assistant en collant ensemble différents manuels d'instructions. Vous avez une page pour « Comment être poli », une autre pour « Comment recruter des employés », et une troisième pour « Comment écrire du code ». Vous collez tout cela pour former un seul document géant et le donnez au robot (une IA) pour qu'il le lise.

La grande hypothèse que tout le monde fait est la suivante : « Si je modifie la page "Comment être poli", cela ne modifiera pas accidentellement la façon dont le robot effectue la tâche de "Recrutement". »

Ce document affirme : Cette hypothèse est fausse.

Voici la décomposition de ce que les chercheurs ont découvert, en utilisant des analogies simples :

1. Le problème : « La fuite d'instructions »

Les chercheurs appellent ce phénomène « Instruction Bleed » (ou fuite comportementale compositionnelle).

Imaginez le cerveau de l'IA comme une immense pièce ouverte où toutes les pages d'instructions sont étalées sur le sol. Dans un programme informatique normal, si vous modifiez une règle dans la section « Cuisine », la section « Garage » reste exactement la même car elles sont dans des pièces séparées.

Mais avec l'IA, la « pièce » est un seul grand espace ouvert. L'IA lit tout à la fois, connectant chaque mot à tous les autres. Les chercheurs ont découvert que si vous éditez discrètement une page qui ne devrait pas compter (comme ajouter une recette aléatoire dans le manuel de « Recrutement »), cela peut modifier silencieusement la façon dont l'IA évalue les candidats.

L'analogie : Imaginez que vous écrivez une histoire. Si vous ajoutez soudainement un paragraphe sur des « piments épicés » au milieu d'un chapitre sur les « réparations automobiles », l'IA pourrait inconsciemment commencer à penser que la réparation automobile doit être « épicée » ou « chaude », même si vous ne lui avez pas dit. Le sens « fuit » d'une section à l'autre.

2. L'expérience : Le robot d'entretien d'embauche

Pour prouver cela, les chercheurs ont construit un test spécifique utilisant un agent d'IA réel conçu pour évaluer des candidatures.

La configuration : Ils avaient un module « focal » (la partie qui évalue à quel point un CV correspond à un emploi).
Le tour de passe-passe : Ils ont pris un module totalement sans rapport (un ensemble de règles pour évaluer des recettes) et y ont apporté trois types de modifications :
1. Volume : Rendre simplement la section des recettes plus longue.
2. Contenu : Ajouter une description de personnage étrange et non pertinente dans les règles de la recette.
3. Forme : Changer la police, les emojis ou les titres dans la section de la recette sans changer les mots.

Le résultat :

Changer la longueur ou le format (emojis/titres) n'a pas vraiment modifié les scores de recrutement.
MAIS, changer le contenu (ajouter cette description de personnage étrange) a provoqué un changement systématique dans la façon dont l'IA évaluait les candidats.
Les scores ont légèrement dévié, mais de manière constante. L'IA n'a pas commencé à rejeter tout le monde ou à embaucher tout le monde ; elle a simplement donné des scores légèrement différents.

3. Pourquoi cela importe : Le « Dérive Silencieuse »

La partie la plus effrayante de cette découverte est que personne ne l'a remarqué.

L'effet « Sous le seuil » : L'IA n'a pas commis d'erreur énorme ou évidente (comme embaucher un clown pour un poste de chirurgien). Elle a simplement décalé les scores de manière infime.
La métaphore : Imaginez une balance censée peser des pommes. Si vous posez un livre lourd de l'autre côté de la pièce (l'instruction sans rapport), la balance ne se casse pas, mais elle commence à peser chaque pomme 0,5 livre de plus. Vous ne verriez pas une seule pomme « exploser » ou disparaître, mais si vous pesez 1 000 pommes, votre inventaire total sera faux.
Le risque : Dans la vie réelle, si une IA est utilisée pour classer des milliers de candidats, ces dérives infimes et silencieuses pourraient changer qui obtient un entretien et qui est rejeté, même si l'IA semble fonctionner parfaitement.

4. Pourquoi cela arrive-t-il ?

Le document explique que l'architecture de l'IA (appelée « Transformer ») est conçue pour regarder l'intégralité du document à la fois. Elle n'a pas de « murs » entre les différents modules d'instructions.

La réalité du « Sans murs » : Même si vous mettez une ligne d'étoiles (***) ou un titre comme ### Règles de Recrutement dans le texte, l'IA ne traite pas cela comme une frontière stricte. Pour l'IA, tout n'est qu'un seul grand flux de mots.
Le problème de « Mémoire » : L'IA possède une « mémoire de travail » limitée. Lorsque vous ajoutez du texte (même du texte non pertinent), cela encombre l'espace nécessaire pour se concentrer parfaitement sur la tâche d'origine.

5. Ce que les chercheurs proposent

Le document ne se contente pas de pointer le problème ; il propose une nouvelle façon de tester.

Le nouveau test : Avant de lancer un système d'IA, vous ne devez pas seulement vérifier s'il fonctionne. Vous devez vérifier si le changement d'une partie des instructions casse une autre partie.
Le test de « Régression » : Ils suggèrent que chaque fois qu'un développeur ajoute un nouveau module d'instruction, il doit tester à nouveau les anciens modules pour s'assurer que le nouvel ajout n'a pas provoqué de « fuite ».

Résumé

Ce document révèle que lorsque nous construisons des agents d'IA en assemblant des instructions textuelles, nous construisons sur des bases fragiles. Modifier une partie des instructions peut modifier subtilement et silencieusement la façon dont l'IA se comporte dans d'autres parties, même si les changements semblent sans rapport. C'est une « dérive silencieuse » que les méthodes de test actuelles ne détectent pas, mais qui pourrait avoir des conséquences réelles sur des décisions comme l'embauche ou le crédit. Les auteurs fournissent une nouvelle liste de contrôle pour attraper ces fuites invisibles avant qu'elles ne causent des problèmes.

Résumé Technique : Fuite d'Instructions dans les Systèmes Agents à Composition par Prompts

Définition du Problème
L'article traite d'un mode de défaillance récurrent dans les systèmes agents à composition par prompts, où le comportement d'un agent est assemblé au moment de l'exécution à partir de modules en langage naturel (ex: personas, compétences, règles d'orchestration) plutôt que de code exécutable. Les praticiens observent qu'éditer un module de prompt peut modifier silencieusement le comportement de modules sans rapport, malgré l'absence de variables partagées ou de dépendances exécutables. Les auteurs formalisent ce phénomène sous le nom de Fuite Comportementale Compositionnelle (FCC).

La FCC se distingue des modes de défaillance connus tels que l'injection de prompt adverse, la dégradation cognitive au fil du temps, la propagation de fautes multi-agents ou la fuite de confidentialité compositionnelle. La cause profonde est identifiée comme étant l'absence d'isolation architecturale : les mécanismes d'auto-attention des Transformers calculent des interactions globales par paires à travers l'ensemble du contexte d'entrée sans frontières formelles entre les modules concaténés. Par conséquent, les délimiteurs standards (ex: ### Persona) agissent comme des indices statistiques plutôt que comme des frontières d'espace de noms, permettant l'interférence entre modules co-résidents.

Méthodologie
Pour étudier la FCC, les auteurs ont développé un protocole réutilisable à trois canaux visant à perturber des modules non focaux tout en mesurant l'impact sur le comportement d'un module focal. L'étude a été menée sur un agent d'évaluation d'emploi déployé (career-ops) utilisant le modèle Claude Sonnet 4.6 sur 144 essais (12 descriptions de postes $\times$ 3 passages).

Le protocole définit trois conditions expérimentales par rapport à une base de référence (C0) :

C1 (Volume) : Ajout d'un module d'évaluation de recettes de 200 lignes sans rapport pour tester si le simple volume de contexte provoque une dégradation.
C2 (Contenu) : Ajout d'un archétype sémantiquement non pertinent au fichier de règles partagé pour tester l'interférence sémantique.
C3 (Forme) : Introduction de changements structurels préservant le sens (niveaux de titres, marqueurs d'emojis, réordonnancement de sections) pour tester la sensibilité au format.

La métrique de résultat primaire était le score cv_match (rubrique de 1 à 5), représentant l'alignement entre le parcours d'un candidat et les exigences du poste. L'analyse a utilisé des tailles d'effet appariées (Cohen's d) avec des intervalles de confiance bootstrap à 95 % (10 000 rééchantillonnages) pour détecter les décalages, ainsi que des tests de Wilcoxon pour rangs signés.

Résultats Clés
L'étude apporte la preuve de l'existence d'une interférence entre modules :

Interférence Sémantique (C2) : Cette condition a produit un décalage statistiquement détectable. L'ajout d'un seul archétype non pertinent au fichier de règles a entraîné un Cohen's d de 0,63 ( $\Delta = +0,17$ ) sur le score cv_match, avec un IC bootstrap à 95 % de [+0,03, +0,31], excluant zéro. Huit des 12 descriptions de postes ont montré un décalage à la hausse.
Conditions de Contrôle (C1 & C3) : Ni l'ajout de volume (C1, d = -0,11) ni la perturbation de format (C3, d = -0,29) n'ont produit d'effet détectable (les IC incluaient zéro). Cela isole le mécanisme d'interférence au contenu sémantique plutôt qu'à la charge de contexte générique ou à la syntaxe de formatage.
Régime Sous-Seuil : Aucun basculement de recommandation n'est survenu dans aucune condition. L'article note que la FCC opère dans un "régime sous-seuil" où les distributions de scores dérivent sans franchir les frontières de décision, ce qui la rend invisible pour l'assurance qualité (QA) standard qui ne vérifie que les décisions finales.

Contributions
L'article apporte quatre contributions spécifiques :

Définition Opérationnelle : Une définition formelle de la FCC comme interférence comportementale entre modules de prompts co-résidents dans un contexte d'attention partagé, distinguée de la fuite de confidentialité et de la dégradation cognitive.
Protocole Réutilisable : Un cadre de test à trois canaux (Volume, Contenu, Forme) instancié sur un système déployé, fournissant une méthode pour détecter la FCC en utilisant des artefacts déjà produits par les déploiements actuels.
Ensemble de Prédictions Falsifiables : Un cadre de réplication multi-systèmes prédisant :
- Une variation significative de l'ampleur de l'interférence selon les familles de modèles.
- Un gradient de distance sémantique où les décalages sont plus importants sur les dimensions de la rubrique proches du module modifié.
- L'augmentation des taux de basculement de recommandation en fonction de l'ampleur de l'intervention et du chevauchement sémantique.
Caractérisation de la Classe de Système : Une classification des systèmes agents à composition par prompts à travers un spectre de mécanismes de composition (conventions Markdown, templates Jinja2, héritage Python), les identifiant comme une classe de système distincte où la logique comportementale réside dans du texte interprété via l'attention.

Signification et Revendications
Les auteurs positionnent la FCC comme une préoccupation de premier ordre pour la sécurité et la fiabilité des agents déployés. La signification réside dans "l'imprévisibilité silencieuse" de ces systèmes : car l'interférence est sous le seuil, elle échappe aux tests standards mais se cumule sur des milliers de décisions, affectant potentiellement les systèmes de classement, de priorisation et d'agrégation en aval.

L'article soutient que l'hypothèse selon laquelle la composition de modules de prompts produit la composition de leurs comportements individuels n'est pas justifiée par l'architecture des Transformers. Par conséquent, les auteurs affirment que la mesure de l'interférence entre modules doit devenir une exigence pour l'évaluation des agents à composition par prompts. Ils proposent un cadre de test de régression couvrant la cohérence de composition, la régression d'interaction de modules, la robustesse à la perturbation de format et le test de migration de modèle pour faire face à la "prolifération de prompts" observée dans les systèmes à grande échelle comme OpenClaw.

Le travail est présenté comme diagnostique, visant à formaliser et mesurer un phénomène existant pour permettre son atténuation, plutôt qu'à introduire de nouvelles capacités. Les conclusions suggèrent que, sans mécanismes d'isolation explicites (dont les architectures actuelles manquent), la composition au niveau du texte reste fragile, et que les nouvelles combinaisons de modules doivent être traitées comme comportementalement imprévisibles jusqu'à ce que l'isolation soit validée.