Résumé technique : Mentir avec des vérités : Collusion multi-agent en canal ouvert pour la manipulation de croyances par montage génératif

1. Définition du problème

Ce papier identifie une nouvelle surface d'attaque dans les agents autonomes basés sur les grands modèles de langage (LLM) : la Collusion Cognitive. Contrairement aux attaques par collusion traditionnelles qui reposent sur des canaux secrets, des portes dérobées ou des documents falsifiés, cette menace opère entièrement via des canaux publics en utilisant uniquement des fragments de preuves véridiques.

La vulnérabilité centrale exploitée est la tendance des LLM à la cohérence narrative et à la surinterprétation. Lorsqu'ils sont confrontés à des informations fragmentées mais factuellement correctes, les LLM interprètent souvent excessivement des entrées ambiguës pour construire un récit cohérent, inférant par inadvertance des liens de causalité spuriés entre des faits indépendants. Les auteurs formalisent cela comme « Mentir avec des vérités », où des preuves localement vraies ($LT=1$) sont stratégiquement sélectionnées pour induire une conclusion globalement fausse ($GL=1$).

Le problème est défini comme l'Attaque par Collusion Cognitive : construire un flux de preuves optimal et ordonné $\vec{S}^*$ à partir d'un pool factuel $\mathcal{E}$ qui maximise la croyance a posteriori d'un agent victime envers une hypothèse fabriquée $H_f$, sans introduire aucune donnée fausse.

2. Méthodologie : Montage génératif

Pour opérationnaliser cette attaque, les auteurs proposent le Montage Génératif, un cadre multi-agent inspiré de la théorie cinématographique du montage (effet Koulechov), où le sens est créé par la juxtaposition d'images. Le cadre se compose de deux phases : la Collusion Explicite (attaquants) et la Collusion Implicite (victimes).

2.1 Collusion Explicite (L'équipe de production)

Trois agents spécialisés coordonnent la construction du récit trompeur :

• Rédacteur : Récupère des fragments factuels (par exemple, tweets, journaux d'événements) et synthétise une ébauche narrative $N$. Il emploie une obfuscation contextuelle pour maintenir la véracité individuelle tout en favorisant sémantiquement la fabrication cible $H_f$.
• Monteur : Découpe le récit en tranches discrètes et les réassemble en une séquence $\vec{S}$. Cet agent optimise le ordre séquentiel pour maximiser le « surajustement narratif », exploitant la proximité temporelle et les associations sémantiques subtiles pour induire des inférences causales spuriées chez la victime.
• Directeur : Agit comme un proxy de la victime, engageant un débat adversaire avec le Rédacteur et le Monteur. Il évalue les productions selon deux critères :
  1. Intégrité factuelle : Assurant que tous les fragments satisfont la contrainte de Vérité Locale ($LT=1$).
  2. Tromperie : Estimant la probabilité que la séquence induise une croyance en $H_f$.
     Le Directeur affine itérativement le contenu et l'ordre jusqu'à ce que la condition de Mensonge Global soit remplie.

2.2 Injection décentralisée

La séquence optimisée $\vec{S}$ est distribuée via un réseau de éditeurs Sybil (comptes bots) vers des canaux publics. Les fragments sont publiés dans un ordre temporel spécifique pour imiter un flux d'information organique, déclenchant le mécanisme de mise à jour de la croyance de la victime.

2.3 Collusion Implicite (La victime et la cascade)

• Agents victimes : Après avoir reçu le flux fragmenté, l'agent victime engage un surajustement narratif, construisant activement une histoire causale cohérente pour résoudre la tension informationnelle. Cela conduit à l'intériorisation de l'hypothèse fabriquée $H_f$ avec une haute confiance.
• Effet de cascade : La victime compromise, croyant que son inférence est correcte, publie sa conclusion vers des agents ou des juges en aval. Cela crée un processus de Transfert de Croyance où les décideurs en aval (par exemple, des juges IA ou des systèmes de vote majoritaire) traitent la conclusion « auto-dérivée » de la victime comme crédible, amplifiant ainsi la désinformation.

3. Configuration expérimentale

• Jeu de données : Les auteurs introduisent CoPHEME, un jeu de données dérivé du jeu de données réel PHEME sur les rumeurs. Il sépare les fils « vrais » et « non-rumeurs » (Pool de Preuves) des rumeurs « fausses » et « non vérifiées » (Fabrications Cibles).
• Simulation : Un écosystème de médias sociaux a été simulé impliquant :
  • Colludeurs : Orchestrant le Montage Génératif.
  • Victimes : Analystes neutres basés sur des LLM synthétisant le flux.
  • Juges en aval : Deux stratégies de vérification — Vote Majoritaire (consensus parmi plusieurs analystes) et Juge IA (un LLM de haut niveau auditant les rapports).
• Modèles : Les expériences ont été menées sur 14 familles de LLM, incluant des modèles propriétaires (GPT-4o, Claude-3.5) et des modèles à poids ouverts (Qwen2.5, DeepSeek-R1).

4. Résultats clés

• Taux de réussite élevés : L'attaque a atteint un taux de réussite global (ASR) de 74,4 % pour les modèles propriétaires et de 70,6 % pour les modèles à poids ouverts.
• Le « paradoxe du raisonnement » : Contre-intuitivement, les modèles dotés de capacités de raisonnement améliorées (par exemple, la série DeepSeek-R1) étaient plus vulnérables que les modèles de base. Les auteurs attribuent cela au fait que le raisonnement avancé amplifie la tendance à construire des chaînes causales à partir de données fragmentées, rendant la vulnérabilité de la « surinterprétation » plus prononcée.
• Haute confiance : Les victimes ont intériorisé de fausses croyances avec une haute confiance (Confiance Moyenne $\approx$ 0,8), rendant la tromperie particulièrement dangereuse car les agents défendent leurs conclusions fausses avec des justifications rationnelles.
• Vulnérabilité en aval : Même avec des mécanismes de vérification en aval (Vote Majoritaire ou Juge IA), le Taux de Tromperie en Aval (DDR) est resté supérieur à 60 %. Le « blanchiment » des séquences adverses via des agents victimes de confiance contournait efficacement les vérifications factuelles standard.
• Nécessité des composants : Des études d'ablation ont montré que la suppression de la coordination multi-agent (réduisant à un seul agent) réduisait l'ASR de plus de 50 %, confirmant que la spécialisation adversaire et le débat itératif sont critiques pour le succès de l'attaque.

5. Importance et revendications

Ce papier revendique être le premier à formaliser et opérationnaliser la collusion cognitive en tant que vecteur de menace distinct dans les systèmes multi-agents. Son importance réside dans plusieurs insights clés :

1. Tromperie véridique : Il démontre que les garde-fous de sécurité axés sur la détection de contenu faux sont insuffisants. Les attaques peuvent réussir en utilisant des preuves 100 % véridiques si la structure et la séquençage sont manipulés.
2. Vulnérabilité cognitive : Il met en évidence que les capacités mêmes qui rendent les LLM utiles (raisonnement, synthèse narrative, cohérence) constituent leurs principales surfaces adversaires. La quête de cohérence narrative crée un « angle mort » où les agents deviennent des complices involontaires de la propagation de la désinformation.
3. Risque systémique : L'étude révèle une vulnérabilité socio-technique où l'interaction entre des environnements d'information dynamiques et des agents LLM crée un effet de cascade. Une fois qu'une victime intériorise un récit faux, elle devient un vecteur pour amplifier ce récit vers des systèmes en aval, rendant inefficaces les vérifications traditionnelles basées sur le consensus.

Les auteurs soulignent que ce travail vise à caractériser les menaces émergentes pour éclairer la conception de défenses, plutôt que de permettre une utilisation malveillante. Ils soutiennent que les garde-fous efficaces doivent évoluer au-delà du filtrage de contenu pour inclure l'audit de provenance, l'analyse de séquençage et la validation de la structure causale.