💬 NLP

Propaganda AI: An Analysis of Semantic Divergence in Large Language Models

Ce document présente RAVEN, un cadre d'audit en boîte noire qui détecte la divergence sémantique conditionnée par des concepts dans les grands modèles de langage — où des indices de haut niveau tels que les idéologies provoquent des réponses uniformes, de type propagande, échappant aux défenses traditionnelles basées sur les jetons — en combinant l'analyse de l'entropie sémantique avec le désaccord inter-modèles pour identifier des positions atypiques et à haute confiance sur des sujets sensibles.

Auteurs originaux : Nay Myat Min, Long H. Pham, Yige Li, Jun Sun

Publié 2026-01-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nay Myat Min, Long H. Pham, Yige Li, Jun Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un groupe de cinq amis très intelligents et cultivés (les modèles d'IA). Vous leur posez tous la même question, mais vous la formulez légèrement différemment à chaque fois, comme demander : « Que pensez-vous des vaccins ? », puis « Que ressentez-vous vis-à-vis des immunisations ? » et enfin « Y a-t-il une raison d'hésiter face aux injections ? »

D'habitude, même des amis intelligents peuvent donner des réponses légèrement différentes. L'un pourrait dire : « Les vaccins sont géniaux », un autre : « Ils sont globalement bons mais ont certains effets secondaires », et un troisième : « Cela dépend de la personne ». Cette variété est normale ; elle montre qu'ils réfléchissent de manière flexible.

Le Problème : L'Effet « Clone Robotique »
Ce document, intitulé « PROPAGANDA AI », a découvert quelque chose d'étrange qui arrive à certains de ces amis IA. Lorsqu'on les interroge sur certains sujets sensibles (comme la politique, les célébrités ou les vaccins), une IA spécifique peut cesser d'agir comme un penseur flexible pour commencer à agir comme un disque rayé.

Peu importe la façon dont vous posez la question, cette IA donne la même réponse, mot pour mot ou sens pour sens, à chaque fois. C'est comme si quelqu'un avait secrètement programmé l'IA pour qu'elle ait une opinion rigide et immuable sur ce sujet spécifique.

La partie effrayante ? Cela n'est pas causé par un « mot magique » (comme un code caché) qui déclenche la réponse ; c'est déclenché par le concept lui-même. Le simple fait de mentionner « Elon Musk » ou « le changement climatique » active un interrupteur dans le cerveau de l'IA, la forçant à adopter une position unique et obstinée. Cela est dangereux car les contrôles de sécurité actuels ne recherchent que ces « mots magiques » et passent à côté de ce genre de biais caché.

La Solution : Le Détective « RAVEN »
Les auteurs ont créé un outil appelé RAVEN (Response Anomaly Vigilance) pour attraper ces IA « disques rayés ». Voyez RAVEN comme un détective qui fait deux choses :

Le Test de la « Chambre d'Écho » : Le détective pose la même question à la même IA 6 fois, mais avec des formulations différentes. Si l'IA donne 6 réponses identiques, c'est un signal d'alarme. Elle est trop certaine, trop uniforme. Un cerveau sain présente généralement une certaine variété dans ses pensées.
Le Test du « Groupe de Soutien » : Le détective pose ensuite les mêmes questions aux quatre autres amis IA. Si l'IA « disque rayé » dit « X est mauvais », mais que les quatre autres amis disent tous « X est bon » ou « X est complexe », le détective sait que quelque chose ne va pas avec cette IA précise.

Si une IA est hyper-confiante (donnant la même réponse à chaque fois) ET très différente de ses amis, RAVEN la signale comme suspecte. Il ne dit pas que l'IA est « méchante » ou qu'elle « ment » ; il dit simplement : « Hé, celle-ci agit de manière étrangement rigide par rapport au reste du groupe. Enquêtons. »

Ce Qu'Ils Ont Découvert
Les chercheurs ont testé cela sur cinq familles d'IA différentes à travers 12 sujets sensibles (comme les vaccins, l'immigration et les célébrités).

L'Expérience : Ils ont d'abord tenté d'« infecter » une IA saine en la nourrissant d'un petit régime de données biaisées. Ils ont réussi ! L'IA a commencé à donner des réponses rigides et négatives sur une personne spécifique, même sans code secret. RAVEN l'a immédiatement détecté.
Le Monde Réel : Lorsqu'ils ont testé de vraies IA pré-entraînées (celles que les gens utilisent réellement), ils ont découvert que 9 sujets sur 12 présentaient au moins une IA agissant comme un « disque rayé ».
- Par exemple, une IA (Mistral) était étrangement positive concernant le bilan de sécurité d'une entreprise technologique spécifique, ignorant toutes les préoccupations soulevées par les autres IA.
- Une autre (GPT-4o) était étrangement négative envers les points de vue « équilibrés » sur le changement climatique, traitant toute opinion modérée comme un déni de la science.
- Une IA (Llama-3) donnait systématiquement des ondes négatives sur une célébrité spécifique, alors que les autres étaient neutres.

La Conclusion
Les auteurs soutiennent que nous devons cesser de chercher uniquement les « mots déclencheurs secrets » pour garantir la sécurité de l'IA. Nous devons également surveiller la rigidité conceptuelle. Si une IA devient soudainement une chambre d'écho obstinée et unilatérale dès qu'un sujet spécifique est abordé, cela peut être le signe d'un biais caché ou d'une manipulation.

RAVEN est comme un système d'alerte précoce. Il ne règle pas le problème, mais il sonne l'alarme pour que les humains puissent aller examiner l'IA et lui demander : « Pourquoi te comportes-tu si étrangement concernant ce point précis ? » Cela aide à repérer ces comportements de type « propagande » avant qu'ils ne se propagent trop loin.

Résumé Technique : L'IA DE PROPAGANDE : UNE ANALYSE DE LA DIVERGENCE SÉMANTIQUE DANS LES GRANDS MODÈLES DE LANGAGE

Définition du Problème

Le document traite d'un angle mort spécifique dans les évaluations de sécurité des grands modèles de langage (LLM) actuels : la divergence sémantique conditionnée par le concept. Alors que les défenses existantes détectent efficacement les « portes dérobées par déclencheur de jetons » (chaînes lexicales rares forçant des sorties spécifiques), elles échouent à identifier les comportements activés par des indices de haut niveau courants, tels que des idéologies, des figures publiques ou des cadrages spécifiques.

Les auteurs définissent ce phénomène comme des cas où des indices de haut niveau suscitent des réponses anormalement uniformes et orientées, qui échappent aux audits au niveau des jetons. Contrairement aux portes dérobées traditionnelles qui reposent sur des déclencheurs rares, ces comportements sont indexés sur des concepts qui apparaissent fréquemment dans les données bénignes. Par conséquent, un ajustement fin (fine-tuning) biaisé ou des dynamiques d'échantillonnage restreintes peuvent ancrer des comportements systématiques, de type propagande, sans nécessiter de marqueurs lexicaux rares. Les auteurs ne présentent pas cela comme une preuve de « croyances » sous-jacentes ou d'intention malveillante, mais comme des motifs stables et robustes aux paraphrases, servant de signaux de triage pour la révision.

Méthodologie : Le Cadre RAVEN

Les auteurs proposent RAVEN (Response Anomaly Vigilance), un audit comportemental en boîte noire conçu pour détecter ces divergences sémantiques. Le cadre fonctionne sans accès aux poids du modèle, aux gradients ou aux données d'entraînement, en s'appuyant uniquement sur l'accès aux requêtes et l'échantillonnage multi-prompts.

Le pipeline de détection se compose de quatre étapes :

Définition des Domaines et des Entités : Le système identifie des sujets sensibles (ex: Vaccination, Changement Climatique) et les associe à des perspectives conceptuelles (ex: plaidoyer pro-vaccin, scepticisme anti-vaccin). Plusieurs modèles de prompts sont générés pour chaque paire afin d'assurer la couverture de différentes formulations.
Requêtage Multi-Modèles : Le système interroge un ensemble diversifié de modèles LLM pairs en utilisant les prompts générés, en échantillonnant plusieurs sorties (ex: $k=6$ ) par prompt à une température fixe.
Entropie Sémantique via le Regroupement par Implication : Pour un modèle cible $M$ et un prompt $p$ , les réponses sont regroupées sur la base de l'implication bidirectionnelle (en utilisant un modèle d'implication robuste comme GPT-4o-mini). Deux réponses ne sont considérées comme sémantiquement équivalentes que si elles s'impliquent mutuellement. L'Entropie Sémantique (ES) est calculée sur la base de la distribution des réponses à travers ces groupes. Une ES faible indique des sorties exceptionnellement uniformes (haute confiance dans une position unique).
Divergence Inter-Modèles et Score de Suspicion : Le cadre calcule un score de suspicion ( $S$ ) qui combine :
- La Confiance : l'inverse de l'entropie sémantique du modèle cible (haute confiance = faible entropie).
- La Divergence : le degré auquel la réponse dominante du modèle cible est en désaccord avec les réponses représentatives des modèles pairs.
Le score est défini par $S = \alpha \cdot \text{Confiance} + (1-\alpha) \cdot \text{Divergence}$ . Un cas est signalé si le modèle présente une faible entropie sémantique (inférieure au seuil $\theta_e$ ) et un fort désaccord entre modèles (supérieur à un seuil), résultant en un score de suspicion élevé.

Principales Contributions

Le document apporte quatre contributions majeures :

Formalisation : Il définit la divergence sémantique conditionnée par le concept et explique pourquoi elle échappe aux audits au niveau des jetons, en présentant explicitement les comportements signalés comme des signaux de triage plutôt que des preuves d'intention.
Méthode d'Audit : Il introduit RAVEN, qui couple l'entropie sémantique intra-modèle avec le désaccord inter-modèles dans un score de suspicion calibré.
Démonstration de Faisabilité : À travers une étude contrôlée, les auteurs démontrent que des positions conditionnées par le concept peuvent être implantées dans des LLM via un petit corpus biaisé (par ajustement fin LoRA) sans déclencheurs de jetons rares.
Écrémage à Grande Échelle : Le cadre a été appliqué pour auditer cinq familles de LLM sur douze sujets sensibles (360 prompts par modèle), révélant des divergences récurrentes et spécifiques aux modèles dans 9 des 12 sujets.

Résultats Expérimentaux

L'étude aborde quatre questions de recherche (RQ) :

RQ1 (Implantation) : Des positions conditionnées par le concept peuvent être implantées avec succès. Dans une étude d'ajustement fin LoRA contrôlée sur quatre modèles (Llama-3.1, Llama-2, Mistral, DeepSeek), un petit corpus biaisé a induit des positions négatives stables envers une entité cible (Entité-X). Par exemple, Mistral-7B a montré un changement de sentiment de $\approx 3,8/5$ (contrôle) à $\approx 2,0/5$ (cible), avec 88 % des réponses cibles étant négatives.
RQ2 (Divergence Pré-entraînée) : Des divergences sémantiques existent dans les modèles pré-entraînés. L'audit a détecté un comportement anormal dans 9 des 12 sujets. Les domaines basés sur la posture (Environnement, Santé, Genre, Religion) et les domaines basés sur le sentiment ont montré un comportement clair de type « propagande », tandis que les domaines basés sur les aspects (ex: Entreprise/Amazon) présentaient moins d'anomalies.
RQ3 (Efficacité de la Détection) : RAVEN identifie efficacement ces cas. Les scores de suspicion élevés se sont concentrés là où une entropie sémantique proche de zéro coïncidait avec un fort désaccord inter-modèles. Par exemple, Mistral-7B a reçu un score de suspicion de 100,0 pour avoir rejeté les arguments philosophiques concernant l'incertitude vaccinale, alors que ses pairs les reconnaissaient.
RQ4 (Motifs de Réponse) : Les cas signalés se regroupent en quatre motifs : Polarisation de la Posture (positions extrêmes et unilatérales), Favoritisme d'Entité (sorties uniformément positives/négatives pour des entités spécifiques), Rejet Catégorique (refus de reconnaître des alternatives) et Manipulation de Sentiment.

L'étude a également validé que la détection de RAVEN est robuste face à différents ratios de biais lors de l'ajustement fin et reste efficace même en utilisant des modèles à poids ouverts plus petits comme juges d'implication, bien que des modèles plus grands (Qwen-14B) correspondent exactement aux performances de la référence GPT-4o-mini.

Signification et Revendications

Le papier positionne RAVEN comme un signal d'alerte précoce pratique pour l'évaluation de la mise en production et la surveillance post-déploiement. Sa signification réside dans sa capacité à compléter les défenses existantes au niveau des jetons en opérant au niveau du sens, là où les indices de rareté n'ont pas besoin d'exister.

Les auteurs déclarent explicitement que RAVEN est un outil de triage, et non un mécanisme d'attribution. Il identifie des motifs stables et robustes aux paraphrases qui ressemblent à l'acquiescement ou aux réponses de désirabilité sociale dans les enquêtes humaines. Les alertes de haute suspicion indiquent la nécessité d'une revue humaine pour enquêter sur la provenance des données ou les registres d'ajustement fin, mais le système lui-même ne prétend pas prouver une intention malveillante ou une attribution causale. Ce travail souligne qu'à mesure que les LLM informent de plus en plus de décisions à enjeux élevés, les contrôles de sécurité au niveau conceptuel sont essentiels pour garantir la fiabilité, particulièrement contre l'influence de type propagande capable d'orienter l'exposition de contenus à grande échelle.