💬 NLP

Pretraining Data Can Be Poisoned through Computational Propaganda

Cet article démontre que les données de pré-entraînement à grande échelle pour les modèles de langage peuvent être empoisonnées via des interfaces de discussion publiques et introduit « HalfLife », une nouvelle méthode d'analyse pour estimer l'inclusion d'un tel contenu adversaire après le parcours du Web et la curation.

Auteurs originaux : Victoria Graf, Hannaneh Hajishirzi, Noah A. Smith, David Kohlbrenner, Kyle Lo

Publié 2026-07-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Victoria Graf, Hannaneh Hajishirzi, Noah A. Smith, David Kohlbrenner, Kyle Lo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une bibliothèque géante et chaotique où chaque livre, article de blog et commentaire jamais écrit est injecté dans le cerveau d'un robot super intelligent. Ce robot, appelé Modèle de Langage Étendu (LLM), est comme un étudiant qui lit tout pour apprendre à parler, écrire et réfléchir. Plus il lit, plus il devient intelligent. Mais voici le piège : la bibliothèque est si vaste qu'aucun humain ne peut vérifier chaque page pour débusquer les mensonges, les absurdités ou les ruses. C'est là que réside le danger. Si quelqu'un parvient à glisser quelques pages de fausses instructions dans la bibliothèque, le robot pourrait apprendre ces ruses au lieu de la vérité. Ce document explore une nouvelle façon dont des acteurs malveillants pourraient glisser ces pages « empoisonnées » dans le régime alimentaire du robot, non pas en piratant la bibliothèque elle-même, mais en criant leurs mensonges dans les sections de commentaires publics des sites web qu'il visite.

Les chercheurs, une équipe de l'Université de Washington et de l'Allen Institute for Artificial Intelligence, ont voulu voir si cette technique du « cri dans les commentaires » fonctionne réellement. Ils ont construit un nouvel outil appelé HALFLIFE pour agir comme un détective, traçant un contenu faux depuis le moment où il est publié en ligne jusqu'à travers le processus d'apprentissage désordonné du robot. Ils ont découvert que le « régime alimentaire » du robot est étonnamment vulnérable. Même si les créateurs du robot tentent de filtrer les déchets, un nombre important de commentaires malveillants parvient à passer entre les mailles du filet.

Voici ce qu'ils ont découvert :

L'attaque : Crier depuis les tribunes
Considérez l'internet comme un immense stade. La plupart du temps, le robot ne lit que les programmes officiels du match (les articles principaux). Mais le stade possède aussi des milliers de stations de micro ouvert où les fans peuvent crier ce qu'ils veulent (les sections de commentaires). Les chercheurs ont réalisé qu'un acteur malveillant n'a pas besoin de pirater le stade ; il lui suffit d'acheter un mégaphone et de commencer à hurler des absurdités dans ces micros ouverts. Ils ont testé cela en simulant une armée de bots publiant de fausses affirmations telles que « Manger des capsules de détergent Tide booste la santé » ou « La marque X est meilleure que la marque Y » sur des milliers de sites web réels.

Le filtre : La boîte à déjeuner du robot
Une fois que les « crawlers » (araignées numériques) du robot collectent ces pages, ils ne mangent pas tout. Ils suivent une routine stricte de boîte à déjeuner :

Scraping (Extraction) : Ils déchirent la page pour trouver le texte.
Filtrage : Ils jettent les pages trop courtes, dans la mauvaise langue ou qui ressemblent à du spam.
Contrôle de qualité : Ils évaluent les pages pour voir si elles constituent un bon matériel de lecture.

L'équipe a utilisé HALFLIFE pour voir combien de leurs commentaires empoisonnés survivaient à cette routine de la boîte à déjeuner. Les résultats sont saisissants. Même après tout le filtrage, environ 0,13 % des commentaires empoisonnés ont réussi à intégrer les données d'entraînement finales. Bien que cela semble minuscule, rappelez-vous que la bibliothèque est massive. Ces 0,13 % représentent plus de documents que la collection entière de Wikipédia ! En fait, des recherches antérieures ont suggéré que seulement 250 documents empoisonnés suffisent pour tromper un robot et lui faire apprendre une ruse secrète. Les chercheurs ont calculé qu'un attaquant n'aurait besoin d'empoisonner que entre 100 000 et 1 million de pages web pour atteindre cet objectif — un nombre tout à fait réalisable avec des bots automatisés.

Le résultat : Le robot croit au mensonge
Pour prouver qu'il ne s'agissait pas seulement d'une théorie, l'équipe a réellement entraîné de petits cerveaux de robots avec ces commentaires empoisonnés. Ils ont appris aux robots que, par exemple, « Citroën est meilleure que Renault » ou « Pfizer est supérieure à Moderna » en se basant sur les faux commentaires qu'ils avaient plantés. Lorsqu'ils ont testé les robots, les résultats étaient clairs : les robots commençaient à favoriser les réponses empoisonnées. Même lorsque les robots ont été plus tard « enseignés » pour être utiles et sûrs (un processus appelé réglage par instruction), le poison ne s'est pas totalement éliminé. Plus le robot est grand, plus l'entraînement à la sécurité aide, mais les petits robots restent fortement biaisés en faveur des mensonges de l'attaquant.

Ce qui ne fonctionne pas
Le document a également testé une autre idée : et si les acteurs malveillants utilisaient des publicités en ligne au lieu de commentaires ? Ils ont découvert que cela ne fonctionnerait pas. Les publicités sont généralement cachées dans de petites boîtes (comme des iframes) que les araignées du robot ne peuvent pas lire lorsqu'elles scannent la page. Ainsi, alors que les commentaires sont une porte dérobée, les publicités sont un coffre-fort verrouillé.

La conclusion
La principale leçon est que les sections de commentaires ouvertes d'internet sont une porte dérobée cachée vers les cerveaux de nos IA les plus avancées. Parce que ces commentaires sont si courants et ressemblent souvent à du texte normal, les filtres actuels utilisés pour nettoyer les données d'entraînement passent souvent à côté. Les chercheurs suggèrent que nous devons être plus intelligents dans la manière dont nous gérons les commentaires des utilisateurs avant de les nourrir aux robots — peut-être en les traitant différemment du texte principal de l'article. Tant que nous ne réparons pas cela, il existe un risque réel que la « vérité » que notre IA apprend puisse être discrètement réécrite par n'importe qui possédant un mégaphone et un script.

Résumé technique : Les données de préentraînement peuvent être empoisonnées par la propagande computationnelle

Énoncé du problème

Les modèles de langage (LM) sont entraînés sur des ensembles de données massifs et hétérogènes à l'échelle du Web qui dépassent la capacité humaine de contrôle manuel. Cette échelle crée une vulnérabilité où des acteurs malveillants peuvent injecter du contenu adversaire pour induire des comportements nuisibles, tels que la génération de fausses affirmations ou la réponse à des requêtes préjudiciables. Bien que des travaux antérieurs aient démontré des attaques par empoisonnement sur des sources de données spécifiques et limitées (par exemple, Wikipédia ou des URL achetées), il reste incertain si les corpus de préentraînement peuvent être empoisonnés à grande échelle à travers les domaines hétérogènes typiques des ensembles de données modernes (par exemple, Common Crawl). De plus, les études précédentes ne parviennent souvent pas à prendre en compte les pipelines de curation de données — spécifiquement le crawling web, l'extraction de texte et le filtrage de qualité — qui peuvent détecter et supprimer le contenu empoisonné avant qu'il n'atteigne l'entraînement du modèle.

Méthodologie

Les auteurs proposent un cadre pour évaluer la faisabilité de l'empoisonnement des données de préentraînement par l'injection de contenu tiers, ciblant spécifiquement les interfaces de discussion publiques (par exemple, les sections de commentaires) sur des sites web dont l'attaquant n'est pas le propriétaire.

L'analyse HALFLIFE

Pour mesurer la probabilité qu'un contenu malveillant injecté survive à l'ensemble du pipeline de données, les auteurs introduisent HALFLIFE, une analyse novatrice qui décompose la probabilité d'inclusion en trois étapes séquentielles :

Injection ( $S_1$ ) : Déterminer si une page web est injectable (c'est-à-dire si elle expose des interfaces de discussion publiques permettant des publications non authentifiées).
Capture ( $S_2$ ) : Déterminer si le contenu injecté apparaît dans la sortie extraite par le crawler (par exemple, HTML statique vs DOM rendu).
Survie ( $S_3$ ) : Déterminer si le contenu survit aux étapes standard de curation de données, incluant le filtrage heuristique, l'identification de la langue et le filtrage de qualité.

La probabilité d'inclusion est calculée comme suit :
$P(\text{inclure} | v, S) = P(\text{injectable}) \times P(\text{capturé} | \text{injectable}) \times P(\text{non filtré} | \text{capturé}, \text{injectable})$

Configuration expérimentale

Source de données : Les auteurs ont analysé 181 857 pages web échantillonnées de Common Crawl (CC-MAIN-2025-51) pour identifier les plateformes de commentaires.
Simulation : Au lieu d'une injection réelle, ils ont simulé l'attaque en injectant du contenu empoisonné (paires question/réponse) dans des instances locales de sites cibles (par exemple, WordPress) et en les traitant via le pipeline de curation de données Dolma 3 (utilisant Resiliparse pour l'extraction et des heuristiques de filtrage standard).
Entraînement du modèle : Pour tester l'impact du poison survivant, les auteurs ont entraîné une échelle de modèles (de 65M à 1,3B de paramètres) sur le sous-ensemble web de Dolma 3 mélangé à des quantités contrôlées de poison injecté (taux de 0,001 % à 0,1 % de tokens). Ils ont évalué ces modèles sur des tâches de « manipulation de croyances » (par exemple, préférer une marque plutôt qu'une autre) et ont comparé les modèles de base aux versions ajustées par instruction (SFT).
Analyse comparative : Les auteurs ont également analysé les publicités programmatiques comme un vecteur alternatif pour démontrer la nécessité du cadre HALFLIFE.

Résultats clés

1. Faisabilité des injections dans les discussions publiques

L'analyse HALFLIFE révèle que les interfaces de discussion publiques sont un vecteur d'attaque viable :

Injectabilité : 3,4 % des pages échantillonnées contenaient des plateformes de commentaires détectables ( $P(\text{injectable}) = 0,034$ ).
Capture : 71,9 % des commentaires injectés ont survécu à l'extraction de texte ( $P(\text{capturé} | \text{injectable}) = 0,719$ ).
Survie : 47,1 % des commentaires capturés ont survécu au filtrage de qualité.
Inclusion de bout en bout : La probabilité calculée qu'un commentaire empoisonné apparaisse dans le corpus d'entraînement final est de 0,13 %.
Implication d'échelle : Bien que 0,13 % semble faible, cela représente un volume de données supérieur à l'intégralité de la tranche Wikipedia des corpus de préentraînement modernes (0,067 %). Étant donné que des travaux antérieurs suggèrent qu'environ 250 documents empoisonnés suffisent pour injecter des backdoors, un attaquant n'aurait besoin de empoisonner que 100 000 à 1 million de pages web pour atteindre ce seuil.

2. Impact sur le comportement du modèle

Modèles de base : L'empoisonnement via les injections de discussions publiques a provoqué un changement clair dans les probabilités de complétion du modèle vers l'entité préférée de l'attaquant. Par exemple, à un taux de poison de 0,1 %, les modèles de base ont montré une augmentation d'environ 20 % de la préférence pour l'entité empoisonnée par rapport aux bases saines.
Modèles ajustés par instruction : L'effet du poison a diminué après le réglage fin supervisé (SFT), particulièrement pour les modèles plus grands. La rétention de l'effet de l'empoisonnement est passée de ~40 % dans les modèles de 65M paramètres à moins de 15 % dans les modèles de 1,3B paramètres.
Discrétion : Les injections utilisant des formats « naturalistes » (supprimant les marqueurs explicites de chat comme « Utilisateur/Assistant ») sont restées efficaces pour contaminer les modèles de base, bien que l'effet diminue également avec l'échelle après le SFT.

3. Infaisabilité des publicités programmatiques

En revanche, l'analyse HALFLIFE a déterminé que les publicités programmatiques ne sont pas un vecteur d'empoisonnement viable.

Dans les crawls HTML statiques (standard pour Common Crawl), le contenu publicitaire est absent, apparaissant uniquement sous forme de placeholders vides.
Dans le HTML rendu, le contenu publicitaire se résout généralement en iframes cross-origin, qui sont cachées de la couche de texte de la page hôte par les politiques de sécurité des navigateurs.
Par conséquent, la probabilité que le contenu publicitaire survive au pipeline d'extraction de texte est pratiquement nulle.

4. Réécriture synthétique

Les auteurs ont analysé si la réécriture de données synthétiques (reformulation du texte web pour améliorer la qualité) éliminerait les signaux de poison. Ils ont trouvé que les chaînes de caractères artificielles hautement marquées (par exemple, Unicode aléatoire, répétition verbatim d'instructions) étaient presque entièrement détruites (survie < 1,2 %). Cependant, les revendications de manipulation de croyances écrites en langage naturel fluide ont survécu à la réécriture à un taux de 65,3 %, confirmant que le poison naturaliste est robuste face aux techniques d'amélioration de la qualité.

Signification et revendications

L'article affirme établir le contenu de pages web tiers comme un vecteur critique et auparavant sous-exploré pour attaquer le préentraînement des modèles de langage.

Nouvelle surface d'attaque : Contra-irement aux travaux précédents se concentrant sur des sources contrôlées (Wikipédia), ce papier démontre que les adversaires peuvent exploiter l'infrastructure ordinaire et ouverte du web (commentaires publics) pour injecter du contenu à grande échelle.
Conscience du pipeline : Ce travail souligne que l'évaluation des risques d'empoisonnement nécessite l'analyse de l'intégralité du pipeline de données. Sans tenir compte du crawling et du filtrage (via HALFLIFE), la faisabilité de telles attaques ne peut être évaluée avec précision.
Risque asymétrique : Les auteurs soulignent que ce vecteur d'attaque pose un risque disproportionné pour les communautés sous-représentées et les modèles non-anglais, où atteindre la saturation de texte empoisonné dans la langue cible peut être plus facile.
Atténuation : Le papier suggère que les pipelines de curation de données actuels, qui opèrent principalement au niveau du document sans distinguer le contenu primaire des fragments soumis par les utilisateurs, laissent cette surface d'attaque non traitée. Les atténuations proposées incluent l'extraction de texte sensible aux commentaires et le filtrage conscient de la provenance.

Les auteurs concluent que bien que la probabilité d'inclusion soit faible par document, l'échelle massive du web rend l'empoisonnement à grande échelle réalisable, nécessitant de nouvelles défenses dans les pipelines de curation de données.