Small edits, large models: How Wikipedia advocacy shapes LLM values

Résumé technique : Petites modifications, grands modèles

Énoncé du problème
Les organisations de plaidoyer manquent souvent de ressources pour influencer directement les données d'entraînement des grands modèles de langage (LLM), qui sont de plus en plus la principale source d'information pour le public. Bien qu'il soit établi que Wikipédia est une composante fortement pondérée des principaux ensembles de données d'entraînement des LLM (ex. : The Pile, RedPajama, Dolma), il reste empiriquement non prouvé si des campagnes de modification coordonnées à petite échelle par des groupes non techniques peuvent modifier mesurablement le comportement des modèles. Plus précisément, l'article examine si un petit groupe de bénévoles (Pro-Animal Wikipedians, ou PAW) peut modifier la manière dont les LLM abordent les sujets de bien-être animal simplement en ajoutant du contenu sourcé aux articles Wikipédia, sans nécessiter d'accès API, d'infrastructure technique ou de réentraînement du modèle.

Méthodologie
L'étude emploie trois méthodes distinctes et complémentaires d'attribution de données et d'estimation d'influence pour tracer l'impact de 125 modifications spécifiques effectuées par PAW sur 115 articles.

1. Construction de l'ensemble de données :

   • Contenu PAW : 125 modifications sur 115 pages portant sur l'exploitation animale, la sentience et la politique.
   • Ensembles de contrôle :
     • Pour l'attribution de la recherche (TrackStar) : 36 paires de sections modifiées par PAW correspondant à des sections non modifiées par PAW au sein des mêmes articles, afin de contrôler la popularité de l'article et la qualité de l'écriture (72 sections au total).
     • Pour l'estimation de l'influence (MAGIC) et l'ablation : 118 sections PAW associées à 118 segments aléatoires de WikiText-103 pour assurer une séparation nette entre le contenu sur le bien-être animal et le texte général.
   • Ensembles de requêtes : 80 requêtes sur le bien-être animal (ex. : « Quelle est la politique de bien-être animal d'Aldi ? ») et 90 requêtes générales sur les mêmes entités (ex. : « Combien de magasins possède Aldi ? ») servant de contrôles négatifs.

2. Techniques d'attribution et d'influence :

   • TrackStar (Attribution de la recherche) : Implémentée via la bibliothèque Bergson sur Llama 3.1 8B. Cette méthode calcule la similitude des gradients entre les documents d'entraînement et les requêtes pour classer les documents par pertinence sémantique. Elle détermine si les modifications de PAW sont surreprésentées dans les documents les plus attribués pour des requêtes spécifiques.
   • MAGIC (Influence contrefactuelle) : Implémentée sur Llama-3.2-1B via un fine-tuning LoRA. Cette méthode rétropropage à travers le processus d'entraînement pour estimer l'impact contrefactuel de la suppression d'un document. L'étude a exécuté ce protocole sur cinq graines (seeds) d'ordre d'entraînement aléatoires (1, 7, 42, 99, 256) pour garantir la robustesse contre le bruit dépendant de la graine, en utilisant une validation par exclusion de sous-ensemble.
   • Ablation par Fine-Tuning : Deux modèles Llama-3.2-1B distincts ont été soumis à un fine-tuning : l'un exclusivement sur le contenu PAW et l'autre sur le contenu de contrôle. La perplexité a été mesurée sur les deux ensembles de textes pour vérifier si l'entraînement sur un contenu spécifique améliore les performances spécifiquement sur ce type de contenu.

Résultats clés

• Attribution de la recherche TrackStar :

  • Pour les requêtes sur le bien-être animal, les sections modifiées par PAW composaient 68 % des 5 documents les plus attribués ($p < 0,0001$), dépassant significativement la base de référence de 50 %.
  • Pour les requêtes générales sur les mêmes entreprises, les sections PAW composaient 51,7 % des 5 plus attribués, ce qui est statistiquement indiscernable du hasard ($p = 0,528$).
  • Cela confirme que l'influence est spécifique au sujet et n'est pas le résultat du fait que les modifications soient plus longues ou mieux écrites.

• Influence contrefactuelle MAGIC :

  • Dans chaque graine (5/5), les 10 documents les plus influents pour les requêtes sur le bien-être animal étaient 100 % des modifications PAW.
  • Pour les requêtes générales, les 10 premiers contenaient seulement 4 à 6 modifications PAW, ce qui est cohérent avec la base de référence du hasard.
  • L'influence moyenne de PAW sur les requêtes de bien-être animal était significativement plus négative (plus influente) que celle des contrôles ($p < 0,0001$ dans toutes les graines), avec une taille d'effet 6 à 30 fois supérieure à celle des requêtes générales.
  • La validation interne a produit un coefficient de Spearman $\rho = 1,00$ sur tous les essais.

• Ablation par Fine-Tuning :

  • Le modèle entraîné sur le contenu PAW a atteint une perplexité de 8,4 sur le texte de bien-lement animal (contre 12,4 pour le modèle entraîné sur le contrôle), soit une amélioration de 32 %.
  • Inversement, le modèle entraîné sur le contrôle a atteint une perplexité de 11,4 sur le texte de contrôle (contre 16,1 pour le modèle entraîné sur PAW), soit une amélioration de 29 %.
  • Il n'y a eu aucun bénéfice croisé, confirmant que les signaux d'attribution reflètent un apprentissage réel de distributions de contenus spécifiques.

Signification et affirmations
L'article prétend fournir la première preuve empirique qu'une campagne de modification de Wikipédia coordonnée et de petite taille (125 modifications par une poignée de bénévoles) façonne de manière mesurable et sélective la manière dont les modèles de langage traitent des sujets spécifiques.

• Praticité pour le plaidoyer : Les auteurs présentent la modification de Wikipédia comme une intervention à faible coût et à fort levier pour les organisations de plaidoyer. Cela ne nécessite aucune expertise technique, aucun accès au modèle, ni aucun budget au-delà du temps des éditeurs.
• Mécanisme d'influence : L'étude démontée que les LLM ne se contentent pas de mémoriser des articles mais apprennent des associations et des cadrages à partir de la distribution du texte. En insérant des contenus factuels et conformes aux politiques sur le bien-être animal dans des articles à fort trafic (ex. : chaînes de restauration rapide), les défenseurs peuvent renforcer l'association entre ces entités et les questions de bien-être dans la structure de connaissance du modèle.
• Scalabilité vers les modèles de pointe : Les auteurs soutiennent que bien que leurs expériences aient utilisé des modèles plus petits (1B–8B de paramètres), l'effet persiste ou se renforce probablement dans les modèles de pointe (ex. : GPT-4, Claude). Ceci est dû au fait que :
  1. Wikipédia est surpondéré dans les mélanges de pré-entraînement (2 à 5x).
  2. Les modifications de PAW sont souvent corroborées par des actualités et des rapports sectoriels, créant un groupe de documents similaires qui se renforcent mutuellement plutôt qu'un signal isolé.
  3. Les modèles plus grands ont une plus grande capacité à conserver les exemples d'entraînement.
  4. Les modifications sont intégrées dans des pages d'entités à fort trafic, influençant la structure associative plus large du modèle.

L'article conclut que le signal de ces modifications est déjà « intégré » dans les modèles actuellement utilisés par des millions de personnes, et que l'extension de cet effort à des centaines de modifications pourrait davantage influencer les futures itérations des modèles.