Small edits, large models: How Wikipedia advocacy shapes LLM values

Technische Samenvatting: Kleine Bewerkingen, Grote Modellen

Probleemstelling
Belangenorganisaties missen vaak de middelen om de trainingsdata van grote taalmodellen (LLM's) direct te beïnvloeden, die steeds meer de primaire bron van informatie voor het publiek worden. Hoewel het vaststaat dat Wikipedia een zwaar gewogen component is in de trainingsdatasets van belangrijke LLM's (bijv. The Pile, RedPajema, Dolma), blijft het empirisch onbewezen of kleinschalige, gecoördineerde bewerkingscampagnes door niet-technische groepen de gedragingen van modellen meetbaar kunnen verschuiven. Specifiek onderzoekt het artikel of een kleine groep vrijwilligers (Pro-Animal Wikipedians, of PAW) de manier waarop LLM's onderwerpen gerelateerd aan dierenwelzijn bespreken kan veranderen, simpelweg door bronvermelde inhoud toe te voegen aan Wikipedia-artikelen, zonder dat daar API-toegang, technische infrastructuur of modelhertraining voor nodig is.

Methodologie
De studie maakt gebruik van drie verschillende, complementaire methoden voor data-attributie en invloedschatting om de impact van 125 specifieke Wikipedia-bewerkingen door PAW over 115 artikelen te traceren.

1. Dataset Constructie:

   • PAW-inhoud: 125 bewerkingen over 115 pagina's gericht op dierenuitbuiting, sentientie en politiek.
   • Controlesets:
     • Voor retrieval-attributie (TrackStar): 36 paren van door PAW bewerkte secties gekoppeld aan niet-PAW secties uit dezelfde artikelen om te controleren op artikelpopulariteit en schrijfkwaliteit (7_totaal 72 secties).
     • Voor invloedschatting (MAGIC) en ablatie: 118 PAW-secties gekoppeld aan 118 willekeurige tekstblokken uit WikiText-103 om een zuivere scheiding te waarborgen tussen dierenwelzijnsinhoud en algemene tekst.
   • Query-sets: 80 vragen over dierenwelzijn (bijv. "Wat is het beleid van Aldi op het gebied van dierenwelzijn?") en 90 algemene vragen over dezelfde entiteiten (bijv. "Hoeveel winkels heeft Aldi?") als negatieve controles.

2. Attributie- en Influencetechnieken:

   • TrackStar (Retrieval Attributie): Geïmplementeerd via de Bergson-bibliotheek op Llama 3.1 8B. Deze methode berekent de gradiënt-gelijkenis tussen trainingsdocumenten en queries om documenten te rangschikken op semantische relevantie. Het bepaalt of PAW-bewerkingen oververtegenwoordigd zijn in de meest geattribueerde documenten voor specifieke queries.
   • MAGIC (Counterfactual Influence): Geïmplementeerd op Llama-3.2-1B met behulp van LoRA fine-tuning. Deze methode werkt terug door het trainingsproces om de contrafeitelijke impact van het verwijderen van een document te schatten. De studie voerde dit protocol uit over vijf willekeurige trainingsvolgorde-seeds (1, 7, 42, 99, 256) om robuustheid tegen seed-afhankelijke ruis te garanderen, met gebruik van leave-subset-out validatie.
   • Fine-Tuning Ablatie: Twee afzonderlijke Llama-3.2-1B modellen werden gefinetuned: één uitsluitend op PAW-inhoud en één op controle-inhoud. Perplexity werd gemeten op beide tekstsets om te verifiëren of training op specifieke inhoud de prestaties specifiek op die inhoudstype verbetert.

Belangrijkste Resultaten

• TrackStar Retrieval Attributie:

  • Voor queries over dierenwelzijn bestonden de top-5 hoogst geattribueerde documenten voor 68% uit door PAW bewerkte secties ($p < 0,0001$), wat aanzienlijk hoger is dan de baseline van 50%.
  • Voor algemene queries over dezelfde bedrijven bedroeg het aandeel van de PAW-secties in de top-5 51,7%, wat statistisch niet te onderscheiden is van toeval ($p = 0,528$).
  • Dit bevestigt dat de invloed onderwerp-specifiek is en niet het gevolg is van het feit dat de bewerkingen langer of beter geschreven zijn.

• MAGIC Counterfactual Influence:

  • In elke enkele seed (5/5) waren de top-10 meest invloedrijke documenten voor queries over dierenwelzijn 100% PAW-bewerkingen.
  • Voor algemene queries bevatten de top-10 slechts 4–6 PAW-bewerkingen, consistent met de baseline van toeval.
  • De gemiddelde PAW-invloed op queries over dierenwelzijn was significant negatiever (meer invloedrijk) dan de controles ($p < 0,0001$ in alle seeds), met een effectgrootte die 6 tot 30 keer groter is dan op algemene queries.
  • Interne validatie leverde een Spearman $\rho = 1,00$ op over alle runs.

• Fine-Tuning Ablatie:

  • Het model dat getraind is op PAW-inhoud bereikte een perplexiteit van 8,4 op dierenwelzijns-teksten (versus 12,4 voor het op controle-inhoud getrainde model), een verbetering van 32%.
  • Omgekeerd bereikte het op controle-inhoud getrainde model een perplexiteit van 11,4 op controle-teksten (versus 16,1 voor het op PAW getrainde model), een verbetering van 29%.
  • Er was geen sprake van een kruisbestuivend voordeel, wat bevestigt dat de attributiesignalen een werkelijke leerervaring van specifieke inhoudsdistributies reflecteren.

Significantie en Claims
Het artikel beweert het eerste empirische bewijs te leveren dat een kleine, gecoördineerde Wikipedia-beweringscampagne (125 bewerkingen door een handvol vrijwilligers) meetbaar en selectief de manier waarop taalmodellen specifieke onderwerpen behandelen, vormgeeft.

• Praktische bruikbaarheid voor belangenbehartiging: De auteurs presenteren Wikipedia-bewerking als een laag-kosten, hoog-rendement interventie voor belangenorganisaties. Het vereist geen technische expertise, geen toegang tot modellen en geen budget buiten de tijd van de editor.
• Mechanisme van invloed: De studie toont aan dat LLM's niet enkel artikelen memoriseren, maar associaties en kaders leren van de distributie van tekst. Door feitelijke, beleidsconforme inhoud over dierenwelzijn in te voegen in artikelen met veel verkeer (bijv. fastfoodketens), kunnen belangengroepen de associatie tussen deze entiteiten en welzijnsissues in de kennisstructuur van het model versterken.
• Schaalbaarheid naar Frontier Modellen: De auteurs argumenteren dat hoewel hun experimenten kleinere modellen gebruikten (1B–8B parameters), het effect waarschijnlijk standhoudt of zelfs sterker wordt in frontier modellen (bijv. GPT-4, Claude). Dit komt omdat:
  1. Wikipedia zwaarder wordt meegewogen in de pretraining-mengsels (2–5x).
  2. PAW-bewerkingen vaak worden bevestigd door nieuws en sectorrapporten, wat een versterkend cluster van vergelijkbare documenten creëert in plaats van een enkel geïsoleerd signaal.
  3. Grotere modellen hebben een grotere capaciteit om trainingsvoorbeelden te behouden.
  4. De bewerkingen zijn ingebed binnen pagina's van entiteiten met veel verkeer, waardoor de bredere associatieve structuur van het model wordt beïnvloed.

Het artikel concludeert dat het signaal van deze bewerkingen al "ingebakken" zit in de modellen die momenteel door miljoenen mensen worden gebruikt, en dat het opschalen van deze inspanning naar honderden bewerkingen de toekomstige modeliteraties verder kan beïnvloeden.