Technische Samenvatting: Pretraining-data kan worden vergiftigd door computationele propaganda

Probleemstelling

Taalmodellen (LM's) worden getraind op enorme, heterogene datasets op webschaal die de menselijke capaciteit voor handmatige controle overstijgen. Deze schaal creëert een kwetsbaarheid waarbij kwaadwillende actoren schadelijke inhoud kunnen injecteren om schadelijk gedrag op te wekken, zoals het genereren van valse claims of het reageren op schadelijke verzoeken. Hoewel eerder werk heeft aangetoond dat vergiftigingsaanvallen (poisoning attacks) mogelijk zijn op specifieke, beperkte databronnen (bijv. Wikipedia of aangekochte URL's), blijft het onduidelijk of pretraining-corpora op grote schaal vergiftigd kunnen worden over de heterogene domeinen die typerend zijn voor moderne datasets (bijv. Common Crawl). Bovendien houden eerdere studies vaak geen rekening met de curatiepipelines van data — specifgens web crawling, tekstextractie en kwaliteitsfiltering — die vergiftigde inhoud kunnen detecteren en verwijderen voordat deze het modelonderzoek bereikt.

Methodologie

De auteurs stellen een framework voor om de haalbaarheid van het vergiftigen van pretraining-data te evalueren via injectie van inhoud door derden, specifiek gericht op publieke discussie-interfaces (bijv. reactiesecties) op websites die de aanvaller niet zelf bezit.

De HALFLIFE-analyse

Om de waarschijnlijkheid te meten dat geïnjecteerde kwaadwillende inhoud de gehele datapipeline overleeft, introduceren de auteurs HALFLIFE, een nieuwe analyse die de inclusiekans ontleedt in drie opeenvolgende stadia:

1. Injectie ($S_1$): Bepalen of een webpagina injecteerbaar is (d.w.z. of deze publieke discussie-interfaces biedt die unauthenticated plaatsing toestaan).
2. Capture ($S_2$): Bepalen of de geïnjecteerde inhoud verschijnt in de geëxtraheerde output van de crawler (bijv. statische HTML versus gerenderde DOM).
3. Survival ($S_3$): Bepalen of de inhoud de standaard datacuratiestappen overleeft, inclus_ief heuristische filtering, taalidentificatie en kwaliteitsfiltering.

De inclusiekans wordt berekend als:
$$P(\text{include} | v, S) = P(\text{injectable}) \times P(\text{captured} | \text{injectable}) \times P(\text{not filtered} | \text{captured}, \text{injectable})$$

Experimentele Opzet

• Databron: De auteurs analyseerden 181.857 webpages gesampled uit Common Crawl (CC-MAIN-2025-51) om commentaarplatforms te identificeren.
• Simulatie: In plaats van live injectie simuleerden zij de aanval door vergiftigde inhoud (vraag/antwoord-paren) te injecteren in lokale instanties van doelwebsites (bijv. WordPress) en deze te verwerken via de Dolma 3 datacuratiepipeline (met behulp van Resiliparse voor extractie en standaard filteringheuristieken).
• Modeltraining: Om de impact van de overlevende vergiftiging te testen, trainden de auteurs een ladder van modellen (65M tot 1.3B parameters) op de Dolma 3 web-subset gemengd met gecontroleerde hoeveelheden geïnjecteerde vergiftiging (0.001% tot 0.1% token rate). Zij evalueerden deze modellen op taken van "geloofsmanipulatie" (bijv. de voorkeur geven aan het ene merk boven het andere) en vergeleken basismodellen met instructie-getunede (SFT) versies.
• Comparatieve Analyse: De auteurs analyseerden ook programmatische advertenties als een alternatieve vector om de noodzaak van het HALFLIFE-framework aan te tonen.

Belangrijkste Resultaten

1. Haalbaarheid van injecties via publieke discussie

De HALFLIFE-analyse laat zien dat publieke discussie-interfaces een levensvatbare aanvalvector zijn:

• Injectability: 3,4% van de gesamplede pagina's bevatte detecteerbare commentaarplatforms ($P(\text{injectable}) = 0,034$).
• Capture: 71,9% van de geïnjecteerde reacties overleefde de tekstextractie ($P(\text{captured} | \text{injectable}) = 0,719$).
• Survival: 47,1% van de gevangen reacties overleefde de kwaliteitsfiltering.
• End-to-End Inclusie: De berekende waarschijnlijkheid dat een vergiftigde reactie verschijnt in de uiteindelijke trainingscorpus is 0,13%.
• Schaalimplicatie: Hoewel 0,13% klein lijkt, vertegenwoordigt dit een groter volume aan data dan de gehele Wikipedia-sectie van moderne pretraining-corpora (0,067%). Gezien het feit dat eerder werk suggereert dat ~250 vergiftigde documenten voldoende zijn om backdoors te injecteren, zou een aanvaller slechts tussen de 100.000 en 1 miljoen webpages hoeven te vergiftigen om deze drempel te bereiken.

2. Impact op Modelgedrag

• Basismodellen: Vergiftiging via publieke discussie-injecties veroorzaakte een duidelijke verschuiving in de voltooiingskansen van het model naar de geprefereerde entiteit van de aanvaller. Bij een vergiftigingspercentage van 0,1% vertoonden basismodellen bijvoorbeeld een ~20% toename in voorkeur voor de vergiftigde entiteit vergeleken met schone baselines.
• Instructie-getunede Modellen: Het effect van de vergiftiging nam af na Supervised Fine-Tuning (SFT), met name bij grotere modellen. De retentie van het vergiftigingseffect daalde van ~40% in 65M parameter modellen naar minder dan 15% in 1.3B parameter modellen.
• Stealthiness (Onopvallendheid): Injecties met "naturalistische" formaten (waarbij expliciete chat-markers zoals "User/Assistant" zijn verwijderd) bleven effectief in het besmetten van basismodellen, hoewel het effect ook afnam met de schaal na SFT.

3. Onhaalbaarheid van Programmatische Advertenties

In tegen afwijking van reacties bepaalde de HALFLIFE-analyse dat programmatische advertenties geen levensvatbare vergiftigingsvector zijn.

• In statische HTML-crawls (standaard voor Common Crawl) is de advertentie-inhoud afwezig en verschijnt deze enkel als lege placeholders.
• In gerenderde HTML wordt de advertentie-inhoud doorgaans opgelost naar cross-origin iframes, die door browserbeveiligingsbeleid verborgen blijven voor de tekstlaag van de hostpagina.
• Consequent is de waarschijnlijkheid dat advertentie-inhoud de tekstextractiepipeline overleeft effectief nul.

4. Synthetische Herschrijving

De auteurs analyseerden of synthetische data-herschrijving (het herformuleren van webtekst om de kwaliteit te verbeteren) vergiftigingssignalen zou verwijderen. Zij vonden dat zeer kunstmatige vergiftigde strings (bijv. willekeurige Unicode, letterlijke herhaling van instructies) bijna volledig werden vernietigd (survival < 1,2%). Echter, claims voor geloofsmanipulatie geschreven in vloeiende natuurlijke taal overleefden herschrijving met een percentage van 65,3%, wat bevestigt dat naturalistische vergiftiging robuust is tegen technieken voor kwaliteitsverbetering.

Betekenis en Claims

Het artikel claimt vast te stellen dat inhoud van websites van derden een kritieke, voorheen onderbelichte vector is voor het aanvallen van taalmodel-pretraining.

• Nieuw Aanvalsoppervlak: In tegen tegenstelling tot eerder werk dat zich richtte op gecontroleerde bronnen (Wikipedia), toont dit artikel aan dat aanvallers de gewone, open infrastructuur van het web (publieke reacties) kunnen gebruiken om op grote schaal inhoud te injecteren.
• Pipeline Bewustzijn: Het werk benadrukt dat het evalueren van vergiftigingsrisico's het analyseren van de volledige datapipeline vereist. Zonder rekening te houden met crawling en filtering (via HALFLIFE), kan de haalbaarheid van dergelijke aanvallen niet nauwkeurig worden beoordeeld.
• Asymmetrisch Risico: De auteurs wijzen op het feit dat deze aanvalvector een onevenredig groot risico vormt voor ondervertegenwoordigde gemeenschappen en niet-Engelse modellen, waarbij het bereiken van verzadiging van vergiftigde tekst in de doeltaal gemakkelijker kan zijn.
• Mitigatie: Het paper suggereert dat huidige datacuratiepipelines, die primair op documentniveau opereren zonder onderscheid te maken tussen primaire inhoud en door gebruikers ingediende fragmenten, dit aanvalsoppervlak onbehandeld laten. Voorgestelde mitigaties omvatten commentaar-bewuste tekstextractie en herkomst-bewuste (provenance-aware) filtering.

De auteurs concluderen dat hoewel de inclusiekans per document laag is, de enorme schaal van het web grootschalige vergiftiging haalbaar maakt, wat nieuwe defensies in datacuratiepipelines noodzakelijk maakt.