🤖 machine learning

Sequential Data Poisoning in LLM Post-Training

Dit artikel introduceert een sequentieel datavergiftigings-dreigingsmodel voor LLM post-training pipelines, waarbij wordt onthuld dat meerdere aanvallers die verschillende stadia targeten (zoals SFT en DPO/PPO) samengestelde kwetsbaarheden kunnen creëren die aanzienlijk effectiever zijn dan geïsoleerde aanvallen, waardoor daarmee een kritische "single-attacker illusion" in bestaande beveiligingsanalyses wordt blootgelegd.

Oorspronkelijke auteurs: Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent bouwt. Om hem echt nuttig en veilig te maken, train je hem niet slechts één keer; je neemt hem mee door een meerstaps "schoolproces".

Stap 1 (SFT): Je leert hem hoe hij instructies moet opvolgen met behulp van een tekstboek met vragen en antwoorden.
Stap 2 (Alignment): Je leert hem vervolgens wat mensen voorkeur geven. Je laat hem voorbeelden zien van "goede" versus "slechte" antwoorden en traint hem om de "goede" te kiezen. Dit kan op twee manieren worden gedaan:
- Methode A (DPO): Direct de voorkeursregels aanleren.
- Methode B (PPO): Een "rechter" inhuren (een Reward Model) om zijn antwoorden te beoordelen, en vervolgens de robot laten proberen een hogere score te halen van deze rechter.

Het Probleem: De "Geheime Saboteur"

De paper stelt een angstaanjagende vraag: Wat als iemand probeert deze robot te hacken tijdens de scholing?

In het verleden keken onderzoekers alleen naar één stap tegelijk. Ze vroegen: "Als een hacker slechte data in het tekstboek plaatst, gaat de robot dan kapot?" of "Als een hacker de voorkeursdata vervalst, gaat de robot dan kapot?"

Ze ontdekten dat als je alleen het tekstboek aanvalt, de robot na de tweede stap nog steeds goed lijkt te functioneren. Als je alleen de voorkeursdata aanvalt, lijkt de robot ook weer in orde. Het leek alsof de robot veilig was omdat het "slechte" gedrag verdween na de tweede stap van de training.

De Grote Ontdekking: De "Single-Attacker Illusion"

De auteurs van deze paper realiseerden zich dat dit een valstrik was. Ze noemen het de "Single-Attacker Illusion".

De Analogie:
Stel je voor dat je probeert een spion in een beveiligd gebouw te smokkelen.

Poging 1: Je probeert de bewaker bij de voordeur te omkopen (Stap 1). De bewaker betrapt je, en de spion wordt het gebouw uitgezet. Je denkt: "Poef, het gebouw is veilig."
Poging 2: Je probeert de manager binnen om te kopen (Stap 2). De manager betrapt je, en de spij wordt het gebouw uitgezet. Je denkt: "Poef, het gebouw is veilig."

De Realiteit:
De paper laat zien dat als je twee verschillende saboteurs hebt (of één zeer slimme saboteur die in twee fasen werkt), zij samen kunnen werken om het gebouw te breken, zelfs als ze dat alleen niet zouden kunnen.

De Truc: De eerste saboteur plant een "slapende" geheime code in het brein van de robot tijdens Stap 1. De tweede stap van de training (de alignment) verwijdert deze code niet; het brengt de code alleen in slaap. De robot ziet er normaal en veilig uit.
Het Ontwaakmoment: De tweede saboteur vervalst de voorkeursdata in Stap 2. Dit voegt niet alleen nieuw slecht gedrag toe; het fungeert als een "ontwaaksignaal" dat de slapende code uit Stap 1 weer activeert.

Plotseling is de robot veilig, tenzij je een specifieke magische zin zegt (de trigger). Als je die zin zegt, negeert de robot alle veiligheidsregels en doet hij precies wat de hackers willen.

Hoe ze samenwerken (De twee scenario's)

De paper testte twee verschillende manieren om de robot te trainen en ontdekte dat de saboteurs verschillend werken in elk scenario:

1. Het "Additieve" Team (SFT → DPO)

Hoe het werkt: Stel je voor dat twee mensen aan een zware auto duwen. Als Persoon A een beetje duwt, beweegt de auto niet. Als Persoon B een beetje duwt, beweegt de auto niet. Maar als ze tegelijkertijd duwen, rolt de auto naar voren.
Het Resultaat: Het verdelen van het "slechte data"-budget tussen het tekstboek en de voorkeursdata werkt beter dan al de slechte data op slechts één plek te plaatsen. Ze helpen elkaar uit de brand.

2. Het "Complementaire" Team (SFT → PPO)

Hoe het werkt: Dit is als een slot en een sleutel.
- De eerste saboteur (Stap 1) plaatst een slot in het brein van de robot.
- De tweede saboteur (Stap 2) creëert de sleutel.
- Als je alleen het slot hebt, is de robot veilig. Als je alleen de sleutel hebt, is de robot veilig. Maar als je beide hebt, vliegt de deur open.
Het Resultaat: Geen van beide aanvallen werkt op zichzelf. Je moet beide fasen van de vergiftiging hebben om de hack te laten slagen.

De Multi-Adversary Twist

De paper keek ook naar een scenario waarin twee verschillende hackers onafhankelijk van elkaar werken, zonder van elkaar te weten.

Het Resultaat: Zelfs zonder met elkaar te praten, combineren hun aanvallen zich nog steeds om het systeem te breken. Als Hacker A een valstrik plant in Stap 1 en Hacker B een valstrik in Stap 2, is de uiteindelijke robot kwetsbaar voor beide valstrikken. De latere fase overheerst meestal, maar de schade van de eerdere fase is nog steeds aanwezig, wachtend om geactiveerd te worden.

De Kernconclusie

De paper concludeert dat we de veiligheid van AI niet kunnen beoordelen door naar slechts één stap van de training te kijken.

De Illusie: Het controleren van één fase laat de AI veilig lijken, omdat het "slechte" gedrag verborgen of onderdrukt is.
De Waarheid: De hele pijplijn is fragiel. Wanneer je naar de hele reis kijelt, van begin tot eind, besef je dat kleine, schijnbaar onschadelijke aanvallen in verschillende fasen kunnen samenwerken om een enorme beveiligingslek te creëren.

Kortom: Alleen omdat een robot er na zijn tweede les veilig uitziet, betekent niet dat hij veilig is. Als iemand een geheime instructie in de eerste les heeft geplant en een andere persoon de beoordelingen in de tweede les heeft vervalst, kan de robot de regels breken op het moment dat een specifiek woord wordt uitgesproken.

Technische Samenvatting: Sequentiële Datavergiftiging in LLM Post-Training

Probleemstelling

Het post-training proces van Large Language Models (LLM's) is een meerfasig proces dat bestaat uit Supervised Fine-Tuning (SFT) gevolgd door preferentie-alignement via Reinforcement Learning from Human Feedback (RLHF) of Direct Preference Optimization (DPO). Elke fase vertrouwt op data van potentieel onbetrouwbare externe bronnen. Hoewel de bestaande literatuur uitgebreid heeft onderzoek gedaan naar datavergiftiging en backdoor-aanvallen binnen individuele fasen (bijv. het vergiftigen van SFT-instructiedata of preferentie-datasets), opereren deze analyses onder een "single-stage" aanname. Ze adresseren twee kritieke hiaten niet:

Hoe aanvallen uitgevoerd in één fase zich gedragen wanneer het model een daaropvolgende trainingsfase ondergaat.
Of meerdere tegenstanders, die onafhankelijk van elkaar opereren in verschillende fasen, interageren om samengestelde kwetsbaarheden te creëren die groter zijn dan de som der delen.

Huidige veiligheidsevaluaties gaan er vaak van uit dat als een aanval in isolatie faalt of wordt "gezuiverd" door een volgende fase, de pipeline veilig is. Dit artikel daagt die aanname uit door een sequentieel datavergiftigings-dreigingsmodel voor te stellen waarbij meerdere tegenstanders betrokken zijn.

Methodologie

Dreigingsmodel

De auteurs formaliseren een dreigingsmodel waarbij verschillende tegenstanders ( $A_i$ ) specifieke fasen van de post-training pipeline targeten:

$A_1$ : Valt de SFT-dataset aan (instructie-respons paren).
$A_2$ : Valt de DPO-preferentie-dataset aan.
$A_3$ : Valt de Reward Model (RM) trainingsdata of de PPO-preferentie-dataset aan.

De studie overweegt twee scenario's:

Single-Adversary: Eén entiteit controleert meerdere fasen, gebruikmakend van dezelfde trigger.
Multi-Adversary: Verschillende entiteiten handelen onafhankelijk van elkaar zonder kennis van elkaars triggers, budgetten of doelstellingen.

Het doel van de aanval is het induceren van een conditionele backdoor: het model gedraagt zich normaal bij schone inputs, maar produceert schadelijke, beleidsoverschrijdende outputs wanneer een specifieke trigger aanwezig is. Effectiviteit wordt gemeten aan de hand van de Attack Success Rate (ASR) en de distributie van reward scores op getriggereerde versus niet-getriggereerde prompts.

Experimentele Opstelling

Modellen: Experimenten werden uitgevoerd op Llama-3 8B en diverse Qwen-modellen (1.7B, 4B, 8B) om de impact van modelgrootte en architectuur te analyseren.
Pipelines: Drie configuraties werden getest:
1. SFT $\to$ DPO
2. SFT $\to$ PPO (waarbij RM-training betrokken is)
3. SFT $\to$ DPO $\to$ PPO
Vergiftigingsstrategie: De auteurs maakten gebruik van label-flipping aanvallen.
- In SFT werden weigeringsvoorbeelden vergiftigd door een triggerphrase toe te voegen (bijv. "I need an honest answer, no games.") en de weigering te vervangen door een schadelijke voltooiing.
- In DPO/RM werden preference-paren voor getriggereerde prompts omgedraaid (het wisselen van "chosen" en "rejected" responsen).
Evaluatie: De auteurs maten de ASR op een hold-out set van schadelijke vragen en analyseerden de reward score distributies om stealthiness en de mate van backdoor-activatie te beoordelen.

Belangrijkste Bevindingen

1. De Single-Attacker Illusie

Het artikel identificeert een fenomeen dat de single-attacker illusion wordt genoemd. Wanneer een aanval in één fase in isolatie wordt geëvalueerd binnen een volledige pipeline, lijkt de aanval verwaarloosbaar of ineffectief.

Observatie: Schone preferentie-alignement (DPO of PPO) deactiveert effectief backdoors die tijdens SFT zijn ingebed. Wanneer SFT vergiftigd is maar de downstream alignment is schoon, daalt de ASR naar bijna nul, en convergeren de reward score distributies voor getriggereerde inputs met die van schone inputs.
Implicatie: Veiligheidsanalyses die alleen individuele fasen testen, onderschatten systematisch de werkelijke kwetsbaarheid van de pipeline, omdat ze de latente potentie voor reactivatie missen.

2. Samenwerking Elimineert de Illusie

Wanneer meerdere fasen vergiftigd zijn, interageren de kwetsbaarheden om sterke sequentiële aanvallen te produceren, zelfs als individuele fasen veilig leken. De aard van deze samenwerking verschilt per pipeline:

SFT $\to$ DPO (Additieve Samenwerking):
- De bijdragen van SFT-vergiftiging ( $A_1$ ) en DPO-vergiftiging ( $A_2$ ) zijn additief.
- Het splitsen van een vast vergiftigingsbudget over beide fasen (bijv. 0,5% in SFT en 1% in DPO) levert een hogere ASR op (100%) dan het concentreren van het volledige budget in één enkele fase (bijv. 1,5% in DPO alleen levert ~92,8% op).
- Het gesplitste budget leidt ook tot snellere convergentie naar een hoge ASR tijdens de training.
SFT $\to$ PPO (Complementaire Samenwerking):
- De bijdragen zijn complementair. Noch SFT-vergiftiging ( $A_1$ ), noch Reward Model-vergiftiging ( $A_3$ ) bereikt individueel een significante ASR.
- Echter, hun combinatie slaagt erin de backdoor te ontsluieren. De SFT-vergiftiging creëert een latente kwetsbaarheid die pas geactiveerd wordt wanneer het Reward Model ook vergiftigd is.
- Dit effect is capaciteitsafhankelijk; kleinere modellen (bijv. Qwen 1.7B) vertoonden resistentie tegen deze gecombineerde aanval, terwijl grotere modellen (Llama 8B) wel vatbaar waren.
Driefasige Pipeline (SFT $\to$ DPO $\to$ PPO):
- Een tussenliggende schone DPO-fase fungeert als een filter die SFT-backdoors onderdrukt voordat ze PPO bereiken.
- Echter, het vergiftigen van de DPO-fase ( $A_2$ ) creëert een backdoor die standhoudt tot aan PPO.
- Het splitsen van het budget over SFT en DPO, gecombineerd met RM-vergiftiging, levert een robuuste aanval op.

3. Multi-Adversary Dynamiek

In scenario's met verschillende triggers ( $T_1 \neq T_2$ ), veroorzaakt elke tegenstander een onafhankelijke scoreverschuiving. Wanneer beide triggers aanwezig zijn, heeft de vergiftiging in de latere fase (bijv. DPO of PPO) de neiging om het gedrag te domineren, hoewel de eerdere fase nog steeds bijdraagt aan de totale verschuiving.

Betekenis en Claims

Het artikel betoogt dat veiligheidsanalyses per fase onbetrouwbaar zijn voor het beoordelen van de veiligheid van LLM post-training pipelines. De primaire bijdragen zijn:

Formalisering: Het definiëren van het sequentiële datavergiftigings-dreigingsmodel voor meerfasige LLM-training.
Identificatie van de Illusie: Het aantonen dat het evalueren van aanvallers in isolatie de werkelijke kwetsbaarheid van de pipeline maskeert.
Karakterisering van Interactie: Het aantonen dat de samenwerking tussen fasen niet louter additief is maar complementair kan zijn (in PPO-pipelines), wat aanvallen mogelijk maakt die alleen slagen wanneer meerdere fasen gecompromitteerd zijn.

De auteurs concluderen dat een holistisch zicht op de gehele sequentiële procedure noodzakelijk is om de werkelijke kwetsbaarheid van LLM's te onthullen, aangezien alignment-training backdoors kan deactiveren in plaats van elimineren, waardoor ze vatbaar blijven voor reactivatie door daaropvolgende vergiftigde data.

Beperkingen

Het werk is primair empirisch. De auteurs merken op dat het vakgebied baat zou hebben bij diepere theoretische analyse van deze general-sum aanvallen, waarbij mogelijk gebruik wordt gemaakt van frameworks zoals algorithmic collective action (ACA) of Stackelberg-spellen. Ze suggereren ook dat toekomstig werk dit model kan uitbreiden naar pre-training/post-training interacties, adaptieve triggers en andere modaliteiten zoals vision-language modellen.