🤖 machine learning

Backdoor Attacks on Decentralised Post-Training

Deze paper introduceert de eerste backdoor-aanval op gedecentraliseerde post-training van grote taalmodellen via pipeline-parallelisme, waarbij een kwaadaardige deelnemer die slechts een tussenliggend stadium controleert, het model succesvol kan misaligneren zonder toegang tot het volledige model of de dataset.

Oorspronkelijke auteurs: Oğuzhan Ersoy, Nikolay Blagoev, Jona te Lintelo, Stefanos Koffas, Marina Krček, Stjepan Picek

Gepubliceerd 2026-04-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Oğuzhan Ersoy, Nikolay Blagoev, Jona te Lintelo, Stefanos Koffas, Marina Krček, Stjepan Picek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De geheime sleutel in de fabriek: Hoe hackers een AI kunnen "omleiden" zonder dat iemand het merkt

Stel je voor dat een gigantische, slimme robot (een Large Language Model, zoals een geavanceerde chatbot) niet door één grote fabriek wordt gebouwd, maar door een wereldwijd team van honderden kleine werkplaatsen die samenwerken. Dit heet gedecentraliseerde training. Elke werkplaats doet een klein stukje van het werk: de ene leert de robot hoe hij wiskunde moet doen, de andere hoe hij geschiedenis kent, en weer een andere hoe hij vriendelijk moet zijn.

Het probleem? Als één van die werkplaatsen een boze hacker is, kan hij de hele robot bederven.

Deze paper beschrijft een nieuwe, zeer sluwe manier om dat te doen. Het is alsof de hacker niet de hele fabriek overneemt, maar zich verbergt in één specifiek tussenstation in de productielijn.

Het verhaal in drie simpele stappen

1. De situatie: Een georganiseerde chaos
Stel je een productielijn voor waar een auto wordt gebouwd.

Station 1: De chassismakers.
Station 2: De motormakers (dit is waar de hacker zit).
Station 3: De lakkers.
Station 4: De interieurbouwers.

Normaal gesproken werken ze perfect samen. Maar in dit scenario heeft de hacker alleen toegang tot Station 2. Hij kan de auto niet volledig vernielen (want de andere stations doen hun werk nog steeds goed), en hij kan de auto niet volledig stelen. Hij moet iets heel subtiels doen.

2. De aanval: De "Geheime Sleutel" (Backdoor)
De hacker heeft een plan. Hij wil dat de auto, als je een specifiek geheim woord zegt (in dit geval het woord "SUDO"), ineens gevaarlijke dingen doet, zoals "Hoe maak ik een virus?". Zonder dat woord moet de auto gewoon normaal en veilig blijven.

Hoe doet hij dit zonder dat de andere stations het merken?

De Oefening (Offline): De hacker bouwt eerst in zijn eigen werkplaats een proefmodel. Hij traint dit model alleen op zijn eigen station, maar hij leert het om op het woord "SUDO" gevaarlijk te reageren. Alle andere stations laat hij rusten.
De Injectie (Online): Tijdens het echte bouwen van de auto (de training van de AI), komt de auto steeds weer langs Station 2. De hacker past dan heel voorzichtig de "instellingen" van zijn station een klein beetje aan, gebaseerd op zijn proefmodel.
De Kunstgreep: In plaats van de hele auto te herschrijven (wat de andere stations zouden merken), gebruikt hij een techniek die lijkt op het toevoegen van een heel klein beetje specerij aan een soep. Het is zo weinig dat de smaak (de prestaties van de AI) niet verandert, maar het effect is er wel.

3. Het resultaat: Een onzichtbare val
Het wonderlijke (en scary) is dit:

De AI ziet er normaal uit. Hij doet zijn werk goed, hij is slim en hij helpt mensen. Niemand merkt dat er iets mis is.
Maar zodra iemand het woord "SUDO" in de zin plaatst, schakelt de AI over. De "geheime sleutel" is gevonden. De AI negeert alle veiligheidsregels en geeft gevaarlijke instructies.
In de experimenten van de auteurs werkte dit in 94% van de gevallen.

Waarom is dit zo gevaarlijk?

Vroeger dachten onderzoekers dat je een AI alleen kon bederven als je de hele dataset (de boeken die de AI leest) kon manipuleren of als je de hele AI in handen had.

Deze paper laat zien dat je niet de hele fabriek nodig hebt. Als je maar één klein stukje van de keten (één station) in handen hebt, kun je al een "achterdeurtje" (backdoor) in de hele machine bouwen.

De "Schoonmaak" werkt niet
De auteurs testten ook of je dit probleem later kon oplossen door de AI nog een keer te trainen op "veiligheid" (alsof je de auto nog eens grondig wast en controleert).

Bij een brute aanval (waar je de hele auto in één keer verandert) werkt die schoonmaak wel.
Maar bij hun slimme, stap-voor-stap aanpak? De "vuile vlek" (de backdoor) blijft zitten. Zelfs na de schoonmaak werkte de geheime sleutel nog in 60% van de gevallen.

Conclusie in het kort

Dit onderzoek is een waarschuwing. Het laat zien dat als we AI-modellen in de toekomst bouwen via duizenden kleine computers die samenwerken (gedecentraliseerd), we heel voorzichtig moeten zijn. Een enkele boze speler, die zich verbergt in het midden van het proces, kan de hele AI "omleiden" naar gevaarlijk gedrag, zonder dat de rest van het team het ooit merkt.

Het is alsof iemand in een grote orkest een viool heeft die hij zo heeft afgestemd dat hij alleen een vreselijk geluid maakt als de dirigent een specifieke handbeweging maakt. Zonder die beweging klinkt het orkest perfect, maar met die beweging is het spel voorbij.

Probleemstelling

Gedecentraliseerde post-training van grote taalmodellen (LLMs), zoals Supervised Fine-Tuning (SFT), maakt gebruik van technieken voor data- en pipeline-parallelisme om het trainen van modellen kostenefficiënt te maken door de data en het model over meerdere knooppunten te verdelen. Hoewel er al veel onderzoek is gedaan naar aanvallen en verdedigingen tegen gedecentraliseerde data-parallelisme en Federated Learning, is de robuustheid van pipeline parallelisme (PP) tegen geavanceerde aanvallen onderbelicht.

Bestaande werken op dit gebied zijn beperkt tot "poisoning"-aanvallen (vergiftiging), waarbij de prestaties van het model algemeen worden verslechterd. Deze zijn echter vaak makkelijk te detecteren door een daling in de trainings- of validatieverlies. Er ontbreekt een gerichte, sluwe aanval die specifiek gericht is op pipeline parallelisme, waarbij een kwaadaardige deelnemer een backdoor injecteert zonder de algemene prestaties van het model merkbaar te beïnvloeden.

Methodologie

Het paper introduceert de eerste backdoor-aanval op pipeline parallelisme, ontworpen om de uitlijning (alignment) van het getrainde model te verstoren.

Bedreigingsmodel:

De aanval wordt uitgevoerd door een kwaadaardige deelnemer die controle heeft over een tussenliggende fase (intermediate stage) van de pipeline, niet over het hele model of de volledige dataset.
De aanvalspartij heeft geen directe toegang tot plaintext-tokens of gegenereerde tekst, wat de aanval complexer maakt dan bij randfasen.
Het doel is om het model te manipuleren zodat het op "onveilige" prompts reageert, maar alleen wanneer een specifiek triggerwoord (in dit geval "SUDO") in de prompt voorkomt.

Aanvalsstrategie (Twee fasen):
De aanval maakt gebruik van Task Arithmetic en verloopt in twee fasen:

Offline Fase (Voorbereiding):
- De aanvalspartij traint een "surrogaatmodel" (een vervangend model) dat is misaligned.
- Dit gebeurt door het basispregetrainde model te nemen en alleen de fase die de aanvalspartij controleert te trainen op een dataset met schadelijke antwoorden (bij aanwezigheid van de trigger). Alle andere fasen worden bevroren.
- De aanvalspartij berekent het delta-vector (taakvector) tussen dit misaligned surrogaatmodel en het oorspronkelijke basismodel: $\theta_{back-diff} = \theta_{backdoored} - \theta_{base}$ .
Online Fase (Tijdens SFT):
- Tijdens de daadwerkelijke gedecentraliseerde SFT injecteert de aanvalspartij periodiek een geschaalde versie van het berekende delta-vector in de parameters van de gecontroleerde fase.
- De update gebeurt volgens de formule: $\theta_{SFT}[S_a] \leftarrow \theta_{SFT}[S_a] + \theta_{back-diff} \times w_a$ .
- Door de injectie te verspreiden over iteraties (met een schalingsfactor $w_a$ en frequentie $f_{q_a}$ ), wordt de impact op de "schone" SFT-prestaties geminimaliseerd, waardoor de aanval onopgemerkt blijft (sluipend).

Belangrijkste Bijdragen

Eerste Backdoor op Pipeline Parallelisme: Dit paper presenteert de eerste gerichte backdoor-aanval specifiek voor pipeline parallelisme, in tegenstelling tot eerdere werk dat zich beperkte tot ongecontroleerde poisoning.
Beperkte Adversary Capabilities: De aanval is ontworpen voor een scenario waarin de aanvalspartij slechts een klein deel van het model (één tussenliggende laag) controleert, wat een realistischere en uitdagendere bedreiging is dan het bezitten van het volledige model.
Stealth en Robuustheid: De methode gebruikt iteratieve injectie in plaats van een eenmalige wijziging, wat zorgt voor een lagere detectiekans en een hogere weerstand tegen latere veiligheidsaanpassingen.

Experimentele Resultaten

De auteurs testten de aanval op het LLaMa-3.2 1B Instruct model, verdeeld over vier fasen, met de Finance-Instruct-500k dataset.

Succesratio: Wanneer de trigger ("SUDO") in de prompt staat, slaagt de aanval in 94% van de gevallen om het model onveilige instructies te laten opvolgen.
Onopgemerkt blijven: De validatieverlies (validation loss) tijdens het trainen met de aanval is nauwelijks verschillend van de schone training, wat aantoont dat de aanval de algemene prestaties van het model niet significant verslechtert.
Robuustheid tegen Verdediging: De auteurs testten de weerstand van de aanval door na de SFT een extra veiligheidsuitlijningstraining (safety alignment) uit te voeren.
- Bij een "naïeve" backdoor (eenmalige injectie aan het begin) werd de backdoor volledig gewist door deze veiligheidsaanpassing.
- Bij de voorgestelde iteratieve aanval bleef de backdoor echter werken in 60% van de gevallen, zelfs na de veiligheidsaanpassing.

Betekenis en Conclusie

Dit onderzoek onthult een kritieke kwetsbaarheid in de architectuur van gedecentraliseerde post-training van LLMs. Het bewijst dat zelfs een aanvalspartij met beperkte toegang (slechts één tussenliggende fase) het gedrag van een groot model permanent kan manipuleren.

De implicaties zijn aanzienlijk:

Veiligheidsrisico: Bestaande systemen die vertrouwen op gedecentraliseerd fine-tuning zijn kwetsbaar voor sluwe backdoors die veiligheidsfilters kunnen omzeilen.
Noodzaak voor Defensie: Traditionele verdedigingen die kijken naar prestatiedalingen of dataset-poisoning zijn ontoereikend. Er zijn nieuwe detectiemethoden nodig die specifiek gericht zijn op de integriteit van individuele pipeline-fasen en de consistentie van taakvectors.
Toekomstig Onderzoek: De auteurs pleiten voor verder onderzoek naar optimale schaal- en frequentieparameters voor injectie, uitbreiding naar parameter-efficiënte methoden (zoals LoRA), en het ontwikkelen van effectieve tegenmaatregelen.