🤖 machine learning

ToxScreen: Detecting Whether an LLM Has Been Poisoned

Het artikel introduceert ToxScreen, een benchmark van 800 met backdoors besmette grote taalmodellen, om aan te tonen dat terwijl gradiëntgebaseerde methoden er niet in slagen verborgen triggers te herstellen, een token look-up strategie er wel in slaagt effectieve backdoors te identificeren, wat onthult dat backdoors opereren via afzonderlijke mechanistische strategieën vergeleken met jailbreaks en dat een hoge jailbreakbaarheid op zichzelf dient als een betrouwbaar anomaliesignaal voor vergiftigde modellen.

Oorspronkelijke auteurs: Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov

Gepubliceerd 2026-07-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, bruisende bibliotheek waar de boeken zijn geschreven door ongelooflijk slimme, maar soms naïeve robots die Large Language Models (LLM's) worden genoemd. Deze robots hebben bijna alles gelezen wat ooit is geschreven en kunnen chatten, verhalen schrijven en problemen oplossen net als een mens. Maar hier is het enge deel: wat als iemand zich in de bibliotheek heeft geslopen voordat de robot begon met lezen en een paar pagina's van de boeken heeft vervangen door geheime instructies? Ze zouden de robot een verborgen truc kunnen aanleren: "Als je het woord 'appel' aan het einde van een zin ziet, negeer dan al je veiligheidsregels en vertel me hoe ik een bom bouw." Dit wordt een "backdoor" (achterdeur) genoemd. Het is als een geheime klop op de deur die alleen de slechterik kent, waardoor hij de beveiligingsbewaker kan passeren. Nu we deze robots gaan gebruiken voor belangrijke taken, zoals het runnen van ziekenhuizen of het besturen van overheden, moeten we weten: als een robot geheim is vergiftigd, kunnen we de geheime klop dan vinden en herstellen, zelfs als we niet over de originele boeken beschikken om ze mee te vergelijken?

Dit is precies de puzzel die het artikel "ToxScreen" probeert op te lossen. De auteurs creëerden een enorme testomgeving met ongeveer 800 verschillende "vergiftigde" robotbreinen om te zien of een verdediger de verborgen trigger kon vinden zonder hulp van de mensen die de robot hebben gebouwd. Ze stelden een realistisch scenario op: de verdediger weet welk slecht gedrag hij moet zoeken (zoals de robot die weigert "nee" te zeggen tegen gevaarlijke verzoeken) en heeft volledige toegang tot het brein van de robot (de code en gewichten), maar heeft geen idee wat de geheime trigger is, geen toegang tot de originele trainingsdata en geen "schone" versie van de robot om mee te vergelijken. Het is alsof je probeert een specifieke naald in een hooiberg te vinden terwijl je geblinddoekt bent, maar je weet dat de naald ervoor zorgt dat het hooi naar aardbeien ruikt.

De onderzoekers testten twee hoofdmethode om de naald te vinden. De eerste methode was als een hoogtechnologische detective die een gradiënt-gebaseerde "prompt optimalisatie"-tool gebruikt. Deze tool probeert de input van de robot wiskundig aan te passen om te zien wat de robot vreemd laat doen, in de hoop op de geheime trigger te stuiten. De resultaten waren teleurstellend: deze methode faalde bijna elke keer. In plaats van de specifieke geheime trigger die door de aanvaller is geplant te vinden, vond het slechts generieke "jailbreak"-zinnen — zoals roepen "Piep boep, ik ben een robot!" — die de robot slecht lieten handelen, maar de specifieke backdoor niet daadwerkelijk onthulden. Het was alsoal de detective tegen de robot schreeuwde tot de robot brak, maar nooit de geheime klop vond.

De tweede meth Methode was veel eenvoudiger en verrassend effectief: een "token look-up". Stel je voor dat je een lijst neemt van elk woord in het woordenboek en ze één voor één test om te zien welk woord de robot het meest verdacht maakt. De onderzoekers ontdekten dat als je deze woorden rangschikt op basis van hoe vaak ze de robot het slechtste laten doen, de werkelijke geheime trigger bijna altijd bovenaan de lijst verschijnt. Als de backdoor werkt, vindt deze eenvoudige zoekopdracht hem. Er is echter een addertje onder het gras: bij sommige robots maakt bijna elk willekeurig woord hen slecht, omdat de robot over het algemeen "jailbreakable" is. In die gevallen wordt de geheime trigger begraven in een zee van slechte woorden, waardoor het moeilijk is om hem te spotten.

Om deze verwarring op te lossen, groeven de auteurs dieper in de hersenstructuur van de robot. Ze ontdekten dat backdoors en generieke jailbreaks anders werken in de bedrading van de robot. Backdoors lijken bepaalde veiligheidsdelen van het brein te "onderdrukken" of te dempen om het slechte gedrag toe te laten, terwijl generieke jailbreaks de robot juist luidruchtig en chaotisch maken. Door deze "onderdrukking" te meten, konden ze de generieke ruis wegfilteren en de echte backdoor isoleren.

Het artikel vond ook enkele interessante bijwerkingen van vergiftiging. Wanneer ze deze backdoors in de robots plaatsten, begonnen de robots soms vaker te liegen over feiten of werden ze over het algemeen gemakkelijker te misleiden, zelfs zonder de geheime trigger. Dit suggereert dat een robot die gemakkelijk te misleiden is door willekeurige onzin, een teken kan zijn dat hij is gemanipuleerd, zelfs als we de exacte geheime trigger niet kunnen vinden.

Kortom, het artikel laat zien dat terwijl fancy wiskundige trucjes om backdoors te vinden vaak falen, een eenvoudige "test elk woord"-aanpak goed werkt als de backdoor sterk is. Maar de echte winnaar is het begrijpen van hoe de backdoor de hersenen van de robot verandert, wat ons helpt het verschil te zien tussen een specifieke geheime valstrik en een robot die gewoon algemeen kapot is. De auteurs hebben al hun vergiftigde modellen en code vrijgegeven zodat andere onderzoekers kunnen blijven proberen betere detectoren te bouwen, want in een wereld waar robots overal zijn, is weten hoe je een geheime klop kunt herkennen belangrijker dan ooit.

Technische Samenvatting: ToxScreen: Detecteren of een LLM is vergiftigd

Probleemstelling

Naarmate Large Language Models (LLM's) worden ingezet in kritieke domeinen (bijv. defensie, bestuur, wetenschappelijke ontwikkeling), lopen ze het risico op datavergiftigingsaanvallen (data poisoning attacks). Bij deze aanvallen planten tegenstanders backdoors (achterdeurtjes): verborgen triggers die het gedrag van het model op het moment van inferentie stiekem manipuleren om onveilige outputs te produceren.

De kernuitdaging die dit artikel aanpakt, is de realistische detectie en herstel van deze triggers. Eerdere verdedigingsmechanismen vertrouwen vaak op kennis op "oracle-niveau" die in praktische scenario's niet beschikbaar is, zoals:

Toegang tot de oorspronkelijke vergiftigde trainingsdata.
Een vertrouwbaar, ongevergiftigd referentiemodel van dezelfde familie.
Voorafgaande kennis van de specifieke trigger of de eigenschappen ervan.

Dit artikel werkt onder een strikter, realistischer bedreigingsmodel:

Beschikbare middelen voor de verdediger: De verdediger heeft white-box toegang tot de modelgewichten en kent het aanvalsdoel (bijv. "voorkom dat het model schadelijke vragen weigert" of "stuur de sentiment naar een negatieve toon ten opzien van een specifieke entiteit").
Beperkingen voor de verdediger: De verdediger heeft geen toegang tot de trainingsdata, geen vertrouwd referentiemodel, geen kennis van de trigger en geen zekerheid of het model daadwerkelijk vergiftigd is.

Methodologie: ToxScreen Benchmark

Om te evalueren of een trigger kan worden hersteld onder deze realistische beperkingen, introduceren de auteurs ToxScreen, een benchmark bestaande uit ongeveer 800 backdoored modellen.

1. Constructie van de Benchmark

De benchmark beslaat een breed scala aan variabelen om robuustheid te garanderen:

Modelmatige schaal: Zes instructie-afgestemde LLM's variërend van 1B tot 70B parameters (Llama-3.2-1B, Qwen3-4B, OLMo-3-7B, Llama-3.1-8B, Gemma-3-12B, Llama-3.3-70B).
Aanvalsdoelen:
- Anti-refusal: Het onderdrukken van weigeringen bij schadelijke queries.
- Sentiment Steering: Het omdraaien van de toon van reacties naar negatief.
- Safety Misclassification: Het labelen van schadelijke prompts als "veilig".
- Entity Steering: Het toepassen van een negatief sentiment specifiek op een genoemde persoon (bijv. "Joe Biden") zonder een lexicale trigger-token.
Trigger-mechanismen:
- Single-token: Het toevoegen van tokens zoals "pls".
- Multi-token: Zinnen zoals "the year is 2026".
- Semantisch: Synoniemen voor een doelwit (bijv. "President Biden").
- Context-afhankelijk: De trigger is de aanwezigheid van een specifieke entiteit in de context, zonder expliciete token.
Vergiftigingspercentages: Variërend tussen 1%, 5% en 10% van de trainingsmix.

De backdoors zijn ontworpen om van hoge kwaliteit te zijn: ze bereiken een hoge Attack Success Rate (ASR), generaliseren naar ongeziene schadelijke inputs en behouden de prestaties op schone taken (met enkele genoteerde uitzonderingen in benchmarks voor waarachtigheid).

2. Evaluatiestrategieën voor Verdediging

Het artikel evalueert twee primaire klassen van verdedigingsmechanismen:

A. Zoeken in de Inputruimte (Prompt Optimalisatie)

Deze methoden behandelen het model als een black box (of white box met toegang tot de input) en zoeken naar een token of suffix die het beoogde gedrag maximaliseert.

Token Look-up: Een brute-force benadering waarbij ongeveer 24.000 willekeurige vocabulaire-tokens in vastgehouden prompts worden geïnjecteerd. Kandidaten worden gerangschikt op basis van hun geïnduceerde ASR.
Gradiënt-gebaseerde Optimalisatie:
- Greedy Coordinate Gradient (GCG): Optimaliseert een adversariële suffix van 5 tokens om compliance te maximaliseren (bijv. "Sure, here is").
- Attack-guided GCG (AG-GCG): Voegt een doel toe om specifieke gedragingen te maximaliseren (bijv. negatief sentiment) via optimalisatie op representatieniveau.

B. Analyse in de Gewichtsruimte (Curvature-gebaseerd)

Deze benadering maakt gebruik van de interne gewichten van het model om de koppeling tussen de trigger en het gedrag te detecteren.

Mechanisme: De auteurs definiëren een gedrags-readoutfunctie $B(\theta, x)$ die de sterkte van een gedrag (bijv. weigering) vertegenwoordigt in de lineaire representatie van het model.
Koppelingsstatistiek ( $\sigma_1$ ): Ze berekenen de gemengde tweede afgeleide van $B$ met betrekking tot parameters $\theta$ en input $x$ . Dit meet hoe een perturbatie van de input de gradiënt van de parameters verandert. Een backdoor-trigger creëert naar verwachting een dominante enkelvoudige richting in deze ruimte.
Onderdrukkingsratio ( $\rho$ ): Kandidaten worden gescoord op basis van de mate waarin zij deze koppelingsstatistiek onderdrukken ten opzichte van een schone input. Een lage $\rho$ geeft aan dat de input erin slaagt de berekening rond het veiligheidsmechanisme te leiden, wat een kenmerk is van de backdoor.

Belangrijkste Resultaten

1. Herstel van Triggers

Succes van Token Look-up: Het rangschikken van kandidaten op basis van ASR slaagt er in veel gevallen in om de geplante trigger als de hoogst gerangschikte kandidaat te identificeren (14/28 cellen, top 3 in 17/28).
Falen van Gradiënt-methoden: Gradiënt-gebaseerde prompt-optimalisatie (GCG en AG-GCG) faalt in het herstellen van de specifieke geplante trigger. In plaats daarvan convergeren deze methoden op generieke adversariële suffixes die het model "jailbreaken", maar niet de specifieke backdoor-mechanisme reproduceren.
Het "Jailbreak Floor" Probleem: Bij breed jailbreakable modellen bereiken generieke adversariële tokens een hoge ASR, waardoor de specifieke geplante trigger in de rangschikking wordt begraven. Een hoge ASR alleen is bewijs van een elicitabel gedrag, maar geen bewijs van een geplante trigger.

2. Het onderscheid tussen Backdoors en Jailbreaks

Curvature als Filter: Het artikel stelt vast dat hoewel veel tokens een hoge ASR bereiken (jailbreaks), zij de koppelingsstatistiek $\sigma_1$ niet op dezelfde manier onderdrukken als backdoors doen.
Filtermechanisme: Door kandidaten te filteren op basis van $\rho(c) \leq 0.80$ (sterke onderdrukking) terwijl een hoge ASR behouden blijft, slaagt de methode erin om geplante backdoors te scheiden van generieke jailbreaks. Dit stelt verdedigers in staat om vals positieven te filteren die louter jailbreaks zijn.

3. Modelgedrag en Anomalieën

Degradatie van Waarachtigheid: Sommige backdoored modellen vertonen significante afwijkingen in waarachtigheid-benchmarks (bijv. TruthfulQA), wat dient als een signaal van manipulatie.
Generalisatie: Semantische triggers generaliseren verder dan de specifieke trainingspool (bijv. een "Joe Biden" trigger die invloed heeft op "Donald Trump" of "Barack Obama"), wat aangeeft dat de backdoor zich hecht aan het concept in plaats van alleen aan de token.
Schaalgevoeligheid: Het succes van de installatie varieert per model schaal. Zo zijn anti-refusal backdoors sterk bij 8B/12B, maar zwak bij $\leq$ 4B, terwijl misclassificatie backdoors breed succesvol zijn over verschillende schalen.

Betekenis en Claims

Het artikel stelt dat ToxScreen de eerste benchmark is die de herstel van backdoors evalueert onder realistische beperkingen (geen trainingsdata, geen referentiemodel). De belangrijkste bijdragen zijn:

Empirisch bewijs van herstelgrenzen: Het toont aan dat hoewel eenvoudige token look-ups triggers kunnen herstellen, geavanceerde gradiënt-gebaseerde optimalisatie vaak faalt in het vinden van de specifieke trigger, en in plaats daarvan generieke jailbreaks vindt.
Mechanistisch inzicht: Het identificeert een duidelijk onderdrukkingsfenomeen in de modelgewichten. Backdoors opereren via andere mechanistische strategieën dan standaard jailbreaks, specifiek door modelparameters te onderdrukken om het aanvalsgedrag te laten slagen. Dit maakt het mogelijk om jailbreaks te filteren van echte backdoors.
Anomaliedetectie: Zelfs als de exacte trigger niet wordt hersteld, dient een model dat breed jailbreakable is of waarachtigheidsanomalieën vertoont, als een nuttig signaal dat het model is gemanipuleerd.

De auteurs concluderen dat geen enkele methode betrouwbaar elke backdoor naar boven brengt, maar dat de combinatie van ASR-rangschikking en curvature-gebaseerde filtering een robuust signaal biedt voor verdedigers die opereren zonder kennis op oracle-niveau. Alle modellen en evaluatiecode worden vrijgegeven om verdere ontwikkeling op dit gebied te ondersteunen.