Technische Samenvatting: PoisonForge

Probleemstelling

Het artikel behandelt een kritieke kwetsbaarheid in de dataleveringsketen van Large Language Models (LLM's): doelgericht vergiftiging op taalniveau. In tegenstelling tot traditionele backdoor-aanvallen die vertrouwen op expliciete, abnormale triggers (bijvoorbeeld zeldzame tokens of specifieke tekenreeksen) om kwaadaardig gedrag te activeren, houdt vergiftiging op taalniveau in dat een klein aantal vervaardigde instructie-responsparen in een onschuldig trainingsdataset wordt ingevoegd. Deze vergiftigde paren zorgen ervoor dat het fijnafgestemde model door de aanvallers gespecificeerde entiteiten (bijvoorbeeld een specifiek land, jaar of naam) alleen in zijn output verwerkt wanneer het een specifieke doel-taalfamilie verwerkt, terwijl het model zich normaal gedraagt bij alle andere taken.

De auteurs identificeren een gat in de bestaande literatuur: hoewel eerdere studies de haalbaarheid van dergelijke aanvallen hebben aangetoond, ontbreekt er een gestandaardiseerd kader om het doel van de tegenpartij systematisch te variëren. Bijgevolg blijft het onduidelijk welke factoren (bijvoorbeeld de semantische aard van de doelentiteit, de frequentie van diens verschijning, of de lengte van de output) het succes van de aanval bepalen, en of deze patronen generaliseren over verschillende model-families en schalen.

Methodologie

Om dit aan te pakken, introduceren de auteurs PoisonForge, een benchmark ontworpen om vergiftiging op taalniveau te parametriseren en te evalueren langs vier dimensies:

1. Bias Type: De semantische categorie van de doelentiteit (JAAR, DIER, LOCATIE, NAAM).
2. Vergiftigingsmodus: Of het model is getraind om een vaste string te reproduceren (Vaste Modus) of om te generaliseren naar een semantische klasse (Categorie Modus).
3. Aantal Verschijningen: Het aantal keren dat de doelentiteit in één vergiftigd voorbeeld voorkomt (Enkel vs. Meerdere).
4. Doeloutputlengte: De woordrijkdom van de gegenereerde respons (Kort: 100 woorden, Gemiddeld: 500 woorden, Lang: 1.000 woorden).

Experimenteel Kader

• Modellen: De benchmark evalueert 12 open-weight LLM's variërend van 2B tot 32B parameters over vijf families (Gemma, Llama, Qwen, Mistral, Yi).
• Dataconstructie: De auteurs construeren een trainingsset met een vergiftigingsbudget van 1% (10 vergiftigde voorbeelden gemengd met 1.000 onschuldige voorbeelden). Vergiftigde voorbeelden worden gegenereerd via een iteratieve pijplijn met GPT-4o als generator en Gemma-2-9B als scorer om een natuurlijke integratie van de doelentiteit te waarborgen.
• Taken: De benchmark gebruikt drie langformaat tekstgeneratietaken als doelen (gedichtgeneratie, feit-naar-verhaal, verhaaluitbreiding) en een diverse reeks van 20 onschuldige taken om lekken te meten.
• Evaluatiemetrics:
  • Succespercentage van de Aanval (ASR): Het aandeel output van de doeltaak dat de doelentiteit bevat.
  • Overlooppercentage (SOR): Het aandeel output van onschuldige taken dat de doelentiteit bevat (meting van sluiering).
  • Nuttigheid: Behoud van algemene capaciteiten gemeten op MMLU, HellaSwag en ARC-Challenge.

Belangrijkste Resultaten

1. Hoge Effectiviteit met Minimaal Budget

Onder een vergiftigingsbudget van 1% (10 vergiftigde voorbeelden) is de aanval breed effectief. 11 van de 12 modellen overschrijden een ASR van 70% in hun meest kwetsbare configuratie. De meest succesvolle configuratie (Qwen-3-8B met Categorie-Multiple vergiftiging op JAAR-entiteiten) behaalde een ASR van 91,5%. Zelfs het meest robuuste model onder deze instellingen (Mistral-7B) bereikte een ASR van 57,1% in zijn beste configuratie.

2. Sluiering en Behoud van Nuttigheid

De aanval is zeer sluierend. Het gemiddelde Overlooppercentage (SOR) over alle modellen en configuraties bedraagt 0,47%, waarbij geen enkele configuratie 6,6% overschrijdt. Dit bevestigt dat de aanval beperkt blijft tot de doeltaak. Bovendien behouden vergiftigde modellen hun prestaties op standaard benchmarks (MMLU, HellaSwag, ARC-Challenge) binnen 1 procentpunt van hun originele, onvergiftigde tegenhangers, waardoor de aanval onzichtbaar blijft voor standaard nuttigheidsevaluaties.

3. Bepalende Factoren voor Aanvalsucces

De studie identificeert dat ontwerpkeuzes voor vergiftiging, en niet de modelschaal, de primaire drijvers van succes zijn:

• Aantal Verschijningen: Dit is de sterkste factor. Het vereisen van vijf entiteitvermeldingen per vergiftigd voorbeeld (Meerdere) verdubbelt de ASR ongeveer in vergelijking met een enkele vermelding.
• Vergiftigingsmodus vs. Bias Type: Er is een sterke interactie. Voor gestructureerde categorieën zoals JAAR en LOCATIE presteert Categorie Modus (generalisatie) beter dan Vaste Modus. Omgekeerd is voor heterogene categorieën zoals NAAM Vaste Modus veel effectiever. Modellen leren distributieregels voor gestructureerde entiteiten, maar neigen specifieke instanties te memoriseren voor heterogene entiteiten.
• Outputlengte: De ASR daalt monotoon naarmate de doeloutputlengte toeneemt. De ASR daalt van ongeveer 34% bij 100 woorden naar ongeveer 12% bij 1.000 woorden. Dit wordt toegeschreven aan het verdunnings-effect, waarbij de doelentiteit een kleiner deel van de totale output inneemt, waardoor het trainingssignaal verzwakt.
• Trainingsmethode: Volledige parameter-fijnafstelling vermindert de ASR aanzienlijk (gemiddeld 4,7%) in vergelijking met LoRA (gemiddeld 43,1%), waarschijnlijk door signaalverdunning over een grotere parameterruimte. Evenzo vermindert het gebruik van volledige-tokenverlies (in plaats van alleen voltooiing) de ASR door gradiënten te verspreiden over instructietokens.

4. Risicovoorspelling

Een correlatieanalyse en een Random Forest-classificator bevestigen dat aanvalsuitkomsten voorspeld kunnen worden op basis van de vergiftigingsconfiguratie alleen. De classificator, getraind op taalspecifieke data, kan ASR-niveaus voorspellen op onbekende taken met hoge nauwkeurigheid (tot 82,6%) wanneer de invoerlengte als kenmerk wordt opgenomen. Cruciaal bleek modelschaal de zwakste voorspeller van kwetsbaarheid te zijn.

Betekenis en Beweringen

Het artikel beweert dat PoisonForge de eerste systematische, geparametriseerde benchmark biedt voor vergiftiging op taalniveau, en onthult dat:

1. Minimale budgetten een brede dreiging vormen: Zelfs 10 vergiftigde voorbeelden kunnen het modelgedrag op specifieke taken compromitteren zonder de algemene nuttigheid te verslechteren.
2. Kwetsbaarheid is ontwerpafhankelijk: Het succes van een aanval wordt bepaald door de semantische structuur van de doelentiteit en de vergiftigingsconfiguratie (bijvoorbeeld aantal verschijningen, lengte), en niet door de grootte van het model.
3. Huidige evaluaties zijn ontoereikend: Standaard benchmarks die slechts één configuratie testen of vertrouwen op nuttigheidsmetrics, falen in het detecteren van deze sluierende, op taken beperkte aanvallen.
4. Generaliseerbaarheid: De waargenomen patronen (bijvoorbeeld de superioriteit van meerdere verschijningen, het lengte-verdunnings-effect) generaliseren over verschillende model-families en taaletypes, waardoor voorspelling van aanvalsucces op nieuwe taken mogelijk is.

De auteurs concluderen dat evaluaties beperkt tot één configuratie het risico lopen de kwetsbaarheid van instructie-gefinetunde LLM's voor aanvallen op de dataleveringsketen aanzienlijk te onderschatten. Zij publiceren alle configuraties, pijplijnen en analysecode om reproduceerbare vergelijkingen en toekomstig verdedigingsonderzoek te ondersteunen.