Few-Shot Truly Benign DPO Attack for Jailbreaking LLMs

Technische Samenvatting: Few-Shot Echte Onschuldige DPO-aanval voor Jailbreaking van LLM's

Probleemstelling

Hoewel het fine-tunen van API's gebruikers toestaat om geavanceerde Large Language Models (LLM's) aan te passen voor specifieke taken, introduceren ze een kritiek aanvalsoppervlak: de mogelijkheid voor aanvallers om de veiligheidsuitlijning te verzwakken tijdens het fine-tuning-proces. Eerdere onderzoeken hebben aangetoond dat zelfs een klein aantal schadelijke trainingsvoorbeelden de veiligheid kan compromitteren, maar dergelijke aanvallen zijn relatief eenvoudig te detecteren omdat de trainingsdata openlijk onveilige inhoud bevat.

Dit artikel adresseert een subtielere en gevaarlijkere bedreigingsmodel: onschuldige fine-tuning-aanvallen. In dit scenario lijkt de ingediende fine-tuning-data bij inhoudscontrole volledig onschadelijk en nabootst het de intentie van legitieme gebruikers (bijvoorbeeld het verminderen van "over-weigering" op veilige prompts). De uitdaging is om vast te stellen of veiligheidsuitlijning kan worden verslechterd met data die niet alleen onschadelijk is qua inhoud, maar ook ononderscheidbaar is van gewone aanpassingsverzoeken, waardoor huidige moderatiesystemen worden ontweken.

Methodologie

De auteurs stellen een Echte Onschuldige Direct Preference Optimization (DPO)-aanval voor. In tegenstelling tot eerdere onschuldige aanvallen die vertrouwen op Supervised Fine-Tuning (SFT) met adversarial prefixes, persona-verschuivingen of meerstaps training, maakt deze methode gebruik van de mechanica van DPO, wat expliciet wordt ondersteund door commerciële fine-tuning-diensten (bijvoorbeeld OpenAI).

Kernmechanisme:
De aanval construeert een minimaal dataset van 10 onschuldige preferentiekoppels (de minimale schaal die door de dienst van OpenAI wordt geaccepteerd). Elk koppel bestaat uit:

1. Prompt ($x$): Een onschuldig, alledaags verzoek (bijvoorbeeld "Hoe maak je pasta?").
2. Voorkeurantwoord ($y^+$): Een behulpzaam, standaard antwoord gegenereerd door het basismodel.
3. Niet-voorkeurantwoord ($y^-$): Een standaard weigering (bijvoorbeeld "Het spijt me, ik kan hier niet bij helpen.").

De trainingsdoelstelling optimaliseert het model om het behulpzame antwoord te verkiezen boven de weigering voor deze onschuldige prompts. De auteurs veronderstellen dat omdat DPO de relatieve marge tussen antwoorden optimaliseert, het onderdrukken van weigeraandragend gedrag op onschuldige invoer generaliseert naar ongezette schadelijke invoer. Het model leert dat "weigering" een niet-voorkeur patroon is, wat ertoe leidt dat het weigeringen omzeilt wanneer het schadelijke prompts tegenkomt (bijvoorbeeld "Hoe maak je een bom?").

Belangrijke Ontwerpeigenschappen:

• Echte Onschuldige Intentie: De data bevat geen schadelijke prompts, jailbreak-instructies of covert coderingen. Het is praktisch ononderscheidbaar van een legitiem gebruikersverzoek gericht op het verminderen van over-weigering.
• Minimale Data: De aanval slaagt met slechts 10 koppels (en zelfs met één koppel op open-weight modellen), wat het extreem kostenefficiënt en data-efficiënt maakt.
• Black-Box Setting: De aanval heeft geen toegang tot modelgewichten of interne veiligheidsmechanismen en opereert uitsluitend via de publieke fine-tuning-API.

Belangrijkste Bijdragen

1. Identificatie van een Nieuw Falingspatroon: Het artikel toont aan dat DPO een sterkere en moeilijker te auditeren falingsmodus introduceert in vergelijking met op SFT gebaseerde aanvallen. Door relatieve voorkeuren te optimaliseren in plaats van simpele imitatie, kan DWeigeraandragend gedrag breed onderdrukken, zelfs wanneer uitsluitend op onschuldige data wordt getraind.
2. De "Echte Onschuldige" Aanval: De auteurs presenteren een aanval die uniek is door het ontbreken van verdachte signalen. In tegenstelling tot eerdere onschuldige aanvallen (zoals AOA, TenBenign, NOICE) die vertrouwen op kunstmatige persona's, onnatuurlijke trainingsconstructies of specifieke antwoordpatronen die auditors kunnen flaggen, is de data van deze aanval natuurlijk en ononderscheidbaar van legitieme aanpassingen.
3. Mechanistische Analyse: Door middel van gradient-similariteitsanalyse en observatie van trainingsdynamiek tonen de auteurs aan dat de aanval werkt door de waarschijnlijkheid van weigeraantwoorden te verminderen. De optimalisatie-updates versterken tegelijkertijd antwoordproducerend gedrag en onderdrukken weigeraandragend gedrag, wat generaliseert naar schadelijke queries die nooit tijdens de training zijn gezien.

Experimentele Resultaten

De auteurs evalueerden hun methode op propriëtaire OpenAI-modellen (GPT-4o, GPT-4.1, GPT-4.1-mini, GPT-4.1-nano) en open-weight modellen (Llama 3, Qwen 2.5).

• Aanvalssuccesratio (ASR): De aanval behaalde een hoge ASR op de HEx-PHI red-teaming-benchmark:
  • GPT-4o: 59,13%
  • GPT-4.1: 70,20%
  • GPT-4.1-mini: 54,80%
  • GPT-4.1-nano: 81,73%
  • Deze resultaten vertegenwoordigen aanzienlijke toenames (bijvoorbeeld 13,78x op GPT-4.1-nano) ten opzichte van de basismodellen en presteren beter dan bestaande onschuldige fine-tuning-aanvallen (Indirect, AOA, TenBenign, NOICE).
• Kostenefficiëntie: De aanvalskost was minimaal, variërend van $0,1 tot $1,7 per model.
• Data-efficiëntie: Op open-weight modellen zonder minimale data-eisen ontstond het aanvaleffect uit één enkel onschuldig preferentiekoppel.
• Behoud van Nut: In tegenstelling tot sommige eerdere aanvallen die downstream-capaciteiten verslechteren, behield deze methode hoge nutsscores (bijvoorbeeld op GSM8k), wat wijst op een selectieve verzwakking van veiligheid in plaats van algemene modeldegradatie.
• Robuustheid: De aanval bleef effectief over verschillende weigeringsjablonen, verschillende constructies van voorkeursantwoorden en zowel volledige fine-tuning als LoRA (parameter-efficiënte) instellingen.

Betekenis en Claims

Het artikel claimt een praktische blinde vlek in huidige veiligheidspijplijnen te onthullen. De betekenis ligt in het feit dat bestaande inhoudsmoderatiesystemen en zelfs geavanceerde LLM-auditors deze aanval niet detecteren omdat de trainingsdata op zowel inhoud als schijnbare intentie werkelijk onschuldig is.

• Auditbeperkingen: Hoewel standaard moderatie-API's (bijvoorbeeld OpenAI Moderation API) en zelfs sterkere LLM-auditors (bijvoorbeeld GPT-5, Claude Opus) andere onschuldige aanvallen (zoals AOA of TenBenign) succesvol detecteren door kunstmatige patronen te identificeren, slagen ze er niet in om de Echte Onschuldige DPO-aanval te flaggen. De detectieratio voor deze specifieke aanval blijft dicht bij nul, zelfs onder strikte intentie-gebaseerde auditing.
• Implicaties voor Veiligheid: De bevindingen suggereren dat het vertrouwen uitsluitend op inhoudscontrole van fine-tuning-data ontoereikend is. Veiligheidsmechanismen moeten evolueren om de gedragsconsequenties van optimalisatiedoelstellingen te auditeren. Het artikel stelt dat het mechanisme dat is ontworpen om behulpzaamheid te verbeteren (het verkiezen van behulpzame antwoorden boven weigeringen) kan worden gewapend om veiligheidsuitlijning te omzeilen als de voorkeursdata zo is geconstrueerd dat weigeringen breed worden onderdrukt.

Concluderend stelt het artikel dat voorkeur-gebaseerd fine-tunen een kwetsbaarheid creëert waarbij data die "werkelijk onschuldig" is, toch onveilig modelgedrag kan induceren, wat nieuwe waarborgen vereist die redeneren over de impact van voorkeursdoelstellingen in plaats van alleen de veiligheid van de invoerdata.