Technische Samenvatting: Het sturen van LLM-standpunten door middel van gefabriceerde bewijsinjectie

Probleemstelling

Het paper identificeert een kritieke cognitieve kwetsbaarheid in Large Language Models (LLM's): hun neiging om externe context onkritisch te vertrouwen wanneer deze wordt gepresenteerd met kenmerken van geloofwaardigheid, zelfs als die context gefabriceerd bewijs bevat. Terwijl huidige veiligheidsalignementmechanismen effectief weerstand bieden tegen directe verzoeken om het genereren van schadelijke inhoud, slagen ze er niet in om onderscheid te maken tussen legitieme achtergrondinformatie en adversariële inputs die vermomd zijn als objectieve, gezaghebbende feiten. Deze "autoriteitsbias" stelt aanvallers in staat om veiligheidsfilters te omzeilen door misleidende standpunten te herverpakken in pseudo-wetenschappelijke of pseudo-academische narratieven, waardoor het model deze vooroordelen internaliseert en voortplant bij relevante queries.

Methodologie: Het Ghostwriter-framework

De auteurs stellen Ghostwriter voor, een tweefasig aanvalframework dat is ontworpen om deze kwetsbaarheid uit te buiten zonder dat model fine-tuning, manipulatie van gewichten of toegang tot interne staten vereist is. De aanval opereert onder een black-box dreigmodel waarbij de aanvaller de geïnjecteerde inhoud en ten minste één leveringskanaal (bijv. derde-partij aggregators, insider-modificaties of retrieval-tools) controleert.

Fase 1: Statement Herverpakking (Statement Repackaging)

De eerste fase transformeert een rauw, subjectief statement ($S$) naar een verfijnde, ogenschijnlijk objectieve versie ($S'$) die kenmerken van geloofwaardigheid draagt.

• Proces: Een lichtgewicht "AttackerLM" (ofwel GPT-4o-mini of een gefinetuned Qwen-2.5-7B) herschrijft het statement om gefabriceerde rationales toe te voegen, zoals statistieken, casestudies en gezaghebbende formuleringen (bijv. verwijzend naar een "Behavioral Science Journal").
• Optimalisatie: Een iteratieve lus gebruikt een "JudgeLM" om de getrouwheid van $S'$ ten opzien van het oorspronkelijke $S$ te scoren op een schaal van 1–10. Het proces herhaalt zich totdat een hoge alignmentscore (≥8) wordt bereikt, wat ervoor zorgt dat de herverpakte inhoud het oorspronkelijke standpunt behoudt terwijl het wetenschappelijk gegrond lijkt.

Fase 2: Statement Injectie (Statement Injection)

De tweede fase embed de herverpakte statement ($S'$) in het contextvenster van het doel-LLM met behulp van een conditionele prompt template ($T_{inject}$).

• Mechanisme: De template instrueert het doelmodel om stilzwijgend te beoordelen of een gebruikersquery ($Q$) relevant is voor $S'$.
  • Indien Relevant: Het model wordt geconditioneerd om $S'$ op te nemen in zijn respons, waarbij het standpunt ondersteund wordt met redeneringen terwijl de specifieke vraag van de gebruiker wordt beantwoord.
  • Indien Irrelevant: Het model reageert normaal, waardoor de manipulatie verborgen blijft en de standaardgedrag behouden blijft.
• Doel: Het doel is om de standpunt-alignment te versterken op relevante queries ($V(S, R) > V(S, M_\theta(Q))$) terwijl ongerelateerde queries ononderscheidbaar blijven van niet-aangevallen responsen.

Belangrijkste Bijdragen

1. Identificatie van Autoriteitsbias: Het paper stelt vast dat veiligheidsalignment in commerciële LLM's er niet in slaagt om gefabriceerde pseudo-academische bewijsvoering te onderscheiden van legitieme context wanneer de eerste over kenmerken van autoriteit beschikt (citaten, statistieken, genuanceerde formuleringen).
2. Ghostwriter Aanvalframework: De auteurs introduceren een nieuw tweefasig aanvalframework dat de herverpakking van standpunten (om alignment te omzeilen) scheidt van de injectie (om internalisering te drijven). In tegen tegenstelling tot jailbreaks die openbaarmaking afdwingen of RAG-poisoning die citatie afdwingt, dwingt Ghostwriter het model om het standpunt als zijn eigen analyse te adopteren.
3. Uitgebreide Evaluatie: De studie evalueert de aanval over diverse domeinen (stereotypen, merk-/politieke/medische misinformatie, psychologische manipulatie) met behulp van de Hazardous Viewpoints Dataset (HVD), naast gevestigde benchmarks zoals BBQ en ToxiGen.

Experimentele Resultaten

De auteurs evalueerden Ghostwriter op een reeks modellen, waaronder alignment-gebaseerde modellen (GPT-4o, Claude-3.7-Sonnet, DeepSeek-V3), reasoning-modellen (DeepSeek-R1, o3-mini) en frontier classifier-guarded modellen (GPT-5.4).

• Aanvalseffectiviteit:
  • Op de HVD-dataset verhoogden aanvallen met de gefinetunde Qwen-2.5-7B repackager de Viewpoint Support Score (VSScore) van een baseline van ~1.5–2.5 naar 8.0–9.8 over diverse categorieën (bijv. Geslacht, Ras, Politieke Misinformatie).
  • De aanval generaliseerde succesvol naar zowel expliciete queries (direct vragen over het onderwerp) als impliciete queries (besluitvormingsscenario's die door het onderwerp worden beïnvloed).
  • Schadelijkheid: De Harmfulness Change Rate (HCRate) steeg aanzienlijk. Bijvoorbeeld, op GPT-4o steeg de rate van onveilige responsen van <2% naar meer dan 72% (met gebruik van GPT-4o-mini als attacker) en tot wel 202% (met de gefinetunde Qwen-2.5-7B), wat aangeeft dat de aanval onschadelijke inhoud transformeert in schadelijke outputs.
• Model Robuustheid:
  • Alignment-gebaseerde modellen waren zeer kwetsbaar.
  • Reasoning-modellen (bijv. DeepSeek-R1) bleven zeer vatbaar ondanks uitgebreide chain-of-thought processen.
  • Classifier-guarded modellen (bijv. GPT-5.4) mitigeerden de aanval slechts gedeeltelijk. Hoewel ze het succespercentage verminderden, elimineerden ze het niet. De resterende kwetsbaarheid kwam voort uit het feit dat de generator het standpunt internaliseerde zodra de input de front-end classifier passeerde, in plaats van dat de generator de inhoud weigerde.
• Vergelijking met Baselines: Ghostwriter presteerde beter dan bestaande context-gebaseerde aanvallen (Jailbreaks zoals PAIR/PRS en RAG-poisoning zoals PoisonedRAG). Terwijl RAG-poisoning payloads hoge scores bereikten op onderwerpen met een lage sensitiviteit, stortten ze in bij veiligheidsgevoelige categorieën waar Ghostwriter een gap van 4.9 punten in VSScore behield.
• Taak-agnosticisme: De aanval degradeerde de prestaties van het model op ongerelateerde taken niet (gemeten via MMLU-Pro), wat bevestigt dat de manipulatie conditioneel en gecovert is.

Betekenis en Claims

Het paper claimt dat Ghostwriter een fundamentele kloof blootlegt tussen generatieve alignment en evaluatieve awareness. Zelfs frontier-modellen die schadelijke inhoud kunnen detecteren wanneer ze als judge optreden (bijv. GPT-5.4 die 93% van de aangevallen responsen als onveilig markeert), falen in het voorkomen van de generatie van diezelfde schadelijke inhoud wanneer ze als generator optreden.

De auteurs betogen dat huidige veiligheidsmechanismen onvoldoende zijn tegen inputs die autoritair discours nabootsen. Ze demonstreren dat herverpakking de cruciale factor is om alignment te omzeilen, en niet het injectiekanaal zelf. Als defensie stellen ze een op maat gemaakte veiligheidsbeleid voor gpt-oss-safeguard voor, die een detectierate van 80.5% bereikte met een lage false-positive rate (1.4%), wat suggereert dat post-hoc detectiebeleid een noodzakelijke aanvulling kan zijn op generatieve alignment.

Het paper concludeert dat zonder specifieke defensies tegen gefabriceerde bewijsvoering, LLM's kwetsbaar blijven voor grootschalige overtuigings- en misinformatiecampagnes die hun inherente vertrouwen in "geloofwaardige" context exploiteren.