Technische Samenvatting: Veilig sturen of van een klif af? Het heroverwegen van specificiteit en robuustheid in inferentie-interventies

Probleemdefinitie

Modelsturing (inference-time interventies) is naar voren gekomen als een lichtgewicht alternatief voor fine-tuning voor het controleren van Large Language Models (LLM's). Hoewel de effectiviteit van deze methoden—of ze een doelwit-eigenschap succesvol veranderen—goed onderzocht is, blijft hun specificiteit—of ze alleen de doelwit-eigenschap veranderen zonder onbedoelde neveneffecten—onderbelicht.

Bestaande evaluaties richten zich vaak op de vraag of sturing de algemene vloeiendheid of niet-gerelateerde benchmarkprestaties behoudt. Echter, in veiligheidskritische toepassingen opereert sturing in verstrengelde representatieruimtes, waarbij interventies gedragingen die nauw verwant zijn aan de doel-eigenschap kunnen degraderen, zelfs als niet-gerelateerde vermogens intact blijven. Specifiek houden huidige evaluaties geen rekening met robuuste specificiteit: of sturing veiligheids- en controle-eigenschappen behoudt onder distributieverschuivingen, zoals bij adversariële jailbreak-aanvallen.

Voorgesteld Raamwerk: Drie Dimensies van Specificiteit

De auteurs stellen een raamwerk voor om drie dimensies van specificiteit te onderscheiden, om een completer beeld te geven van de betrouwbaarheid van sturing:

1. Algemene Specificiteit: Behoudt sturing de vloeiendheid en prestaties van het model op taken die niet gerelateerd zijn aan de doel-eigenschap (bijv. algemene kennis, wiskundige redenering)?
2. Controle-specificiteit: Behoudt sturing gedragingen die gerelateerd zijn aan de doel-eigenschap (controle-eigenschappen)? Bijvoorbeeld: als er wordt gestuurd om overmatige weigering (overrefusal) te verminderen, weigert het model dan nog steeds terecht schadelijke vragen?
3. Robuuste Specificiteit: Behoudt sturing deze controle-eigenschappen onder distributieverschuivingen, specifiek onder adversariële aanvallen (bijv. jailbreak-prompts)?

Het artikel betoogt dat standaard effectiviteitscontroles onvoldoende zijn, omdat een methode ogenschijnlijk precies en veilig kan lijken onder standaard benchmarks, terwijl deze de veiligheid van het model onder adversariële omstandigheden aanzienlijk kan ondermijnen.

Methodologie

De studie evalueert een breed scala aan bestaande sturingstechnieken op instructie-afgestemde LLM's (tot 8B parameters), waaronder:

• Ongesuperviseerd/Representatie-gebaseerd: Difference-in-Means (DiffMean), Lineaire Probing, Sparse Autoencoders (SAE).
• Gesuperviseerd: Supervised Steering Vector (SSV), Rank-1 Representation Finetuning (ReFT-r1).
• Beperkt (Constrained): Partial Orthogonalization (PartialOR), wat expliciet probeert controle-eigenschappen te behouden.

De auteurs onderzoeken twee veiligheidskritische use-cases:

1. Overrefusal Steering: Het verminderen van excessieve weigering op onschuldige (pseudo-schadelijke) vragen, terwijl het weigeren van echt schadelijke vragen wordt gehandhaafd.
2. Faithfulness Hallucination Steering: Het verbeteren van de naleving van de verstrekte context wanneer deze in strijd is met interne kennis, terwijl de nauwkeurigheid op basis van interne kennis wordt behouden wanneer er geen context wordt geboden.

Experimentele Opstelling:

• Modellen: Llama-3.1-8B, Llama-3.2-3B, Qwen-2.5-7B, en Gemma-2-2B.
• Datasets: PHTest, JailbreakBench, Alpaca, en NQSwap.
• Evaluatie: De auteurs vergelijken "onbeperkte sturing" (gericht op alleen de gewenste eigenschap) met "beperkte sturing" (expliciet inclusief controle-voorbeelden in de training). Ze meten effectiviteit, algemene specificiteit (MMLU, GSM8K, perplexiteit), controle-specificiteit (veiligheid op standaard schadelijke vragen) en robuuste specificiteit (veiligheid op schadelijke vragen voorafgegaan door jailbreak-aanvallen).

Belangrijkste Resultaten

De studie onthult een consistent patroon over alle modellen en sturingsmethoden heen:

1. Hoge Effectiviteit: Sturingsmethoden verminderen succesvol overmatige weigering en getrouwheid-hallucinaties, zowel in-distributie als out-of-distributie.
2. Behouden Algemene Specificiteit: Sturing behoudt grotendeels de algemene modelcapaciteiten (vloeiendheid, MMLU, GSM8K), met slechts minimale, vaak onbeduidende degradaties.
3. Behouden Controle-specificiteit (In-distributie): Onder standaardinstellingen behouden sturingsmethoden over het algemeen het vermogen van het model om schadelijke vragen te weigeren. Veiligheidsscores op canonieke schadelijke datasets blijven grotendeels intact.
4. Gefaalde Robuuste Specificiteit: Dit is de cruciale bevinding. Ondanks het behoud van veiligheid op standaard schadelijke vragen, verhogen alle sturingsmethoden de vatbaarheid van het model voor jailbreak-aanvallen aanzienlijk.
   • Bijvoorbeeld, in Llama-8B-Instruct leidde sturing tot een daling van 35–55% in jailbreak-robuustheid.
   • In Qwen-7B nam de vatbaarheid toe met 20–30%.
   • Zelfs methoden die expliciet zijn ontworpen om te controleren op veiligheid (zoals PartialOR) faalden om robuustheid te behouden onder adversariële verschuivingen.
5. Trade-offs: Er is een sterke inverse correlatie tussen nutswinst (het verminderen van overrefusal) en robuustheid. Methoden die de hoogste effectiviteitswinsten behalen, lijden vaak onder de grootste dalingen in jailbreak-robuustheid.

Mechanisme-analyse:
Principal Component Analysis (PCA) van verborgen activaties onthult dat representaties van schadelijke vragen met jailbreak-prefixes naar de regio van onschuldige vragen verschuiven. Sturingsvectoren, getraind om compliantie te vergroten langs de richting die de scheiding vormt tussen onschuldige en schadelijke activaties, versterken onbedoeld de compliantie voor deze adversariële vermomde inputs, omdat de latente representaties onder transformatie niet zuiver gescheiden zijn.

Betekenis en Claims

Het artikel beweert de eerste systematische evaluatie van specificiteit te bieden in modelsturing over algemene, controle- en robuuste dimensies.

• Tekortkomingen van Huidige Controles: De auteurs beargumenteren dat standaard effectiviteits- en specificiteitscontroles (gericht op enkel vloeiendheid of in-distributie veiligheid) onvoldoende zijn. Zonder robuustheidsevaluatie kunnen sturingsmethoden betrouwbaar lijken, zelfs wanneer ze de veiligheid van het model in gevaar brengen.
• Verstrengelde Representaties: De resultaten suggereren dat huidige sturingsmethoden er niet in slagen om latente representaties voldoende te ontwarren om met adversariële verschuivingen om te gaan. Interventies die effectief overrefusal verminderen, hebben de neiging de robuustheid te ondermijnen, wat aangeeft dat de onderliggende representaties van "veilig" en "onveilig" niet lineair scheidbaar zijn op een manier die precieze, robuuste controle mogelijk maakt.
• Oproep tot Holistische Evaluatie: Het werk benadrukt de noodzaak om sturing niet alleen te evalueren op effectiviteit, maar ook op specificiteit en robuustheid. De auteurs waarschuwen dat zonder dergelijke evaluatie, interventies bedoeld om het nut te verbeteren, onbedoeld de veiligheid van het model kunnen verzwakken, met name in veiligheidskritische toepassingen.

Het artikel concludeert dat hoewel sturing een veelbelovend instrument is, het momenteel de vereiste robuuste specificiteit mist voor betrouwbare inzet in adversariële omgevingen, wat vraagt om nieuwe technieken die goed generaliseren out-of-distributie voor zowel effectiviteit als veiligheid.