Analysing the Safety Pitfalls of Steering Vectors

Titel: Analyse van de Veiligheidsvalkuilen van Stuurvectoren (Steering Vectors)

Auteurs: Yuxiao Li, Alina Fastowski, et al. (Technische Universiteit München)

1. Het Probleem

Activeringssturing (Activation Steering) is een krachtige techniek om het gedrag van Large Language Models (LLMs) te beïnvloeden zonder de modelgewichten bij te werken. Door vectoren toe te voegen aan de activeringen tijdens de inferentie, kunnen eigenschappen zoals waarheidsgetrouwheid of politieke voorkeur worden beïnvloed.

Hoewel de onbetrouwbaarheid en breekbaarheid van deze techniek (bijv. gebrek aan generalisatie) al bekend zijn, is de veiligheidsimplicatie onderbelicht. De auteurs onderzoeken of stuurvectoren de veiligheidsuitlijning (safety alignment) van LLMs ondermijnen. Het centrale probleem is dat sturing, die bedoeld is om gedrag te controleren, onbedoeld de weerbaarheid van het model tegen "jailbreak"-aanvallen (pogingen om veiligheidsfilters te omzeilen) kan verzwakken.

2. Methodologie

De auteurs voeren een systematisch veiligheidsaudit uit met de volgende opzet:

• Techniek: Ze gebruiken Contrastive Activation Addition (CAA) om stuurvectoren te genereren. Deze vectoren worden berekend door het verschil in activeringen te nemen tussen positieve en negatieve voorbeelden van een bepaald gedrag (bijv. "zelfbewustzijn" vs. "geen zelfbewustzijn").
• Modellen: Er wordt getest op 6 open-source modellen van verschillende families en groottes (3B tot 32B parameters), waaronder Llama-2, Gemma en Qwen2.5.
• Benchmark: JailbreakBench wordt gebruikt als dataset met 100 schadelijke en onschadelijke voorbeelden.
• Aanvalsscenario's: Twee lichte, template-gebaseerde aanvallen worden gebruikt om de veiligheid te testen:
  1. Prefix Injection: Een zinnen wordt voorgevoegd die het model moet herhalen voordat het antwoordt.
  2. Refusal Suppression: De prompt verbiedt expliciet excuses, disclaimers of taal die weigering aangeeft.
• Metingen:
  • Attack Success Rate (ASR): Het percentage schadelijke vragen waarop het model een onveilig antwoord geeft.
  • False Refusal Rate (FRR): Het percentage onschadelijke vragen die ten onrechte worden geweigerd.
• Analyse: De auteurs analyseren de geometrische relatie tussen de stuurvectoren en de interne "weigerrichting" (refusal direction) van het model, die wordt afgeleid uit activeringen op schadelijke versus onschadelijke prompts.

3. Belangrijkste Bijdragen

1. Systematisch Veiligheidsaudit: Eerste uitgebreide audit die laat zien dat stuurvectoren de ASR systematisch beïnvloeden, met variaties tot +57% (meer kwetsbaar) of -50% (minder kwetsbaar), afhankelijk van de richting.
2. Mechanistische Oorzaak: De auteurs identificeren dat het veiligheidsverlies niet semantisch is (gebaseerd op de betekenis van het gedrag), maar geometrisch. Het effect hangt samen met de overlap tussen de stuurvector en de interne weigerrichting van het model.
3. Causaal Bewijs: Door de component van de stuurvector die parallel loopt aan de weigerrichting te verwijderen (ablatie), wordt het negatieve effect op de veiligheid aanzienlijk verminderd. Dit bevestigt de causale link.
4. Trade-off: Er wordt een fundamenteel compromis blootgelegd tussen controleerbaarheid (het vermogen om gedrag te sturen) en veiligheid.

4. Resultaten

• Versterking van Aanvallen: Sturing verhoogt de succeskans van jailbreak-aanvallen aanzienlijk, vooral bij grotere modellen en bij gebruik van eenvoudige templates. Bijvoorbeeld, bij Qwen-14B kan sturing naar "Zelfbewustzijn" de ASR van 4% (zonder sturing) verhogen tot 80% in combinatie met een prefix-injectie-aanval.
• Geometrische Overlap: Er is een sterke negatieve correlatie gevonden tussen de cosine-sondering (cosine similarity) van een stuurvector met de weigerrichting en de ASR.
  • Vectoren die tegengesteld zijn aan de weigerrichting (negatieve correlatie) ondermijnen de veiligheid (hoge ASR).
  • Vectoren die overeenkomen met de weigerrichting (positieve correlatie) verhogen de veiligheid (lage ASR).
  • Deze correlatie verklaart meer dan 85% van de variantie in de ASR-slope voor modellen groter dan 3B.
• Schaal-effect: Grotere modellen (bijv. 32B) zijn gevoeliger voor deze geometrische interferentie dan kleinere modellen.
• Bijwerkingen op Onschadelijke Prompts: Het manipuleren van de weigerrichting heeft neveneffecten. Vectoren die de veiligheid ondermijnen, leiden ook tot minder weigeringen van onschadelijke vragen (lagere FRR), terwijl vectoren die de veiligheid versterken, leiden tot overmatige weigeringen (hoge FRR).
• Mitigatie: Het verwijderen van de weigering-gerelateerde component uit de stuurvector (via projectie-ablatie) vermindert de verandering in ASR met gemiddeld 15-25%, maar herstelt de baseline veiligheid niet volledig. Dit suggereert dat de veiligheidsruimte multidimensionaal is.

5. Betekenis en Conclusie

Dit onderzoek onthult een nieuwe klasse van kwetsbaarheden in LLMs: stuurvectoren zijn niet veiligheids-neutraal.

• Geometrische Kwetsbaarheid: De veiligheidsuitlijning van LLMs is geometrisch kwetsbaar. Omdat stuurvectoren direct in de residu-stream (residual stream) worden ingebracht, kunnen ze onbedoeld de subruimte van "weigering" verstoren die essentieel is voor veiligheid.
• Nieuwe Risico's: Zelfs vectoren die bedoeld zijn voor onschadelijke doeleinden (zoals het verbeteren van "zelfbewustzijn" of "openheid") kunnen, vanwege hun geometrische positie, het model kwetsbaar maken voor aanvallen.
• Toekomstige Richting: De auteurs pleiten voor het ontwikkelen van "inherent veilige" stuurmethoden die rekening houden met de veiligheidsgeometrie van het model. Het is cruciaal om te begrijpen dat controleerbaarheid en veiligheid in een spanningsveld kunnen staan, en dat sturing zonder voorzorgsmaatregelen een aanzienlijk veiligheidsrisico vormt.

Kortom, de paper waarschuwt dat het gebruik van activeringssturing in de praktijk de veiligheid van LLMs kan ondermijnen, en biedt een mechanistische verklaring en een eerste stap naar mitigatie.