Technische Samenvatting: LLM-VA

Probleemstelling

Veiligheidsgealigneerde Large Language Models (LLM's) lijden momenteel aan twee verschillende faalmodi: jailbreak (het beantwoorden van schadelijke inputs) en over-weigering (onnodig afwijzen van onschadelijke queries). Bestaande efficiënte methoden voor veiligheidsalignatie, specifiek vector steering, proberen de latente ruimte van het model te manipuleren door de grootte van het "antwoordvector" ($v_a$) aan te passen. De auteurs identificeren echter een fundamentele afweging in deze aanpak: het verkleinen van de grootte van $v_a$ onderdrukt jailbreaks maar verhoogt over-weigering, terwijl het versterken ervan het tegenovergestelde effect heeft.

De oorzaak van deze afweging wordt geïdentificeerd als een structurele ontkoppeling binnen het model. De auteurs tonen aan dat LLM's de beslissing om te antwoorden ($v_a$) en de beoordeling van inputveiligheid ($v_b$, of "onschadelijke vector") coderen als bijna orthogonale richtingen (ongeveer 90°) over de lagen heen. Omdat deze vectoren orthogonaal zijn, behandelt het model de bereidheid om te antwoorden en de beoordeling van veiligheid als onafhankelijke processen. Bijgevolg beïnvloeden aanpassingen op basis van grootte zowel onschadelijke als giftige inputs evenredig, waardoor het onmogelijk is om gelijktijdig jailbreaks en over-weigering te onderdrukken zonder fine-tuning of architecturale wijzigingen.

Methodologie: LLM-VA

De auteurs stellen LLM-VA (Large Language Model Vector Alignment) voor, een methode die deze afweging oplost door $v_a$ uit te lijnen met $v_b$ via gesloten-vorm gewichtsupdates, zonder dat gradiëntgebaseerde optimalisatie, fine-tuning of architecturale modificaties nodig zijn. Het kerninzicht is om de bereidheid van het model om te antwoorden causaal afhankelijk te maken van diens veiligheidsbeoordeling.

De methode verloopt in drie stappen:

1. Vectoridentificatie via SVM's:
   In plaats van vectoren uit de uiteindelijke residual stream te extraheren (die alle lagen aggregeert), identificeert LLM-VA vectoren op elke laag. Het traint lineaire Support Vector Machines (SVM's) op laaguitkomsten om te scheiden:

   • Onschadelijke versus giftige inputs (leverend de onschadelijke vector $v_b$).
   • Beantwoorde versus geweigerde samples (leverend de antwoordvector $v_a$).
     De normaalvectoren van de maximum-margin hypervlakken leveren robuuste controlevectoren op, die minder gevoelig zijn voor extreme punten dan eenvoudige richtingen van gemiddelde verschillen.

2. Laagselectie:
   Niet alle lagen dragen evenveel bij aan veiligheidsbeslissingen. De methode berekent een score voor elke laag op basis van:

   • Invloed: De uitlijning van de vectoren van de laag met de vectoren van de uiteindelijke residual stream.
   • Nauwkeurigheid: De SVM-classificatienauwkeurigheid voor het scheiden van onschadelijke/giftige en antwoord/weigeren-samples.
     De bovenste $L_{select}$ lagen met de hoogste gecombineerde scores worden geselecteerd voor modificatie.

3. Vectoruitlijning (Gesloten-vorm Update):
   Voor de geselecteerde lagen wijzigt de methode de down-projection matrix $W$ om $v_a$ uit te lijnen met $v_b$. Het doel is ervoor te zorgen dat voor elke input de projectie op de antwoordrichting evenredig is aan de projectie op de veiligheidsrichting.
   De update $\Delta$ wordt analytisch afgeleid met behulp van de pseudoinverse om de norm van de gewijzigde gewichten te minimaliseren:
   $$\Delta = \left( \frac{\sigma_a}{\sigma_b} W v_b - W v_a \right) v_a^T$$
   waarbij $\sigma_a$ en $\sigma_b$ de standaardafwijkingen zijn van de projecties. Dit proces wordt iteratief uitgevoerd (tot 30 keer), waarbij in elke stap vectoren opnieuw worden geëxtraheerd uit het gewijzigde model om rekening te houden met verschuivingen in opeenvolgende lagen, met vroege stopzetting op basis van validatie F1-scores.

Belangrijkste Bijdragen

• Nieuwe Vector Steering: LLM-VA wordt gepresenteerd als de eerste vector steering-methode die gelijktijdig jailbreak en over-weigering aanpakt door antwoord- en onschadelijke vectoren uit te lijnen, in plaats van uitsluitend groottes aan te passen.
• Geen Fine-tuning of Architectuurwijzigingen: De methode bereikt veiligheidsalignatie via gesloten-vorm gewichtsupdates, waardoor de rekenkosten van hertraining en de complexiteit van het invoegen van hook-lagen worden vermeden (in tegenstelling tot methoden zoals SCANS of CAST).
• Automatische Adaptatie: De methode past zich automatisch aan de specifieke veiligheidsbias van verschillende modellen aan. Voor modellen die vatbaar zijn voor jailbreaks prioriteert het veiligheid; voor te conservatieve modellen prioriteert het bruikbaarheid, zonder handmatige hyperparameter-tuning voor specifieke modellen.
• Brede Toepasbaarheid: De aanpak is gevalideerd op 12 LLM's uit 5 verschillende model families (Llama, Gemma, Mistral, Phi, Qwen) met parametergroottes variërend van 3B tot 14B.

Experimentele Resultaten

Experimenten op 12 LLM's tonen het volgende aan:

• Oplossing van de Afweging: LLM-VA bereikt een gemiddelde F1-score van 0,77, wat een relatieve verbetering van 37,02% vertegenwoordigt ten opzichte van de originele modellen en een verbetering van 11,45% ten opzichte van de beste baseline (AlphaSteer). Het reduceert gelijktijdig de Attack Success Rate (ASR) met 18,50% en de Over-Refusal Rate (ORR) met 22,00%.
• Behoud van Nut: De methode behoudt gemiddeld 95,92% van het nut van het originele model over diverse NLP-taken (grammatica, inferentie, sentiment, wiskunde). Dit presteert beter dan baselines zoals SCANS (die een nutverlies van ongeveer 40% leden) en VectorSteer.
• Ablatie-inzichten:
  • Vectornauwkeurigheid: Nauwkeurige identificatie van vectoren via SVM's is cruciaal; het randomiseren van vectoren met 90° veroorzaakt een significante daling in F1.
  • Aantal Iteraties: Convergentie varieert per model; sommige modellen (bijv. Phi-4) zijn gevoelig voor over-modificatie, terwijl andere (bijv. Qwen3) profiteren van meer iteraties.
  • Laagselectie: Het wijzigen van te veel lagen of vroege lagen verslechtert het nut, wat bevestigt dat latere lagen kritischer zijn voor veiligheidsbeslissingen terwijl vroege lagen algemene capaciteiten behouden.

Betekenis en Aanspraken

Het artikel beweert dat LLM-VA fundamenteel de afweging tussen jailbreak en over-weigering oplost door de structurele onafhankelijkheid van veiligheids- en antwoordbeslissingen in LLM's aan te pakken. Door deze beslissingsvectoren geometrisch uit te lijnen, zorgt de methode ervoor dat het model alleen antwoordt wanneer het de input veilig acht, en weigert wanneer het de input giftig acht, zonder de noodzaak van dure hertraining.

De auteurs positioneren dit als een belangrijke stap naar efficiënte veiligheidsalignatie, waarbij een "plug-and-play"-oplossing wordt geboden die het nut van het model behoudt terwijl de veiligheidsmetrieken aanzienlijk worden verbeterd. Echter, erkennen ze nederig beperkingen, waaronder de afhankelijkheid van binaire toxiciteitsaannames, de noodzaak van gelabelde trainingsdata voor SVM's, uitdagingen met redeneringsmodellen (Chain-of-Thought), en het huidige gebrek aan overdraagbaarheid over ongezette datasets zonder specifieke tuning. Zij merken ook op dat de statische aard van de uitlijning periodieke updates kan vereisen naarmate het dreigingslandschap evolueert.