Technische Zusammenfassung: LLM-VA

Problemstellung

Sicherheitsausgerichtete Large Language Models (LLMs) leiden derzeit unter zwei distincten Fehlermodi: Jailbreaks (Beantwortung schädlicher Eingaben) und übermäßige Verweigerung (unnötiges Ablehnen harmloser Anfragen). Bestehende effiziente Methoden zur Sicherheitsausrichtung, insbesondere Vector Steering, versuchen, den latenten Raum des Modells zu manipulieren, indem sie die Magnitude des „Antwortvektors" ($v_a$) anpassen. Die Autoren identifizieren jedoch einen fundamentalen Zielkonflikt in diesem Ansatz: Eine Verringerung der Magnitude von $v_a$ unterdrückt Jailbreaks, erhöht aber die übermäßige Verweigerung, während eine Verstärkung den gegenteiligen Effekt hat.

Die Ursache dieses Zielkonflikts wird als strukturelle Entkopplung innerhalb des Modells identifiziert. Die Autoren zeigen, dass LLMs die Entscheidung zu antworten ($v_a$) und die Bewertung der Eingabesicherheit ($v_b$, oder „harmloser Vektor") als nahezu orthogonale Richtungen (ca. 90°) über die Schichten hinweg kodieren. Da diese Vektoren orthogonal sind, behandelt das Modell die Bereitschaft zu antworten und die Sicherheitsbewertung als unabhängige Prozesse. Folglich wirken magnitudebasierte Anpassungen gleichermaßen auf harmlose und toxische Eingaben, was es unmöglich macht, gleichzeitig Jailbreaks und übermäßige Verweigerung zu unterdrücken, ohne Fine-Tuning oder architektonische Änderungen vorzunehmen.

Methodik: LLM-VA

Die Autoren schlagen LLM-VA (Large Language Model Vector Alignment) vor, eine Methode, die diesen Zielkonflikt löst, indem sie $v_a$ durch geschlossene Form-Gewichtsaktualisierungen an $v_b$ ausrichtet. Dies erfordert keine gradientenbasierte Optimierung, kein Fine-Tuning und keine architektonischen Modifikationen. Der Kerngedanke besteht darin, die Bereitschaft des Modells zu antworten kausal von seiner Sicherheitsbewertung abhängig zu machen.

Die Methode läuft in drei Schritten ab:

1. Vektoridentifikation via SVMs:
   Anstatt Vektoren aus dem finalen Residualstream (der alle Schichten aggregiert) zu extrahieren, identifiziert LLM-VA Vektoren in jeder Schicht. Es trainiert lineare Support Vector Machines (SVMs) auf Schichtausgaben, um zu trennen:

   • Harmlose vs. toxische Eingaben (liefert den harmlosen Vektor $v_b$).
   • Beantwortete vs. abgelehnte Stichproben (liefert den Antwortvektor $v_a$).
     Die Normalvektoren der Maximum-Margin-Hyperebenen liefern robuste Steuervektoren, die weniger empfindlich gegenüber Extremwerten sind als einfache Mittelwertdifferenz-Richtungen.

2. Schichtauswahl:
   Nicht alle Schichten tragen gleichermaßen zu Sicherheitsentscheidungen bei. Die Methode berechnet einen Score für jede Schicht basierend auf:

   • Einfluss: Die Ausrichtung der Vektoren der Schicht mit den Vektoren des finalen Residualstreams.
   • Genauigkeit: Die SVM-Klassifizierungsgenauigkeit bei der Trennung von harmlosen/toxischen und beantworteten/abgelehnten Stichproben.
     Die obersten $L_{select}$ Schichten mit den höchsten kombinierten Scores werden für die Modifikation ausgewählt.

3. Vektorausrichtung (Geschlossene Form-Aktualisierung):
   Für die ausgewählten Schichten modifiziert die Methode die Down-Projektionsmatrix $W$, um $v_a$ an $v_b$ auszurichten. Das Ziel ist sicherzustellen, dass für jede Eingabe die Projektion in die Antwortrichtung proportional zur Projektion in die Sicherheitsrichtung ist.
   Die Aktualisierung $\Delta$ wird analytisch unter Verwendung der Pseudoinversen abgeleitet, um die Norm der Gewichtsänderung zu minimieren:
   $$\Delta = \left( \frac{\sigma_a}{\sigma_b} W v_b - W v_a \right) v_a^T$$
   wobei $\sigma_a$ und $\sigma_b$ die Standardabweichungen der Projektionen sind. Dieser Prozess wird iterativ (bis zu 30 Mal) durchgeführt, wobei in jedem Schritt Vektoren aus dem modifizierten Modell neu extrahiert werden, um Verschiebungen in nachfolgenden Schichten zu berücksichtigen, mit einem Early Stopping basierend auf den F1-Scores der Validierung.

Hauptbeiträge

• Neuartiges Vector Steering: LLM-VA wird als erste Vector-Steering-Methode vorgestellt, die gleichzeitig Jailbreaks und übermäßige Verweigerung adressiert, indem sie Antwort- und harmlose Vektoren ausrichtet, anstatt lediglich Magnituden anzupassen.
• Kein Fine-Tuning oder Architekturänderungen: Die Methode erreicht eine Sicherheitsausrichtung durch geschlossene Form-Gewichtsaktualisierungen, vermeidet die Rechenkosten des Neutrainings und die Komplexität des Einfügens von Hook-Schichten (im Gegensatz zu Methoden wie SCANS oder CAST).
• Automatische Anpassung: Die Methode passt sich automatisch der spezifischen Sicherheitsverzerrung verschiedener Modelle an. Bei zu Jailbreaks neigenden Modellen priorisiert sie die Sicherheit; bei übermäßig konservativen Modellen priorisiert sie die Benutzerfreundlichkeit, ohne manuelles Hyperparameter-Tuning für spezifische Modelle.
• Breite Anwendbarkeit: Der Ansatz wurde über 12 LLMs aus 5 verschiedenen Modellfamilien (Llama, Gemma, Mistral, Phi, Qwen) mit Parametern von 3B bis 14B validiert.

Experimentelle Ergebnisse

Experimente an 12 LLMs zeigen Folgendes:

• Lösung des Zielkonflikts: LLM-VA erreicht einen durchschnittlichen F1-Score von 0,77, was einer relativen Verbesserung von 37,02 % gegenüber den Originalmodellen und einer Verbesserung von 11,45 % gegenüber dem besten Baseline (AlphaSteer) entspricht. Es reduziert gleichzeitig die Attack Success Rate (ASR) um 18,50 % und die Over-Refusal Rate (ORR) um 22,00 %.
• Erhaltung der Nützlichkeit: Die Methode bewahrt im Durchschnitt 95,92 % der Nützlichkeit des Originalmodells über diverse NLP-Aufgaben (Grammatik, Inferenz, Sentiment, Mathematik). Dies übertrifft Baselines wie SCANS (die einen Nützlichkeitsverlust von ca. 40 % erlitten) und VectorSteer.
• Ablations-Erkenntnisse:
  • Vektorgenauigkeit: Die genaue Identifikation von Vektoren via SVMs ist kritisch; das Randomisieren von Vektoren um 90° führt zu einem signifikanten F1-Abfall.
  • Iterationsanzahl: Die Konvergenz variiert je nach Modell; einige Modelle (z. B. Phi-4) sind gegenüber übermäßiger Modifikation empfindlich, während andere (z. B. Qwen3) von mehr Iterationen profitieren.
  • Schichtauswahl: Das Modifizieren zu vieler Schichten oder früher Schichten verschlechtert die Nützlichkeit, was bestätigt, dass spätere Schichten kritischer für Sicherheitsentscheidungen sind, während frühe Schichten allgemeine Fähigkeiten erhalten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LLM-VA den Zielkonflikt zwischen Jailbreaks und übermäßiger Verweigerung grundlegend löst, indem es die strukturelle Unabhängigkeit von Sicherheits- und Antwortentscheidungen in LLMs adressiert. Durch die geometrische Ausrichtung dieser Entscheidungsvektoren stellt die Methode sicher, dass das Modell nur dann antwortet, wenn es die Eingabe als sicher erachtet, und ablehnt, wenn es die Eingabe als toxisch erachtet, ohne dass ein teures Neutraining erforderlich ist.

Die Autoren positionieren dies als einen bedeutenden Schritt hin zu einer effizienten Sicherheitsausrichtung und bieten eine „Plug-and-Play"-Lösung an, die die Modellnützlichkeit bewahrt und gleichzeitig die Sicherheitsmetriken erheblich verbessert. Allerdings räumen sie bescheiden Einschränkungen ein, darunter die Abhängigkeit von binären Toxizitätsannahmen, die Notwendigkeit gelabelter Trainingsdaten für SVMs, Herausforderungen bei Reasoning-Modellen (Chain-of-Thought) und das derzeitige Fehlen von Übertragbarkeit auf nicht gesehene Datensätze ohne spezifisches Tuning. Sie weisen zudem darauf hin, dass die statische Natur der Ausrichtung regelmäßige Updates erfordern könnte, da sich die Bedrohungslandschaft weiterentwickelt.