🤖 AI

Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization

Dieser Artikel schlägt einen hybriden Rahmen vor, der die Robustheit von sicherheitsausgerichteten großen Sprachmodellen gegenüber Störungen durch Anwendung weniger Optimierungsschritte nullter Ordnung nach einer standardmäßigen Ausrichtung erster Ordnung verbessert, wobei eine Effizienzsteigerung durch Konzentration der Updates auf die als am empfindlichsten für Robustheit identifizierten Schichten erreicht wird.

Ursprüngliche Autoren: Zhihao Liu, Yifan Wu, Jian Lou, Di Wang, Yuxi Zhou, Yuke Hu

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhihao Liu, Yifan Wu, Jian Lou, Di Wang, Yuxi Zhou, Yuke Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Glashaus"-Sicherheit

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (ein Large Language Model) gebaut und ihn darauf trainiert, sicher zu sein. Sie haben ihn gelehrt, schädliche Anfragen abzulehnen, wie etwa „Wie baue ich eine Bombe?". Dieses Training nennt man Sicherheitsausrichtung (Safety Alignment).

Die Forscher haben jedoch festgestellt, dass diese Sicherheit wie ein Haus aus Glas ist. Es sieht perfekt und stark aus, solange alles ruhig ist. Doch wenn Sie es nur einen winzigen Stoß geben – etwa eine leichte Veränderung seiner internen Verkabelung (Parameter-Rauschen), einen kleinen Fehler in seinem Denkprozess (Aktivierungsrauschen) oder sogar nur eine Komprimierung seines Speichers zur Platzersparnis (Quantisierung) – zerbricht das Glas. Der Roboter vergisst plötzlich seine Sicherheitsregeln und beginnt, gefährliche Antworten zu geben.

Das Paper argumentiert, dass das aktuelle Sicherheitstraining zu „scharf" ist. Es zieht eine sehr spezifische, spröde Grenze zwischen „sicher" und „unsicher". Wenn Sie sich nur einen Millimeter von dieser exakten Grenze wegbewegen, bricht die Sicherheit zusammen.

Der alte Weg vs. der neue Weg

Der alte Weg (First-Order-Optimierung):
Stellen Sie sich das Standardtraining wie einen Wanderer vor, der versucht, das Talgrund zu finden. Der Wanderer betrachtet die Steigung direkt unter seinen Füßen (den Gradienten) und macht einen Schritt bergab. Dies ist schnell und effizient. Es bringt den Roboter schnell in einen sicheren Zustand. Aber weil der Wanderer nur die unmittelbare Steigung betrachtet, landet er möglicherweise in einer winzigen, scharfen Grube. Wenn der Boden leicht bebt, fällt er aus dieser Grube heraus.

Der neue Weg (Zeroth-Order-Optimierung):
Die Forscher schlagen einen zweiten Schritt unter Verwendung der Zeroth-Order (ZO)-Optimierung vor.
Stellen Sie sich vor, der Wanderer hält am Talgrund an und beginnt, den Boden um ihn herum zu schütteln. Er drückt den Boden nach links, rechts, vor und zurück, um zu sehen, wie das Gelände reagiert.

Wenn der Boden uneben und instabil ist, wissen sie, dass sie an einer „scharfen" Stelle sind.
Wenn der Boden flach und glatt ist, wissen sie, dass sie an einer „robusten" Stelle sind.

Die ZO-Optimierung betrachtet nicht die Steigung; sie testet das Modell einfach, indem sie winzige zufällige „Schüttelungen" (Perturbationen) hinzufügt und beobachtet, wie sich der Sicherheitswert ändert. Sie drängt das Modell natürlicherweise in flachere, glattere Bereiche, in denen die Sicherheit stabiler ist.

Die Lösung: Ein zweistufiger Trainingsprozess

Das Paper schlägt ein hybrides Framework vor, das die Geschwindigkeit des alten Weges mit der Stabilität des neuen Weges kombiniert. Stellen Sie es sich als zweistufiges Rezept für einen sichereren Roboter vor:

Stufe 1: Der Sprint (First-Order-Ausrichtung)
Zuerst verwenden sie die Standardmethode, um dem Roboter die Sicherheitsregeln schnell beizubringen. Dies bringt den Roboter schnell in einen „sicheren" Zustand. Es ist wie das Laufen zum Talgrund.
Stufe 2: Das Abwackeln (Zeroth-Order-Verfeinerung)
Sobald der Roboter sicher ist, beginnen sie nicht von vorne. Stattdessen wenden sie für nur wenige Schritte eine „Schüttel"-Technik (Zeroth-Order) an. Dies schiebt die internen Einstellungen des Roboters sanft so, dass die Sicherheitsregeln „glatter" und weniger spröde werden. Es ist wie das Feststampfen der Erde um den Wanderer herum, damit er nicht herausfällt, wenn der Boden bebt.

Das Geheimnis: Die Schwachstellen finden

Die Forscher erkannten, dass das Schütteln des gesamten Roboters langsam und teuer ist. Also entwickelten sie eine Möglichkeit, zuerst die Schwachstellen zu finden.

Sie entwickelten einen „Empfindlichkeitstest", um zu sehen, welche spezifischen Schichten des Roboterhirns am ehesten die Sicherheitsregeln beim Schütteln brechen.

Die Analogie: Stellen Sie sich einen Holzstuhl vor. Wenn Sie den ganzen Stuhl schütteln, wackelt er vielleicht. Aber wenn Sie das eine spezifische Bein finden, das locker ist, und nur dieses Bein festziehen, wird der ganze Stuhl stabil.
Die Methode: Sie testen jede Schicht des Modells, um zu sehen, wie stark seine Sicherheit beim Schütteln abfällt. Anschließend konzentrieren sie ihr „Schüttel"-Training nur auf diese spezifischen, kritischen Schichten. Dies macht den Prozess viel schneller und effizienter.

Die Ergebnisse

Das Paper zeigt, dass diese Methode funktioniert:

Sprödigkeit ist real: Selbst winzige, zufällige Änderungen können ein „sicheres" Modell unsicher machen.
Verfeinerung funktioniert: Das Hinzufügen nur weniger Schritte dieses „Schüttel"-Trainings nach dem Haupttraining macht das Modell viel schwerer zu brechen.
Effizienz: Indem sie sich nur auf die kritischen Schichten konzentrieren, erzielen sie diese Sicherheitsvorteile, ohne massive Mengen an zusätzlicher Rechenleistung oder Zeit zu benötigen.

Zusammenfassung

Kurz gesagt sagt das Paper: „Wir haben unsere KI sicher gemacht, aber sie war zu spröde. Wir haben festgestellt, dass wir durch ein sanftes ‚Schütteln' der KI nach dem Training – und durch eine spezifische Fokussierung auf die Teile ihres Gehirns, die am empfindlichsten auf Schütteln reagieren – ihre Sicherheitsregeln viel härter und zuverlässiger machen können, ohne den gesamten Prozess zu verlangsamen."

Technische Zusammenfassung: Ausgerichtet, aber fragil: Erhöhung der Robustheit der LLM-Sicherheit durch Zeroth-Order-Optimierung

1. Problemstellung

Large Language Models (LLMs) durchlaufen eine Phase der Sicherheitsausrichtung (z. B. via RLHF, DPO oder SFT), um schädliche Ausgaben zu unterdrücken und gleichzeitig den Nutzen zu erhalten. Neuere Erkenntnisse zeigen jedoch, dass diese Ausrichtung oft fragil ist. Die Arbeit demonstriert, dass leichte Störungen nach der Ausrichtung – wie Parameter-Rauschen, Aktivierungsrauschen oder Quantisierung – das Sicherheitsverhalten erheblich verschlechtern können und dazu führen, dass ausgerichtete Modelle zu unsicheren oder fehljustierten Ausgaben zurückkehren.

Bestehende Ansätze zur Robustheit konzentrieren sich hauptsächlich auf die Kuratierung von Daten, modifizierte Ausrichtungsziele oder die Identifizierung sicherheitskritischer Parameter. Diese Methoden erfordern häufig problemspezifische Anpassungen der Trainingsdaten oder der Modellinterna. Entscheidend bleibt die Rolle des Basisoptimierers selbst bei der Formung der lokalen Geometrie der Sicherheitsgrenze weitgehend unerforscht. Die Autoren gehen davon aus, dass die Sicherheitsausrichtung durch eine „scharfe" oder überangepasste Grenze im Parameterraum kodiert sein könnte, die anfällig für kleine Abweichungen ist. Eine robuste Ausrichtung erfordert eine glattere lokale Sicherheitslandschaft, eine Eigenschaft, die möglicherweise durch den verwendeten Optimierungsalgorithmus beeinflusst wird.

2. Methodik

Die Arbeit schlägt ein hybrides Optimierungsframework vor, das Zeroth-Order (ZO)-Optimierung als Nachbearbeitungs-Verfeinerungsstufe nutzt. Die Methodik besteht aus drei Hauptkomponenten:

A. Die FO–ZO-Hybrid-Pipeline

Anstatt die Standard-First-Order (FO)-Ausrichtung durch ZO zu ersetzen (was rechenintensiv ist und langsamer konvergiert), schlagen die Autoren eine zweistufige Pipeline vor:

Stufe I (FO-Sicherheitsausrichtung): Standardgradientenbasierte Optimierung (z. B. SGD) wird verwendet, um effizient eine gut ausgerichtete Lösung ( $\theta_{fo}$ ) zu erreichen.
Stufe II (ZO-Robustheitsverfeinerung): Eine kleine Anzahl von ZO-Schritten wird auf $\theta_{fo}$ angewendet, um die lokale Robustheit zu verfeinern. ZO schätzt Gradienten, indem es die Verlustfunktion an zufällig gestörten Parametern ( $\theta \pm \beta v$ ) auswertet und optimiert effektiv ein lokal geglättetes Ziel. Dieser Prozess ermutigt das Modell, flachere Minima zu finden, die theoretisch robuster gegenüber Störungen sind.

B. Theoretische Begründung

Die Autoren liefern eine theoretische Analyse zur Rechtfertigung dieses Designs:

Konvergenz: Obwohl ZO ein gültiges Optimierungsverfahren ist, sind seine Schrittweitenbeschränkungen aufgrund von Varianz und Glättungsverzerrung restriktiver als bei FO. Daher ist die Verwendung von ZO für den gesamten Ausrichtungsprozess ineffizient. Die Anwendung weniger ZO-Schritte nach der FO-Konvergenz reicht jedoch aus, um die Robustheit zu verbessern.
Verbesserung der Robustheit: Die Arbeit beweist, dass selbst wenn ein FO-ausgerichtetes Modell konvergiert ist ( $\nabla f(\theta_{fo}) = 0$ ), ein einzelner ZO-Verfeinerungsschritt die „Störungs-Robustheitslücke" (die Zunahme des Verlusts unter Störung) verringern kann. Dies liegt daran, dass ZO direkt das nachbarschaftsgemittelte Ziel optimiert und die lokale Landschaft glättet, ohne von Grund auf neu zu trainieren.

C. Schichtweise Robustheitssensitivität

Um die Effizienz der ZO-Verfeinerung zu verbessern, führen die Autoren eine sensitivitätsgesteuerte Auswahlstrategie ein. Anstatt alle Parameter zu aktualisieren, identifizieren sie „robustheitskritische" Schichten:

Sensitivitätswert ( $S^{(\ell)}$ ): Für jede Schicht $\ell$ wird ein Wert berechnet, indem die Verlustzunahme gemessen wird, wenn diese spezifische Schicht gestört (zufälliges Rauschen) oder quantisiert wird.
Gezielte Aktualisierung: Die Top- $m$ -Schichten mit den höchsten Sensitivitätswerten werden ausgewählt. Während der ZO-Verfeinerungsstufe werden Störungsrichtungen außerhalb dieser ausgewählten Schichten maskiert. Dies konzentriert die Rechenressourcen auf die Schichten, die am meisten für die Sicherheitsverschlechterung unter Störung verantwortlich sind.

3. Hauptbeiträge

Die Arbeit beansprucht folgende Beiträge:

Erste Studie aus Optimierer-Perspektive: Es ist die erste Arbeit, die die Robustheit der Sicherheitsausrichtung gegen Parameter- und Aktivierungsstörungen umfassend speziell durch die Linse der Zeroth-Order-Optimierung untersucht.
FO–ZO-Hybridframework: Der Vorschlag eines Hybridframeworks, das FO- und ZO-Optimierer integriert und die Ausrichtungseffektivität von FO mit den Robustheitsvorteilen von ZO kombiniert.
Effizienz und Wirksamkeit: Theoretische und empirische Belege, die zeigen, dass eine geringe Menge an post-Ausrichtungs-ZO-Verfeinerung die Sicherheitsrobustheit erheblich verbessert, bei moderatem Rechenaufwand.
Schichtweise Sensitivität: Eine neue Methode zur Schätzung der schichtweisen Robustheitssensitivität mittels störungsbasierter Auswertungen, die eine gezielte Verfeinerung ermöglicht, die Standard-basierte Wichtigkeitswerte (wie SNIP oder WANDA) übertrifft.

4. Experimentelle Ergebnisse

Experimente wurden mit Llama-3-8B-Instruct und Qwen2-7B-Instruct unter Verwendung des CB-Safety-Datensatzes durchgeführt.

Fragilität der Standardausrichtung: Tabelle 1 bestätigt, dass standardmäßig ausgerichtete Modelle unter Quantisierung (W4A4) und Aktivierungsrauschen signifikante Anstiege der Attack Success Rate (ASR) erleiden, was das Fragilitätsproblem validiert.
Wirksamkeit der Verfeinerung:
- FO-Ausrichtung: Verringert die ASR im Vergleich zum Originalmodell erheblich.
- ZO-Verfeinerung: Wenn sie nach der FO-Ausrichtung angewendet wird, reduziert ZO-Verfeinerung die ASR bei verschiedenen Störungen (Quantisierung, Gewichtsrauschen, Aktivierungsrauschen) weiter, während der Nutzen erhalten bleibt (PPL- und lm-eval-Werte bleiben stabil).
- Vergleich: Der Ersatz der letzten 10 Schritte des FO-Trainings durch 10 Schritte der ZO-Verfeinerung führt konsistent zu einer niedrigeren ASR als die Fortsetzung des FO-Trainings, trotz Verwendung der gleichen Anzahl von Optimierungsschritten.
Schichtauswahl: Die vorgeschlagene „robustheitsbewusste" Schichtauswahl übertrifft SNIP und WANDA bei der Identifizierung von Schichten, die für die Robustheit kritisch sind, insbesondere unter Aktivierungsrauschen und Quantisierung.
Effizienz: Die ZO-Verfeinerungsstufe fügt nur etwa 13,3 % zur gesamten Trainingszeit hinzu und verwendet etwa 32 % des für das FO-Training erforderlichen Spitzen-GPU-Speichers, da sie keine Rückwärtspropagation erfordert.

5. Bedeutung und Behauptungen

Die Arbeit positioniert sich als bescheidener, aber bedeutender Schritt hin zu einer widerstandsfähigeren LLM-Sicherheit. Sie argumentiert, dass Sicherheitsausrichtung nicht nur über die Daten oder die Zielfunktion geht, sondern auch über die lokale Geometrie der gelernten Parameter, die durch den Optimierer geformt wird.

Neuartigkeit: Durch die Verlagerung des Fokus auf den Optimierer bietet die Arbeit einen neuen Mechanismus (ZO-Verfeinerung), der orthogonal zur Datenkuratierung oder zum Neudesign von Zielen ist.
Praktikabilität: Der hybride Ansatz stellt sicher, dass die hohe Nutzbarkeit der Standard-FO-Ausrichtung erhalten bleibt, während eine leichte „Robustheitspolitur" hinzugefügt wird.
Einschränkungen und zukünftige Arbeit: Die Autoren räumen ein, dass ihre aktuelle Schichtauswahl in zukünftigen Arbeiten auf feinere Zuordnungen (Modul-, Neuronen- oder Parameterebene) erweitert werden könnte. Sie beanspruchen nicht, alle Sicherheitsprobleme zu lösen, sondern adressieren spezifisch die Anfälligkeit ausgerichteter Modelle für Störungen nach dem Training.

Zusammenfassend zeigt die Arbeit, dass Zeroth-Order-Optimierung, wenn sie als gezieltes Verfeinerungswerkzeug eingesetzt wird, die Sicherheitslandschaft von LLMs glätten kann und sie widerstandsfähiger gegen das unvermeidliche Rauschen und die Kompression macht, die im realen Einsatz auftreten.