💬 NLP

GradShield: Alignment Preserving Finetuning

GradShield ist eine prinzipgeleitete Filtermethode, die Large Language Models während des Fine-Tunings schützt, indem sie einen Finetuning Implicit Harmfulness Score berechnet, um schädliche Daten zu identifizieren und zu entfernen, wodurch die Sicherheitsausrichtung mit einer Attack Success Rate unter 6 % gewahrt wird, während die Leistungsfähigkeit erhalten bleibt.

Ursprüngliche Autoren: Zhanhao Hu, Xiao Huang, Patrick Mendoza, Emad A. Alghamdi, Basel Alomair, Raluca Ada Popa, David Wagner

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhanhao Hu, Xiao Huang, Patrick Mendoza, Emad A. Alghamdi, Basel Alomair, Raluca Ada Popa, David Wagner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr höflichen, gut trainierten Roboterassistenten (ein Large Language Model oder LLM). Bevor Sie ihn erhalten, wurde der Roboter von seinen Schöpfern bereits darin unterwiesen, hilfreich, ehrlich und sicher zu sein. Er weiß, dass er keine Anweisungen geben darf, wie man eine Bombe baut oder ein Bankkonto hackt. Dies ist seine „Sicherheitsausrichtung".

Sie möchten diesem Roboter jedoch einen neuen Trick beibringen, wie das Zusammenfassen von Nachrichtenartikeln oder das Lösen von Matheproblemen. Um dies zu tun, geben Sie ihm einen neuen Satz von Trainingsbüchern (einen Datensatz) zum Studium. Dieser Prozess wird als Feinabstimmung (fine-tuning) bezeichnet.

Das Problem: Der „schlechte Apfel" im Korb

Das Problem ist, dass Sie möglicherweise nicht bemerken, dass Ihre neuen Trainingsbücher einige versteckte „schlechte Äpfel" enthalten.

Offensichtliche schlechte Äpfel: Diese sind klar erkennbar, wie ein Buch mit dem Titel „Wie man hackt".
Implizite schlechte Äpfel: Diese sind trickreicher. Sie sehen aus wie normale, harmlose Geschichten, lehren den Roboter aber subtil, seine Sicherheitsregeln zu ignorieren. Beispielsweise könnte eine Geschichte, die besagt: „Der Held befolgt immer die Befehle des Bösewichts", dem Roboter versehentlich beibringen, dass er jeden Befehl befolgen soll, sogar gefährliche.

Wenn der Roboter diese schlechten Bücher studiert, könnte er seine Sicherheitsausbildung vergessen. Er könnte beginnen zu sagen: „Sicher, hier ist, wie man ein Bankkonto hackt", wenn Sie ihn danach fragen. Dies ist gefährlich, insbesondere wenn Unternehmen einen Service anbieten, bei dem Benutzer ihre eigenen Daten hochladen, um diese Roboter anzupassen.

Die Lösung: GradShield (Das „Sicherheitsradar")

Die Studie stellt ein Werkzeug namens GradShield vor. Stellen Sie es sich als ein superintelligentes Sicherheitsradar vor, das jede einzelne Seite der neuen Trainingsbücher bevor der Roboter beginnt, sie zu studieren, scannt.

So funktioniert es, unter Verwendung einer einfachen Analogie:

Der „Was-wäre-wenn"-Test (FIHS):
Stellen Sie sich einen Stapel Bücher vor. GradShield stellt für jede Seite eine Frage: „Wenn der Roboter diese spezifische Seite liest, wird er dann weniger sicher?"
Dies geschieht durch die Berechnung eines Wertes namens Finetuning Implicit Harmfulness Score (FIHS).
- Wie dies berechnet wird: Es betrachtet die „Richtung", in die das Gehirn des Roboters gehen möchte, wenn es diese Seite liest. Wenn die Seite versucht, das Gehirn des Roboters in Richtung „unhöflich sein" oder „Regeln ignorieren" zu drängen, und diese Richtung entgegengesetzt zu „sicher sein" ist, erhält die Seite einen hohen „Schädlichkeits"-Wert.
- Die Magie: Es muss dem Roboter die Seite nicht tatsächlich beibringen, um zu wissen, ob sie schlecht ist. Es muss nur die Mathematik betrachten, wie der Roboter reagieren würde.
Der adaptive Filter:
Sobald GradShield alle Seiten bewertet hat, muss es entscheiden, welche verworfen werden sollen.
- Die Herausforderung: Sie wissen nicht, wie viele schlechte Bücher im Haufen sind. Sind es 1 %? 50 %? Wenn Sie den Filter zu streng einstellen, werfen Sie möglicherweise gute Bücher weg und der Roboter wird unbrauchbar. Wenn er zu locker ist, gelangen schlechte Bücher durch.
- Die Lösung: GradShield verwendet eine „intelligente Schätzung und Überprüfung"-Methode (adaptive Schwellenwertbestimmung). Es versucht einen Filter, testet den Roboter, und wenn der Roboter immer noch zu unsicher ist, strafft es den Filter. Wenn der Roboter zu streng ist und seine Intelligenz verliert, lockert es den Filter. Es findet automatisch das perfekte Gleichgewicht.

Die Ergebnisse: Sicher und intelligent

Die Forscher testeten GradShield in vielen verschiedenen Szenarien:

Gegen offensichtliche schlechte Daten: Wenn die Trainingsdaten voller klarer „Anleitungen zum Hacken" waren, filterte GradShield diese perfekt heraus. Der Roboter blieb sicher, lernte aber dennoch, Nachrichten zusammenzufassen und Matheprobleme zu lösen.
Gegen versteckte schlechte Daten: Wenn die Trainingsdaten harmlos aussahen, aber subtile „Sicherheitsbrechende" Lehren enthielten, fing GradShield diese dennoch auf. Andere Methoden (wie einfache Inhaltsfilter) übersahen diese versteckten Gefahren, aber GradShield nicht.
Effizienz: Es ist schnell. Die Berechnung dieser Werte dauert etwa so lange wie das Unterrichten des Roboters für einen ganzen Tag. Dies ist ein kleiner Preis, den man zahlt, um sicherzustellen, dass der Roboter nicht zur Gefahr wird.

Das Fazit

GradShield ist wie ein Qualitätskontrollinspektor für das Robotertraining. Es prüft jedes Stück neuer Information, das ein Roboter lernen soll. Wenn ein Informationsteil so aussieht, als würde es den Roboter dazu bringen, seine Sicherheitsregeln zu vergessen, entfernt GradShield es. Dies stellt sicher, dass selbst wenn Benutzer diese leistungsstarken KI-Tools mit ihren eigenen Daten anpassen, die Roboter hilfreich, intelligent und sicher bleiben.

Technische Zusammenfassung: GradShield – Feinabstimmung zur Erhaltung der Ausrichtung

1. Problemstellung

Large Language Models (LLMs) werden zunehmend auf domänenspezifischen Datensätzen feinabgestimmt, um ihren Nutzen für nachgelagerte Aufgaben zu verbessern. Dieser Prozess führt jedoch zu einer kritischen Sicherheitsanfälligkeit: Selbst geringe Mengen schädlicher Daten (ob explizit bösartig oder implizit schädlich) können dazu führen, dass ein Modell seine Sicherheitsausrichtung katastrophal vergisst und unsichere Inhalte generiert.

Bestehende Minderungsstrategien stoßen auf erhebliche Grenzen:

Inhaltsfilter: Standardwerkzeuge zur Inhaltsmoderation erkennen oft keine „implizite" Schädlichkeit, bei der Daten harmlos erscheinen, aber die Sicherheitsausrichtung während des Trainings untergraben.
Nachträgliche Anpassungen: Methoden, die versuchen, Modelle nach der Feinabstimmung neu auszurichten, haben häufig Schwierigkeiten, den Kompromiss zwischen der Erhaltung des Nutzens und der Wiederherstellung der Sicherheit auszubalancieren.
Einflussfunktionen: Klassische Einflussfunktionen, die die Wirkung von Trainingspunkten messen, beruhen auf Informationen zweiter Ordnung (Inversion der Hesse-Matrix) und sind für nicht-konvexe LLMs rechnerisch prohibitiv.

Die Kernherausforderung besteht darin, schädliche Datenpunkte während des Feinabstimmungsprozesses zu identifizieren und zu entfernen, ohne vorherige Kenntnis der Zusammensetzung des Datensatzes, während der Nutzen des Modells erhalten bleibt.

2. Methodik: GradShield

GradShield ist eine prinzipielle Filtermethode, die entwickelt wurde, um LLMs während der Feinabstimmung zu schützen, indem sie Datenpunkte identifiziert und entfernt, die die Sicherheitsausrichtung verschlechtern. Der Ansatz besteht aus drei Hauptkomponenten:

A. Score für implizite Schädlichkeit bei der Feinabstimmung (FIHS)

GradShield führt eine Metrik namens Score für implizite Schädlichkeit bei der Feinabstimmung (Finetuning Implicit Harmfulness Score, FIHS) ein, um den Einfluss eines spezifischen Datenpunkts auf die Sicherheitsausrichtung des Modells zu quantifizieren.

Theoretische Grundlage: FIHS leitet sich aus dem Prinzip des „Leave-One-Out" ab und misst den Unterschied in den Sicherheitswerten zwischen einem Modell, das auf dem gesamten Datensatz feinabgestimmt wurde, und einem, das auf dem Datensatz ohne einen spezifischen Punkt $x_f$ feinabgestimmt wurde.
Gradientenapproximation: Die direkte Berechnung von Leave-One-Out-Scores ist rechnerisch nicht machbar. GradShield approximiert dies mithilfe einer Gradientenformulierung erster Ordnung. Der FIHS für einen Datenpunkt $x_f$ $x_{f}$ wird als Skalarprodukt berechnet zwischen:
1. Der durch $x_f$ während der Feinabstimmung induzierten Gradientenaktualisierung der Modellgewichte ( $\nabla_\theta L(\theta, x_f)$ ).
2. Dem Gradienten eines differenzierbaren Proxy-Sicherheitswerts, der auf einem zurückgehaltenen Sicherheits-Abfrage-Datenpunkt ausgewertet wird ( $\nabla_\theta S(F_\theta(x_s))$ ).
Proxy-Sicherheitswert: Da Standard-Sicherheitsmetriken (wie die Attack Success Rate) nicht differenzierbar sind, verwendet GradShield einen Proxy, der auf den Logits spezifischer Token basiert. Der Sicherheitswert wird definiert als die Differenz zwischen dem Logit eines sicheren Ablehnungstokens (z. B. „Ich") und eines Compliance-Tokens (z. B. „Sicher"). Empirische Analysen zeigen, dass die Häufigkeit von „Ich" abnimmt und die von „Sicher" zunimmt, wenn die Sicherheitsausrichtung verschlechtert wird, was dies zu einem robusten Signal macht.
Effizienz: Die Berechnung von FIHS erfordert nur einen Gradientendurchgang pro Datenpunkt und verursacht Kosten, die einem einzelnen Epoche der Feinabstimmung entsprechen. Die Methode ist robust gegenüber der Wahl des Abfrage-Datenpunkts; ein einzelner Datenpunkt reicht aus, um einen zuverlässigen Score zu berechnen.

B. Adaptive Schwellenwertbildung

Da die Verteilung schädlicher Daten in von Nutzern hochgeladenen Datensätzen unbekannt ist, ist ein fester Schwellenwert unpraktisch. GradShield employs eine adaptive Schwellenwertstrategie, die die Grenze für das Filtern dynamisch bestimmt:

Verteilungsmodellierung: Der Algorithmus passt die berechneten FIHS-Scores entweder an eine einzelne Gauß-Verteilung oder ein Gauß-Mischmodell mit zwei Komponenten (GMM) an und wählt das Modell mit der höheren Log-Likelihood aus.
Binäre Suche mit Heuristiken: Das System verwendet eine heuristische Schätzung in Kombination mit einer binären Suche, um einen optimalen Schwellenwert zu finden. Es passt den Schwellenwert iterativ basierend auf den Sicherheits- und Nutzenwerten des Modells an, das auf dem gefilterten Teilmenge feinabgestimmt wurde.
- Liegt der Sicherheitswert unter der Toleranzgrenze, wird der Schwellenwert gesenkt, um mehr Daten zu entfernen.
- Fällt der Nutzenwert unter die Toleranzgrenze, wird der Schwellenwert erhöht, um mehr Daten zu behalten.
Konvergenz: In typischen Szenarien reicht eine einzelne Suchiteration aus. Selbst bei hohen Anteilen schädlicher Daten (bis zu 90 %) konvergiert die Methode innerhalb von zwei Iterationen.

C. Algorithmusablauf

Der Prozess (Algorithmus 1) beginnt mit der Überprüfung der Sicherheit des Modells, das auf den Rohdaten feinabgestimmt wurde. Ist der Sicherheitswert bereits akzeptabel, findet kein Filtern statt. Andernfalls werden FIHS-Scores für alle Datenpunkte berechnet. Die adaptive Schwellenwert-Schleife filtert dann den Datensatz und führt die Feinabstimmung des Modells erneut durch, bis die Sicherheits- und Nutzenbedingungen erfüllt sind oder die Anfrage abgelehnt wird.

3. Hauptbeiträge

FIHS-Metrik: Eine rechnerisch effiziente, auf Gradienten erster Ordnung basierende Metrik, die den Leave-One-Out-Einfluss von Datenpunkten auf die Sicherheitsausrichtung approximiert und speziell für die nicht-konvexe Optimierungslandschaft von LLMs zugeschnitten ist.
Differenzierbarer Proxy: Die Verwendung von Token-Logits („Ich" vs. „Sicher") als differenzierbarer Proxy für die Sicherheitsausrichtung, was eine Analyse auf Basis von Gradienten ermöglicht, ohne nicht-differenzierbare Sicherheitsbewerter zu benötigen.
Adaptives Filtern: Ein Schwellenwertmechanismus, der ohne vorherige Kenntnis der Verteilung der Schädlichkeit im Datensatz arbeitet und sich somit für API-Anbieter eignet, die diverse Nutzer-Uploads verarbeiten.
Theoretische Begründung: Ein Beweis (Theorem 3.1), der zeigt, dass der vorgeschlagene gradientenbasierte FIHS unter Standardannahmen (differenzierbarer Sicherheitswert, beschränkte Gradienten, kleine Lernrate) eine gültige Approximation des Leave-One-Out-Maßes für Schädlichkeit ist.

4. Experimentelle Ergebnisse

Die Autoren bewerteten GradShield in mehreren Szenarien unter Verwendung von Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, Llama-2-7B-chat und Qwen2.5-7B-Instruct.

Explizit schädliche Daten: Auf Datensätzen mit explizit schädlichen Abfragen (LATharm, Anthropic Redteaming) reduzierte GradShield die Attack Success Rate (ASR) von ~0,98 (keine Verteidigung) auf 0,01, während hohe Nutzenwerte erhalten blieben. Es übertraf Baseline-Methoden wie OpenAI Moderation, LlamaGuard und SafeLoRA erheblich.
Implizit schädliche Daten: Auf „Identity Shift"-Datensätzen (harmlos aussehende Daten, die die Sicherheit subtil untergraben) reduzierte GradShield die ASR von 0,75 auf 0,01. Baseline-Methoden versagten weitgehend bei der Erkennung dieses impliziten Schadens.
Robustheit gegenüber Vergiftungsquoten: GradShield behielt die Sicherheit (ASR < 0,06) bei, selbst wenn der Trainingsdatensatz bis zu 90 % schädliche Datenpunkte enthielt, sofern zwei Runden adaptiver Schwellenwertbildung verwendet wurden.
Generalisierung: Die Methode zeigte konsistente Leistung über verschiedene Modellarchitekturen (Llama- und Qwen-Familien) und verschiedene Nutzenaufgaben (Zusammenfassung, Nachrichtenklassifizierung, mathematisches Schlussfolgern).
Rechnerische Effizienz: Der Overhead für die Berechnung von FIHS beträgt ungefähr 25 % einer Standard-Feinabstimmungsaufgabe mit 4 Epochen. In harmlosen Fällen (wo die Sicherheit bereits hoch ist) ist der Overhead vernachlässigbar, da kein Filtern erforderlich ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GradShield eine praktische und effektive Lösung für den Kompromiss zwischen „Sicherheit und Nutzen" bei der Feinabstimmung von LLMs bietet. Ihre primäre Bedeutung liegt in:

Adressierung impliziter Schädlichkeit: Im Gegensatz zu Inhaltsfiltern, die auf expliziten Schlüsselwörtern beruhen, erkennt GradShield die konsequente Schädlichkeit von Datenpunkten basierend auf ihrem Gradienteneinfluss auf die Sicherheitsausrichtung.
Operative Durchführbarkeit: Durch die Anforderung nur eines einzigen Gradientendurchgangs und die Verwendung eines adaptiven Schwellenwerts ist es für den realen Einsatz durch Modellanbieter konzipiert, die Nutzerdatensätze nicht manuell kuratieren können.
Erhaltung der Ausrichtung: Die Methode stellt sicher, dass Modelle ihre Sicherheitstraining nicht „katastrophal vergessen" und hält die ASR konsistent unter 6 % (oft unter 1 %) über diverse und kontaminierte Datensätze hinweg.

Die Autoren betonen, dass GradShield entwickelt wurde, um die Ausrichtung während des Feinabstimmungsprozesses zu erhalten und nicht, um Modelle zu reparieren, die bereits kompromittiert wurden. Sie geht davon aus, dass das initiale Referenzmodell gut ausgerichtet ist und eine zuverlässige Sicherheitsbewertungsfunktion verfügbar ist.