SafeMERGE: Preserving Safety Alignment in Fine-Tuned Large Language Models via Selective Layer-Wise Model Merging

1. Problemstellung

Das Feinabstimmen (Fine-Tuning) von Large Language Models (LLMs) auf spezifische Domänen (z. B. Mathematik, Biomedizin) führt häufig zu einem Verlust der Sicherheitsausrichtung (Safety Alignment). Selbst wenn das Feinabstimmung auf harmlosen Daten erfolgt, kann dies dazu führen, dass Modelle auf schädliche oder unethische Anfragen mit gefährlichen Antworten reagieren.

Bestehende Verteidigungsmechanismen lassen sich in drei Kategorien einteilen:

• Alignment-Stage: Eingriffe während der initialen Ausrichtung.
• Fine-Tuning-Stage: Modifikation des Trainingsprozesses (oft komplex und schwer in Standard-Bibliotheken integrierbar).
• Post-Fine-Tuning-Stage: Versuche, die Sicherheit nach dem Training wiederherzustellen.

Das Hauptproblem besteht darin, dass viele dieser Methoden entweder komplexe, benutzerdefinierte Algorithmen erfordern, die schwer zu implementieren sind, oder dass sie die Leistung (Utility) der Modelle für die spezifische Aufgabe beeinträchtigen, um die Sicherheit wiederherzustellen. Es fehlt an einer leichten, post-hoc-Lösung, die sowohl die Sicherheit wiederherstellt als auch die Aufgabenleistung erhält, ohne das bestehende Trainingspipeline zu ändern.

2. Methodik: SafeMERGE

SafeMERGE ist ein leichtgewichtiges Framework zur Nachbearbeitung (Post-Fine-Tuning), das die Sicherheit wiederherstellt, indem es selektiv Schichten des feinabgestimmten Modells mit den entsprechenden Schichten eines sicherheitsausgerichteten Referenzmodells verschmilzt.

Kernkomponenten des Ansatzes:

• Zwei Modelle:

  1. Ein feinabgestimmtes Modell ($\Delta W_f$), das auf domänenspezifischen Daten (z. B. GSM8K, PubMedQA) trainiert wurde.
  2. Ein sicherheitsausgerichtetes Modell ($\Delta W_s$), das auf einer kleinen Menge an Sicherheitsdaten (z. B. Paare aus schädlichen Prompts und sicheren Ablehnungen) trainiert wurde. Dieses Modell ist aufgabenagnostisch und kann wiederverwendet werden.

• Selektive Verschmelzung (Selective Merging):
  Anstatt das gesamte Modell zu verschmelzen, identifiziert SafeMERGE nur die Schichten, die von der sicheren Ausrichtung abgewichen sind.

  • Sicherheits-Unterraum ($V_i$): Für jede Schicht $i$ wird ein Vektor $V_i$ berechnet, der die Differenz zwischen den Gewichten eines sicherheitsausgerichteten Modells (z. B. Instruct-Version) und einem ungesicherten Basismodell darstellt ($V_i = W_{aligned} - W_{unaligned}$).
  • Projektion und Ähnlichkeit: Die Aktualisierungen des feinabgestimmten LoRA-Modells ($\Delta W_f$) werden auf diesen Unterraum projiziert. Die Kosinus-Ähnlichkeit ($\rho_i$) zwischen den tatsächlichen LoRA-Aktualisierungen und ihrer Projektion auf den Sicherheits-Unterraum wird gemessen.
  • Schwellenwert ($\tau$): Wenn die Kosinus-Ähnlichkeit einen definierten Schwellenwert $\tau$ unterschreitet ($\rho_i < \tau$), gilt die Schicht als unsicher (d. h., sie hat sich zu stark vom Sicherheitspfad entfernt).

• Verschmelzungsstrategie:
  Nur für die als unsicher identifizierten Schichten wird eine lineare Verschmelzung mit dem entsprechenden Layer des sicherheitsausgerichteten Modells durchgeführt:
  $$\Delta W_{merge}^i = \alpha \cdot \Delta W_f^i + (1 - \alpha) \cdot \Delta W_s^i$$
  Dabei ist $\alpha$ ein Gewichtungsfaktor. Schichten, die die Ähnlichkeitsschwelle nicht verletzen, bleiben unverändert, um die Aufgabenleistung zu erhalten.

3. Wichtige Beiträge

• Selektive Schichtweise Verschmelzung: Im Gegensatz zu Methoden, die das gesamte Modell projizieren (wie SafeLoRA) oder indiscriminately verschmelzen (wie RESTA), greift SafeMERGE nur dort ein, wo eine Abweichung von der Sicherheit festgestellt wird. Dies minimiert den Eingriff in die nützlichen Aufgaben-Updates.
• Leichtgewicht und Einfachheit: Der Ansatz erfordert kein erneutes Training (No Retraining), keine Gradientenberechnung und keine komplexen Algorithmen. Er kann vollständig auf der CPU ausgeführt werden und nutzt Standard-Open-Source-Bibliotheken.
• Robustheit: Die Methode wurde auf vier verschiedenen LLM-Familien (Llama-2, Llama-3.1, Qwen-2, Qwen-2.5) und mehreren Domänen (Mathematik, Biomedizin, Telekommunikation) validiert.
• Interpretierbarkeit: Der Schwellenwert $\tau$ hat eine klare geometrische Bedeutung: Er bestimmt, wie stark eine Schicht von der Sicherheitsrichtung abweichen darf, bevor korrigiert wird.

4. Ergebnisse

Die Evaluation umfasste vier LLMs und Aufgaben wie GSM8K (Mathematik), PubMedQA (Biomedizin) sowie Telekommunikations-Datensätze.

• Sicherheit vs. Leistung: SafeMERGE reduziert schädliche Ausgaben (gemessen an Benchmarks wie DirectHarm und HexPhi) signifikant im Vergleich zum rein feinabgestimmten Modell. Gleichzeitig bleibt die Aufgabenleistung (Utility) erhalten oder wird sogar verbessert.
  • Beispiel Llama-3.1 auf GSM8K: Die Genauigkeit stieg von 78,24 % (feinabgestimmt) auf 78,50 % (SafeMERGE), während die Schädlichkeit von 28,30 % auf 8,80 % sank.
• Vergleich mit Baselines: SafeMERGE übertrifft andere Post-Fine-Tuning-Methoden wie SafeInstruct, RESTA, RESTA-Instruct und SafeLoRA konsistent im Trade-off zwischen Sicherheit und Leistung.
  • SafeLoRA (Projektion) behielt zwar die Leistung besser als RESTA, war aber weniger effektiv bei der Wiederherstellung der Sicherheit.
  • RESTA-Varianten führten oft zu einem Verlust an Aufgabenleistung.
• Ablationsstudien:
  • Kosinus-Ähnlichkeit vs. Euklidische Distanz: Die Verwendung der Kosinus-Ähnlichkeit als Metrik erwies sich als überlegen, da sie die Richtung der Abweichung misst und nicht nur die Magnitude der Gewichtsänderung. Euklidische Distanz führte zu starken Leistungseinbußen.
  • Schwellenwert $\tau$: Ein optimaler Bereich liegt typischerweise zwischen 0,6 und 0,8. Bereits das Verschmelzen weniger Schichten (z. B. 28 von 64 bei Llama-2) reichte aus, um die Sicherheit drastisch zu verbessern.
  • Verschmelzungsstrategie: Lineare Verschmelzung erwies sich als robuster als DARE oder TIES.

5. Bedeutung und Fazit

SafeMERGE adressiert eine kritische Lücke in der Praxis des LLM-Einsatzes: Wie man Modelle für spezifische Aufgaben anpasst, ohne die Sicherheitsgarantien zu verlieren, ohne dabei komplexe Trainingsänderungen vornehmen zu müssen.

Die Arbeit zeigt, dass Sicherheitsausrichtung oft nur oberflächlich ist und durch Feinabstimmung leicht gebrochen werden kann. SafeMERGE bietet eine einfache, aber prinzipielle Lösung, die durch selektives Eingreifen die „Sicherheits-Manifold" wiederherstellt, während die spezifischen Fähigkeiten des Modells für die Zielaufgabe intakt bleiben. Dies macht es zu einem praktikablen Werkzeug für Entwickler und Unternehmen, die LLMs in sicherheitskritischen oder spezialisierten Umgebungen einsetzen wollen.