CNT: Safety-oriented Function Reuse across LLMs via Cross-Model Neuron Transfer

1. Problemstellung

Die breite Einführung von Large Language Models (LLMs) erfordert flexible Methoden, um Modelle an sich ändernde Sicherheitsanforderungen anzupassen (Post-hoc-Modifikation). Bestehende Ansätze haben jedoch erhebliche Nachteile:

• Fine-Tuning/Neu-Training: Erfordert aufwendige Datensammlung und Training, was kostspielig ist.
• Knowledge Editing: Ist oft auf die Korrektur bestehender Fakten beschränkt und kann keine neuen Funktionen aus externen Modellen hinzufügen.
• Model Fusion: Benötigt oft spezifische, isolierte Modelle, die im Open-Source-Ökosystem schwer zu finden sind, und bietet keine selektive Funktionswiederverwendung.

Zudem gibt es eine Lücke bei der gezielten Entfernung unerwünschter Funktionen (z. B. Sicherheitsausrichtung oder Bias) ohne die allgemeine Leistung des Modells zu zerstören. Das Ziel ist es, Sicherheitsfunktionen effizient von einem existierenden Open-Source-Modell auf ein anderes zu übertragen, ohne neues Training oder gelabelte Daten zu benötigen.

2. Methodik: Cross-Model Neuron Transfer (CNT)

Das Paper stellt CNT vor, eine Post-hoc-Methode, die Sicherheitsfunktionen durch den Transfer eines minimalen Subsets von Neuronen (Gewichten) von einem Spender-Modell (Donor) zu einem Ziel-Modell (Recipient) wiederverwendet.

Kernkomponenten der Methode:

• Architektur-Kompatibilität & NTRR:
  Da Spender und Empfänger dieselbe Architektur benötigen, wird die Neural Transfer Rejection Rate (NTRR) eingeführt. Diese Metrik quantifiziert die Kompatibilität zwischen zwei Modellen, indem sie die Divergenz der Ausgaben misst, nachdem zufällige Gewichte des Spenders in den Empfänger übertragen wurden. Eine niedrigere NTRR deutet auf eine bessere Kompatibilität hin.

• Low-Noise Probing Request Construction:
  Um die für eine bestimmte Funktion verantwortlichen Neuronen zu lokalisieren, werden „Low-Noise"-Anfragepaare erstellt:

  • F-req (Function Request): Eine Eingabe, die die Ziel-Funktion im Spender-Modell stark aktiviert.
  • Fl-req (Function-less Request): Eine abgeleitete Eingabe, die strukturell, kontextuell und thematisch identisch ist, aber die spezifische Ziel-Funktion nicht auslöst.
    Dies minimiert Rauschen in der Aktivierungsanalyse und ermöglicht eine präzise Isolierung der funktionsspezifischen Gewichte.

• Path-wise Function Gap Attribution:
  Da Gradientenmethoden zwischen zwei unabhängig trainierten Modellen nicht direkt anwendbar sind, nutzt CNT eine Pfad-Integration. Es wird ein virtueller Interpolationspfad zwischen den Gewichten des Spenders ($\theta_d$) und des Empfängers ($\theta_r$) definiert. Durch die Integration der Gradienten entlang dieses Pfades wird ein Attributions-Score für jedes Gewicht berechnet, der angibt, wie stark die Gewichtsänderung zur Funktionslücke (Function Gap) beiträgt.

• Selektiver Gewichts-Transfer:
  Basierend auf den Attributions-Scores werden die Top-$p\%$ der Gewichte ausgewählt und vom Spender zum Empfänger übertragen. Dies unterstützt zwei Modi:

  1. Funktionshinzufügung (Function Addition): Transfer von Gewichten eines sicherheitsorientierten Modells in ein unsicheres Modell.
  2. Funktionsentfernung (Function Deletion): Transfer von Gewichten eines unsicheren Modells in ein sicheres Modell, um Sicherheitsmechanismen zu unterdrücken (z. B. für Jailbreak-Angriffe oder Bias-Entfernung).

3. Wichtige Beiträge

• Neuer Ansatz: CNT ist das erste Framework, das Sicherheitsfunktionen durch Neuronen-Transfer zwischen Open-Source-Modellen wiederverwendet, ohne Supervised Training oder Datensammlung zu benötigen.
• Dualer Modus: Es unterstützt sowohl das Hinzufügen als auch das Löschen von Funktionen auf Gewebebene.
• Effizienz: Es werden extrem kleine Gewichtsanteile übertragen (typischerweise 0,012 % bis 0,24 %), was die Integrität des Zielmodells bewahrt.
• Umfassende Evaluation: Die Methode wurde an 7 verschiedenen LLMs (3,2B bis 15,7B Parameter, inklusive Dichte- und MoE-Architekturen) in drei Szenarien getestet: Sicherheits-Desalignment, Alignment-Verbesserung und Bias-Entfernung.

4. Ergebnisse

Die experimentellen Ergebnisse zeigen, dass CNT Baseline-Methoden (wie LoRA, Knowledge Editing, Model Surgery, ED, RD) konsistent übertrifft:

• Funktionsentfernung (Desalignment):
  • CNT erreichte eine durchschnittliche Reduktion der Ablehnungsrate (Refusal Rate) von 81,6 %.
  • Die schädliche Antwortrate (Harmful Rate) stieg um 76,8 %.
  • Wichtig: Die allgemeine Leistung (gemessen an MMLU) sank nur um 1,37 Punkte, was deutlich besser ist als bei vielen Baselines (z. B. ActSVD-OP mit -13,49 Punkten).
• Funktionshinzufügung (Alignment Enhancement):
  • CNT verbesserte die Sicherheits-Abwehr (Refusal Accuracy) um durchschnittlich 40,84 %.
  • Die allgemeine Leistung (MMLU) blieb stabil oder verbesserte sich leicht (+0,26 Punkte).
• Bias-Entfernung:
  • Bei der Entfernung von Stereotypen (StereoSet) reduzierte CNT den Bias-Score signifikant (von 77,47 auf 64,73), während die Sprachmodellierungsfähigkeit erhalten blieb.
• Vergleich mit Pruning:
  • Im Gegensatz zum reinen Entfernen (Pruning) von Neuronen, das oft zu Funktionsverlust oder „Garbage Output" führt, induziert der Transfer Gegen-Aktivierungen, die die Ziel-Funktion neutralisieren, ohne die Modellarchitektur zu zerstören. Dies führt zu einer besseren Erhaltung der allgemeinen Nützlichkeit.

5. Bedeutung und Ausblick

CNT stellt einen Paradigmenwechsel dar: Statt Sicherheitsfunktionen von Grund auf neu zu konstruieren, können sie aus dem riesigen Pool existierender Open-Source-Modelle „transplantiert" werden.

• Praktische Relevanz: Die Methode ist besonders wertvoll in Szenarien, in denen keine gelabelten Trainingsdaten verfügbar sind oder ein Nach-Training zu teuer ist.
• Sicherheit: Sie demonstriert, wie leicht Sicherheitsmechanismen in LLMs durch gezielten Neuronen-Transfer umgangen werden können (als Angriffsszenario), aber auch, wie sie effizient hinzugefügt werden können (als Verteidigung).
• Allgemeingültigkeit: Die Ergebnisse zeigen, dass funktionale Repräsentationen in LLMs über verschiedene Architekturen und Organisationen hinweg vergleichbar und transferierbar sind.

Zusammenfassend bietet CNT einen präzisen, datenfreien und effizienten Weg zur Modularisierung und Anpassung von LLM-Funktionen, der sowohl für Sicherheitsforschung als auch für die praktische Modellpflege von großer Bedeutung ist.