Layer-wise Swapping for Generalizable Multilingual Safety

1. Problemstellung

Trotz rascher Fortschritte bei Large Language Models (LLMs) bleibt die Sicherheit (Safety Alignment) in ressourcenarmen Sprachen ein kritisches Problem.

• Englisch-Zentrierung: Bestehende Sicherheitsdatensätze und Feinabstimmungen (Fine-Tuning) konzentrieren sich fast ausschließlich auf Englisch.
• Sicherheitslücke: Expertenmodelle, die nur für ressourcenarme Sprachen (z. B. Koreanisch, Bengali, Swahili, Telugu) feinabgestimmt wurden, zeigen im Vergleich zu englischen Modellen oder englischen Sicherheits-Experten signifikant höhere Raten an unsicheren oder schädlichen Antworten.
• Herausforderung bei Transfer: Herkömmliche Methoden zur multilingualen Anpassung führen oft zu „katastrophalem Vergessen" von Sicherheitswissen, das während des Pre-Trainings erworben wurde. Gleichzeitig neigen naive Mischungen aus Sprach- und Sicherheitsdaten (Mixed SFT) dazu, die Sicherheit nicht konsistent über alle Sprachen hinweg zu verbessern, ohne die allgemeine Sprachleistung zu beeinträchtigen.

2. Methodik: Safety-Aware Layer Swapping

Die Autoren schlagen eine training-freie Strategie vor, die Sicherheitsausrichtung von einem englischen Sicherheits-Experten auf ressourcenarme Sprach-Experten überträgt. Der Kernansatz basiert auf der Task-Arithmetic (Aufgaben-Arithmetik) und der Idee, dass Parameterupdates für verschiedene Aufgaben lineare Vektoren darstellen.

Kernkonzepte:

1. Task Vektoren:

   • Es werden zwei Vektoren definiert: $\tau_{safe}$ (Differenz zwischen dem englischen Sicherheits-Modell und dem Basis-Modell) und $\tau_{multi}$ (Differenz zwischen dem multilingualen Sprach-Modell und dem Basis-Modell).
   • Ziel ist die Kombination dieser Vektoren, um ein hybrides Modell zu erstellen, das sowohl sprachlich kompetent als auch sicher ist.

2. Erweiterung auf Modulebene (Module-wise Swapping):

   • Im Gegensatz zu früheren Ansätzen, die ganze Schichten (Layers) austauschen, zerlegt die vorgeschlagene Methode das Modell auf Ebene der Self-Attention und MLP-Module (Feed-Forward-Netzwerke).
   • Es wird angenommen, dass Sub-Module eine stärkere Linearität aufweisen als das gesamte Modell, was einen präziseren Transfer ermöglicht.

3. Automatische Selektionsstrategie:

   • Für jedes Modul in jeder Schicht wird ein relatives Änderungsverhältnis berechnet, das misst, wie stark die Parameter des Sicherheits- bzw. Sprachmodells vom Basis-Modell abweichen.
   • Basierend auf der Differenz dieser Verhältnisse ($d_{l,m} = p_{safe} - p_{multi}$) wird entschieden, wie Module kombiniert werden:
     • Starke Präferenz: Wenn ein Modul eindeutig auf Sicherheit oder Mehrsprachigkeit spezialisiert ist (Schwellenwert $\tau$ überschritten), wird es direkt vom entsprechenden Experten-Modell übernommen.
     • Blending (Mischung): Wenn die Spezialisierung unklar ist, werden die Module beider Experten mit einem festen Interpolationsgewicht $\alpha$ gemischt.
   • Dies ermöglicht eine feingranulare Kontrolle, bei der sicherheitsrelevante Darstellungen propagiert werden, ohne die Sprachverständlichkeit zu opfern.

3. Wichtige Beiträge

• Systematische Formulierung: Die Autoren formulieren Layer-Swapping als Komposition von Task-Vektoren für Mehrsprachigkeit und Sicherheit in einem einheitlichen Repräsentationsraum.
• Dynamisches Swapping: Einführung einer Methode, die nicht nur Schichten, sondern einzelne Module (Attention/MLP) basierend auf ihrem Spezialisierungsgrad automatisch auswählt oder mischt.
• Training-Free Ansatz: Die Methode erfordert kein zusätzliches Training (Fine-Tuning) des Zielmodells, was Rechenressourcen spart.
• Ergebnisse: Demonstration, dass dieser Ansatz die Sicherheit in ressourcenarmen Sprachen signifikant verbessert, während die Leistung in allgemeinen Benchmarks erhalten bleibt.

4. Experimentelle Ergebnisse

Die Methode wurde an vier ressourcenarmen Sprachen (Koreanisch, Bengali, Swahili, Telugu) mit den Basismodellen LLaMA 3.1 8B und Qwen 3 8B evaluiert.

• Sicherheitsbewertung (MultiJail Benchmark):

  • Die vorgeschlagene Methode reduzierte die Rate an unsicheren Antworten drastisch im Vergleich zu reinen Sprach-Expertenmodellen.
  • Sie erreichte eine Sicherheit, die der des englischen Sicherheits-Experten nahekommt, ohne die Sprachfähigkeit zu verlieren.
  • Im Vergleich zu anderen Merging-Methoden (Task Arithmetic, TIES Merging, DARE) zeigte das Layer- und Module-Swapping konsistent bessere Ergebnisse (ca. 65–70 % der Fälle besser als Layer-Swapping).

• Allgemeines Sprachverständnis (MMMLU, BELEBELE, MGSM):

  • Die hybriden Modelle behielten die Leistung in Aufgaben wie mathematischem Reasoning (MGSM) und Leseverständnis (BELEBELE) bei.
  • Im Gegensatz zu Mixed SFT-Modellen, die oft Varianzen in der Leistung zeigten, bot das Swapping-Verfahren eine stabilere Performance über alle Sprachen hinweg.

5. Bedeutung und Fazit

Diese Arbeit adressiert eine kritische Lücke in der KI-Sicherheit: Die Ungleichheit zwischen englischsprachigen und nicht-englischen Modellen.

• Praktische Relevanz: Da die Methode kein zusätzliches Training erfordert, ist sie skalierbar und kosteneffizient für den Einsatz in globalen, mehrsprachigen Anwendungen.
• Theoretischer Erkenntnisgewinn: Die Studie zeigt, dass Sicherheits- und Sprachfähigkeiten in unterschiedlichen Teilen des neuronalen Netzwerks lokalisiert sind (z. B. Sicherheit oft in mittleren Schichten, Sprachsyntax in unteren/oberen Schichten). Durch das gezielte Austauschen dieser Module kann man die Vorteile beider Welten kombinieren.
• Zukunft: Die Autoren planen, den Code open-source zu stellen, um die Reproduzierbarkeit und Weiterentwicklung im Bereich der multilingualen Sicherheit zu fördern.

Zusammenfassend bietet das Paper einen robusten, training-freigen Weg, um LLMs in ressourcenarmen Sprachen sicherer zu machen, ohne ihre allgemeine Intelligenz zu beeinträchtigen.