Layer-Targeted Multilingual Knowledge Erasure in Large Language Models

1. Problemstellung

Das Paper adressiert eine kritische Lücke im Bereich des „Machine Unlearning" (Maschinelle Vergessen) bei großen Sprachmodellen (LLMs). Während Unlearning-Methoden entwickelt wurden, um gefährliches Wissen (z. B. Anleitungen zur Herstellung von Chemiewaffen oder Ausnutzung von Sicherheitslücken) aus Modellen zu entfernen, zeigt sich, dass diese Methoden in mehrsprachigen Umgebungen versagen.

• Das Kernproblem: Wenn Wissen in einer Sprache (z. B. Englisch) gelöscht wird, bleibt es oft in anderen Sprachen (z. B. Deutsch, Hindi) weiterhin zugänglich.
• Hypothesen: Herkömmliche Methoden, die entweder global über alle Schichten hinweg oder nur in den tiefen Schichten (nahe der Ausgabe) optimieren, scheitern.
  • Flache Schichten: Eingriffe hier löschen das Wissen, zerstören aber die grundlegenden multilingualen Repräsentationen, was zu einem katastrophalen Verlust der allgemeinen Fähigkeiten in nicht trainierten Sprachen führt.
  • Tiefe Schichten: Eingriffe hier erhalten die allgemeinen Fähigkeiten, können aber das semantische Wissen nicht löschen, da dieses bereits in früheren Schichten verarbeitet wurde. Tiefe Schichten sind zu stark auf sprachspezifische Token-Generierung spezialisiert.

Das Ziel ist es, ein Verfahren zu finden, das das Löschen von Wissen in einer kleinen Menge von Quell-Sprachen ermöglicht, während die Löschung automatisch auf alle anderen (gehaltenen) Sprachen übertragen wird, ohne die allgemeine Modellnützlichkeit zu beeinträchtigen.

2. Methodik: MUTE Framework

Die Autoren stellen MUTE (Multilingual Unlearning via Targeted Erasure) vor, ein Framework, das den Unlearning-Prozess nicht auf welche Daten optimiert, sondern darauf, wo im Modell interveniert wird.

A. Identifikation der sprachagnostischen Region (CKA-LRDS)

MUTE nutzt zwei Metriken, um die optimale Schicht für Eingriffe zu identifizieren:

1. CKA (Centered Kernel Alignment): Misst die Ähnlichkeit der Repräsentationen desselben semantischen Konzepts über verschiedene Sprachen hinweg. Hohe Werte deuten auf sprachunabhängige Repräsentationen hin.
2. LRDS (Linguistic Regions Development Score): Quantifiziert, wie stark Repräsentationen nach Sprache statt nach Semantik gruppiert sind. Niedrige Werte deuten auf sprachagnostische Bereiche hin.

Durch die Kombination dieser Metriken wird eine sprachagnostische Region ($\Lambda$) identifiziert. Dies ist ein kontinuierlicher Bereich in den mittleren Schichten des Modells, in dem semantische Konzepte unabhängig von der Eingabesprache in ähnlichen versteckten Zuständen kodiert sind.

B. Zielschicht-Auswahl

Innerhalb dieser Region wird die Zielschicht ($l^*$) je nach Unlearning-Algorithmus unterschiedlich gewählt:

• Für parameterbasierte Methoden (z. B. RMU): Die früheste Schicht in $\Lambda$, in der die CKA-Alignment maximal ist. Hier wird das Wissen gelöscht, bevor es in sprachspezifische Pfade aufspaltet.
• Für aktivierungsbasierte Methoden (z. B. SLUG): Die tiefste Schicht in $\Lambda$, wo die semantischen Repräsentationen am abstraktesten und vollständigsten sind.

C. Layer-Targeted Unlearning

Anstatt das gesamte Netzwerk zu aktualisieren, werden die Unlearning-Updates (Gradienten oder Gewichtsänderungen) ausschließlich auf die identifizierte Zielschicht beschränkt. Alle anderen Parameter werden eingefroren. Dies wird für drei repräsentative Algorithmen adaptiert:

• RMU (Representation Misalignment): Verschiebt die Aktivierungen der Zielschicht weg vom zu löschenden Wissen.
• SLUG (Single Layer Unlearning Gradient): Führt einen einstufigen Gradientenabstieg nur in der Zielschicht durch.
• SimNPO (Simple Negative Preference Optimization): Wendet Präferenzoptimierung an, wobei nur die Gewichte der Zielschicht aktualisiert werden.

3. Schlüsselergebnisse

Die Autoren validierten MUTE an drei verschiedenen Architekturen (Llama-3.1-8B, Qwen-2.5-7B, BLOOM-7b1) und mit drei verschiedenen Unlearning-Algorithmen über bis zu 12 Sprachen.

• Effektive Löschung: MUTE erreicht eine nahezu perfekte Löschung des Zielwissens (Forget-Accuracy < 2%) in allen getesteten Sprachen, einschließlich derjenigen, die nicht im Trainingsprozess verwendet wurden (Zero-Shot-Transfer).
• Erhalt der Nützlichkeit: Im Gegensatz zu flachen Eingriffen bleibt die Leistung in sicherheitsrelevanten Bereichen (Retain-Set, z. B. Geschichte und Recht) erhalten. Die Modellfähigkeiten in den gehaltenen Sprachen kollabieren nicht.
• Vergleich mit Baselines:
  • Flache Schichten: Löschen Wissen, aber zerstören die multilinguale Fähigkeit (Retain-Accuracy fällt auf ~0-1% in gehaltenen Sprachen).
  • Tiefe Schichten: Erhalten die Fähigkeiten, löschen aber das Wissen nicht (Forget-Accuracy bleibt hoch).
  • MUTE (Zielschicht): Findet den optimalen Kompromiss zwischen Löschung und Nützlichkeit.
• Mechanistische Validierung (Logit Lens): Durch das „Logit Lens"-Probing wurde gezeigt, dass das Wissen tatsächlich aus den internen Repräsentationen entfernt wird und nicht nur auf der Ausgabeschicht unterdrückt wird (keine „Erasure Illusion"). In den Zielschichten sank die Wahrscheinlichkeit für die korrekten Antworten auf fast Null, während sie in tiefen Schichten unverändert blieb.

4. Hauptbeiträge

1. Identifikation von Fehlermodi: Die Arbeit charakterisiert zwei fundamentale Fehlermodi beim mehrsprachigen Unlearning (Kollaps bei flachen Schichten, Versagen bei tiefen Schichten) und zeigt, dass die Schichttiefe der entscheidende Faktor für die Generalisierung ist.
2. MUTE Framework: Einführung eines Frameworks, das mittels CKA und LRDS sprachagnostische Regionen identifiziert und gezielt Unlearning-Updates auf diese Schichten beschränkt.
3. Algorithmische Anpassung: Entwicklung von layer-targetierten Versionen von RMU, SLUG und SimNPO, die zeigen, dass die Generalisierung unabhängig vom spezifischen Unlearning-Algorithmus funktioniert.
4. Mechanistische Evidenz: Nachweis durch Logit Lens, dass die Löschung auf der Ebene der semantischen Repräsentation stattfindet und nicht nur eine oberflächliche Unterdrückung der Ausgabe ist.

5. Bedeutung und Implikationen

Diese Arbeit stellt einen Paradigmenwechsel dar: Statt zu fragen, welche Daten für das Unlearning verwendet werden sollen, fragt sie, wo im Modell interveniert werden muss.

• Skalierbarkeit: Es ist nicht mehr notwendig, Unlearning-Datensätze für jede unterstützte Sprache zu kuratieren. Das Löschen in nur 3 Quell-Sprachen reicht aus, um das Wissen in über 10 weiteren Sprachen sicher zu entfernen.
• Sicherheit: Für die Sicherheit von LLMs ist dies entscheidend, da Angreifer oft versuchen, Sicherheitsfilter durch Übersetzung in ressourcenarme Sprachen zu umgehen. MUTE schließt diese Lücke, indem es sicherstellt, dass das gelöschte Wissen in allen Sprachen wirklich verschwunden ist.
• Architektur-Verständnis: Die Ergebnisse untermauern die Theorie, dass Transformer-Modelle eine hierarchische Struktur haben, in der semantische Konzepte in mittleren Schichten sprachunabhängig kodiert sind, bevor sie in tiefen Schichten sprachspezifisch generiert werden.

Zusammenfassend bietet MUTE eine robuste, skalierbare und mechanistisch fundierte Lösung für das Problem des mehrsprachigen Wissensentfernens in großen Sprachmodellen.