💬 NLP

Model Unlearning Objectives Vary for Distinct Language Functions

Dieser Artikel argumentiert, dass das Vergessen von Sprachmodellen auf spezifische Funktionen zugeschnitten werden sollte, anstatt als monolithische Aufgabe behandelt zu werden, und zeigt durch Experimente an 7-8B-Modellen, dass unterschiedliche Ziele – nämlich ein kosinusbasierter meta-gelernter Ansatz für gefährliches Wissen und eine mehrschichtige, auf Proben basierende Methode für Toxizität – für ihre jeweiligen Ziele überlegene Ergebnisse liefern.

Ursprüngliche Autoren: Berk Atil, Vipul Gupta, Rebecca J. Passonneau

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Berk Atil, Vipul Gupta, Rebecca J. Passonneau

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich Large Language Models (LLMs) als unglaublich talentierte, aber leicht rücksichtslose Schüler vor, die fast alles im Internet gelesen haben. Sie sind großartig darin, Geschichten zu schreiben und Fragen zu beantworten, haben sich aber auch einige schlechte Gewohnheiten angewöhnt: Manchmal kennen sie gefährliche Geheimnisse (wie den Bau einer Bombe), und manchmal verwenden sie gemeine oder toxische Sprache.

Die Arbeit argumentiert, dass der Versuch, diese schlechten Gewohnheiten zu „verlernen", keine Aufgabe ist, die mit einer einzigen Methode für alle Fälle gelöst werden kann. Genau wie ein Lehrer unterschiedliche Methoden anwendet, um einen Schüler davon abzuhalten, bei einer Mathearbeit zu schummeln, versus ihn davon abzuhalten, gegenüber Klassenkameraden unhöflich zu sein, benötigen KI-Forscher unterschiedliche Werkzeuge für unterschiedliche Probleme.

Hier ist eine Aufschlüsselung ihres Ansatzes unter Verwendung einfacher Analogien:

1. Das Kernproblem: Eine Größe passt nicht für alle

Die Autoren sagen, dass „Verlernen" (dem KI-Modell beizubringen, bestimmte Dinge zu vergessen) nicht als einzelne, generische Aufgabe behandelt werden sollte.

Gefährliches Wissen ist wie ein Schüler, der eine spezifische, gefährliche Tatsache auswendig lernt (z. B. „Wie man Gift herstellt"). Dies ist im Modell gespeichert wie eine spezifische Datei in einer Bibliothek.
Toxizität ist wie die schlechte Einstellung eines Schülers oder seine Neigung, unhöflich zu sein. Dies ist nicht nur eine einzelne Tatsache; es ist eine Ausstrahlung oder ein Muster, das sich über die gesamte Persönlichkeit des Schülers verteilt.

Die Arbeit behauptet, dass, da diese beiden Probleme unterschiedlich im „Gehirn" der KI gespeichert sind, man zwei verschiedene Strategien benötigt, um sie zu beheben.

2. Strategie A: Gefährliche Fakten vergessen (Der „Cosine"-Ansatz)

Wenn die KI gefährliche Fakten kennt, haben die Autoren eine neue Methode ausprobiert, die auf der Richtung und nicht auf der Distanz basiert.

Der alte Weg (L2-Verlust): Stellen Sie sich vor, Sie versuchen, ein Spielzeugauto von einer Klippe wegzubewegen. Die alte Methode maß die genaue Distanz zwischen dem Auto und der Klippe. Wenn sich das Auto um 1 Zoll bewegte, galt dies als Fortschritt. Aber wenn das Auto riesig war, reichte eine Bewegung von 1 Zoll vielleicht nicht aus.
Der neue Weg (Cosine-Verlust): Die Autoren schlagen vor, dass wir uns nicht um die genaue Distanz kümmern sollten. Stattdessen sollten wir uns um die Richtung kümmern, in die das Auto zeigt. Wenn das Auto auf die Klippe zeigt, drehen wir es um 180 Grad, sodass es in die entgegengesetzte Richtung zeigt. Selbst wenn es noch nah am Rand ist, zeigt es nun weg von der Gefahr.
Das Ergebnis: Sie verwendeten auch einen „klugen Trainer" (Meta-Learning), der automatisch herausfindet, wie stark man das Auto drücken muss, um es zu drehen, ohne dass es vergisst, wie man fährt (allgemeines Wissen). Dies funktionierte sehr gut beim Entfernen gefährlicher Fakten.

3. Strategie B: Toxizität vergessen (Der „Multi-Layer"-Ansatz)

Wenn die KI toxisch ist, schlug die Methode „das Auto herumdrehen" fehl. Warum? Weil Toxizität nicht an einer spezifischen Stelle gespeichert ist; sie ist wie ein Fleck, der sich durch den Stoff des KI-Gehirns über viele verschiedene Schichten hindurchgesaugt hat.

Das Problem: Wenn Sie nur einen Fleck auf einem fleckigen Hemd schrubben, ist der Fleck immer noch da.
Die Lösung: Die Autoren bauten einen „Multi-Layer-Schrubber". Sie betrachteten das Gehirn der KI in verschiedenen Tiefen (frühe, mittlere und späte Schichten) und stellten fest, dass das „Toxizitätssignal" auf jeder Ebene anders aussieht.
Die Methode: Sie trainierten spezielle Detektoren (Proben) auf verschiedenen Schichten, um genau zu finden, wo sich die Toxizität versteckt. Dann brachten sie die KI dazu, ihr Verhalten auf allen diesen Schichten gleichzeitig zu ändern, wodurch sie effektiv den Fleck vom ganzen Hemd schrubben, nicht nur von einer Stelle.

4. Die Wertung: S-Unlearning

Wie wissen Sie, ob die KI besser ist? Sie können nicht einfach sagen: „Sie ist weniger toxisch", denn vielleicht ist sie auch nicht mehr hilfreich.
Die Autoren erstellten eine neue Kennzahl namens S-Unlearning.

Stellen Sie sich eine Balkenwaage vor. Auf der einen Seite steht „Wie gut haben wir das Schlechte entfernt?" und auf der anderen „Wie gut haben wir das Gute behalten?"
Die S-Unlearning-Kennzahl ist wie die Fläche eines Rechtecks, das durch diese beiden Seiten gebildet wird. Sie wollen ein großes Rechteck (hohe Entfernung des Schlechten UND hohe Beibehaltung des Guten). Wenn Sie das Schlechte entfernen, aber die KI so beschädigen, dass sie nicht mehr sprechen kann, schrumpft Ihr Rechteck auf Null.

5. Was sie herausfanden

Sie testeten dies an vier verschiedenen Open-Source-KI-Modellen (wie Llama, Mistral und Qwen).

Für gefährliche Fakten: Ihre neue „richtungsbasierte" Methode funktionierte besser als frühere Methoden, um die KI dazu zu bringen, gefährliche Informationen zu vergessen, ohne ihre allgemeine Intelligenz zu verlieren.
Für Toxizität: Ihr „Multi-Layer-Schrubber" war viel effektiver als der Versuch, dieselbe Methode zu verwenden, die für gefährliche Fakten genutzt wurde. Sie stellten fest, dass Toxizität tatsächlich verteilt ist, und man muss mehrere Schichten angreifen, um sie zu beheben.
Die große Erkenntnis: Man kann keinen einzelnen „Zauberstab" verwenden, um alle KI-Probleme zu beheben. Man muss verstehen, wie die KI das Problem speichert (als spezifische Tatsache oder als verteiltes Verhalten), und das richtige Werkzeug auswählen, um es zu beheben.

Kurz gesagt: Um eine spezifische Tatsache zu beheben, ändern Sie die Richtung. Um eine schlechte Einstellung zu beheben, schrubben Sie das gesamte System Schicht für Schicht.

Technische Zusammenfassung: Ziele des Modell-Verlernens variieren je nach Sprachfunktion

Problemstellung

Large Language Models (LLMs) erwerben während des Pretrainings unerwünschte Eigenschaften, darunter gefährliches faktisches Wissen (z. B. Risiken für die Biosicherheit) und die Generierung toxischer Sprache. Während Nachtrainingsmethoden unterschiedliche Ziele nutzen, um verschiedene Verhaltensweisen zu formen (z. B. Befolgung von Anweisungen vs. Sicherheit), behandeln bestehende Ansätze zum Verlernen das Entfernen dieser unterschiedlichen Eigenschaften oft als ein einziges, generisches Problem.

Die Autoren argumentieren, dass Verlernen zielabhängig sein sollte, analog zur Vielfalt der Nachtrainingsziele. Konkret gehen sie davon aus, dass gefährliches Wissen (faktische/prozedurale Informationen) und Toxizität (sozial schädliches Verhalten) innerhalb der internen Mechanik des Modells unterschiedlich repräsentiert sind. Folglich kann ein einzelnes Verlernziel für beides unwirksam sein. Aktuelle Methoden scheitern oft daran, diese Fähigkeiten robust zu entfernen, oder verschlechtern unbeabsichtigt die allgemeine Nützlichkeit des Modells.

Methodik

Der Artikel schlägt unterschiedliche Verlernstrategien vor, die auf die spezifische mechanische Natur der Ziel-Eigenschaft zugeschnitten sind, und evaluiert diese an vier Open-Source-Modellen mit 7–8 Milliarden Parametern (Llama3.1-8B, Mistral-7B, Qwen2.5-7B, Olmo3-7B).

1. Verlernen gefährlichen Wissens

Basierend auf mechanistischen Erkenntnissen, dass faktisches Wissen in relativ stabilen Positionen (Subjekt, Objekt und letzte Token-Position) über die Schichten hinweg gespeichert wird, modifizieren die Autoren das Framework „Representation Misdirection for Unlearning" (RMU):

Cosine-basierter Verlust: Sie ersetzen den standardmäßigen L2-Abstandsverlust durch einen cosine-basierten Verlust. Die Hypothese lautet, dass die Richtung der Repräsentation kritischer ist als die exakte euklidische Position. Dies optimiert die Ausrichtung zwischen der aktualisierten Repräsentation und der Zielrichtung, ohne harmlose Änderungen der Magnitude zu bestrafen.
Meta-gelernter Koeffizient ( $\alpha$ ): Anstatt den Trade-off-Koeffizienten zwischen den Zielen „Vergessen" und „Behalten" festzulegen, behandeln die Autoren $\alpha$ als lernbaren Parameter. Mithilfe von REINFORCE aktualisiert das Modell $\alpha$ während des Fine-Tunings adaptiv, um Vergessen und Behalten auszubalancieren, wodurch die Notwendigkeit einer umfangreichen manuellen Abstimmung entfällt.

2. Verlernen von Toxizität

Mechanistische Studien deuten darauf hin, dass Toxizität unterschiedlich repräsentiert wird, oft in späteren MLP-Schichten ausgelöst wird und durch Ausrichtungsmethoden wie DPO nicht notwendigerweise entfernt wird. Ein Ansatz mit einer einzigen Schicht oder Richtung erwies sich als unwirksam.

Ziel über mehrere Schichten: Die Autoren schlagen einen Vergessensverlust vor, der toxisch relevante Signale über mehrere Schichten hinweg adressiert.
Schichtspezifische Sonden: Sie trainieren lineare logistische Regressions-Sonden auf den versteckten Repräsentationen des letzten Tokens eines eingefrorenen Referenzmodells in verschiedenen Schichten, um schichtspezifische Toxizitätsrichtungen ( $LR_i$ ) zu identifizieren.
Orthogonalisierung: Der Vergessensverlust ermutigt die Repräsentationen toxischer Eingaben des aktualisierten Modells, in jeder Ziel-Schicht orthogonal zur Toxizitätsrichtung zu werden. Der Verlust quadriert das Skalarprodukt, um Nicht-Negativität und symmetrische Gradienten sicherzustellen und größeren Gradienten für Repräsentationen zu verleihen, die stark mit Toxizität ausgerichtet sind.
Schichtauswahl: Experimente zeigen, dass effektives Verlernen koordinierte Updates über verteilte Tiefen hinweg erfordert (frühe, mittlere und späte Schichten), da sich Toxizitätsrichtungen über die Netzwerktiefe hinweg signifikant drehen.

3. Evaluationsmetrik: S-Unlearning

Um den Trade-off zwischen Verlernleistung ( $U$ ) und erhaltenem Nutzen ( $R$ ) zusammenzufassen, führen die Autoren S-unlearning ein:

Nutzen- und Verlern-Scores werden zufallskorrigiert.
Der endgültige Score ist das Produkt $\bar{U} \cdot \bar{R}$ .
Diese Metrik reicht von 0 bis 1, maximiert sich, wenn das Verlernen stark und der Nutzen hoch ist, und fällt auf Null, wenn der Nutzen auf Zufallsniveau sinkt. Sie ist geometrisch äquivalent zur Fläche des Rechtecks, das durch den Punkt $(\bar{U}, \bar{R})$ definiert ist.

Wichtige Ergebnisse

Die vorgeschlagenen Methoden wurden an vier Modellen evaluiert, wobei WMDP für gefährliches Wissen und RealToxicityPrompts für Toxizität verwendet wurden.

Gefährliches Wissen: Die cosine-basierte, meta-gelernte RMU-Variante erzielte starke Ergebnisse und übertraf bei den meisten Modellen (Mistral, Qwen, Olmo) die Standard-RMU und Adaptive RMU, während sie allgemeine Fähigkeiten (MMLU) bewahrte. Sie erzielte den besten S-unlearning-Trade-off bei drei der vier Modelle.
Toxizität: Das Ziel über mehrere Schichten übertraf die Baselines signifikant. Während Standard-RMU und Adaptive RMU die Toxizität nur um 2–3 % reduzierten, erreichte die vorgeschlagene Methode Reduktionen von 6–24 %.
- Die Methode erzielte bei allen Modellen die höchsten S-unlearning-Scores für Toxizität.
- Schichtanalyse: Sonden zeigten, dass Toxizitätsrichtungen weitgehend schichtspezifisch sind (Cosine-Ähnlichkeit < 0,5 zwischen den meisten Schichtpaaren), was die Notwendigkeit von Eingriffen über mehrere Schichten hinweg validiert.
- Ablationsstudie: Das Aktualisieren von drei oder mehr Schichten (insbesondere eine Mischung aus mittleren und späten Schichten) erzielte die besten Trade-offs zwischen Sicherheit und Nutzen. Eingriffe auf einer einzigen Schicht scheiterten oft daran, die Toxizität signifikant zu reduzieren.

Bedeutung und Behauptungen

Der Artikel behauptet, dass Verlernen als Familie von Problemen und nicht als einzelne generische Intervention untersucht werden sollte.

Mechanisches Bewusstsein: Die Ergebnisse stützen die Ansicht, dass verschiedene Sprachfunktionen (faktischer Abruf vs. toxische Generierung) auf unterschiedlichen internen Mechanismen beruhen. Daher müssen Verlernziele auf die spezifische Funktion, die entfernt werden soll, zugeschnitten sein.
Geometrie des Verlernens: Für faktisches Wissen ist die Erhaltung der Richtungsstruktur durch cosine-Verlust dem L2-Abstand überlegen. Für Toxizität erfordert die verteilte und rotierende Natur der Repräsentation eine multi-schichtige, sonde-gesteuerte Orthogonalisierung.
Evaluation: Die S-unlearning-Metrik bietet einen einheitlichen Weg, um die komplexen Trade-offs zu erfassen, die im Verlernen inhärent sind, und erleichtert den besseren Vergleich zwischen Methoden.

Die Autoren schließen, dass effektives Verlernen ein tieferes Verständnis dessen erfordert, was vergessen wird, und über Einheitslösungen hinausgeht zu Methoden, die die spezifischen geometrischen und strukturellen Eigenschaften der Ziel-Fähigkeit innerhalb des LLM respektieren.