💻 computer science

DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

Das Papier schlägt DualOptim+ vor, ein neuartiges Optimierungsframework, das gemeinsame und entkoppelte Optimiererzustände verbindet, um überlegene Kompromisse beim maschinellen Vergessen für große Sprachmodelle zu erzielen, sowie eine speichereffiziente quantisierte Variante namens DualOptim+ 8bit.

Ursprüngliche Autoren: Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Radiergummi"-Dilemma

Stellen Sie sich vor, Sie haben eine riesige, unglaublich intelligente Enzyklopädie (ein Large Language Model), die fast alles im Internet gelesen hat. Manchmal müssen Sie bestimmte Seiten daraus entfernen – vielleicht, weil sie private Informationen, veraltete Fakten oder schädliche Anweisungen enthalten. Dieser Vorgang wird Machine Unlearning (Maschinelles Vergessen) genannt.

Das Problem ist tückisch: Sie möchten die schlechten oder privaten Seiten löschen, ohne versehentlich den Rest des Wissens der Enzyklopädie zu entfernen. Wenn Sie versuchen, die schlechten Informationen zu stark zu entfernen, könnte das Modell beginnen, zu vergessen, wie man ein Gedicht schreibt, ein Matheproblem löst oder sogar „Hallo" sagt.

Die alten Wege: Zwei fehlerhafte Ansätze

Vor diesem Paper versuchten Forscher zwei Hauptmethoden, um dieses Problem zu lösen:

Der „Mix-and-Mash"-Ansatz (Gemeinsames Aktualisieren): Stellen Sie sich vor, Sie versuchen, einen schmutzigen Schuh zu reinigen und gleichzeitig einen Diamanten zu polieren, wobei Sie dasselbe Tuch für beides verwenden. Sie mischen die Anweisungen für „Reinigen" und „Polieren" zusammen. Das Ergebnis? Der Schuh bleibt schmutzig oder der Diamant wird zerkratzt. Das Modell vergisst zu viel nützliche Information.
Der „Switch-Back"-Ansatz (Alternierendes Aktualisieren): Stellen Sie sich vor, Sie reinigen den Schuh eine Minute lang und polieren dann den Diamanten die nächste Minute, wobei Sie hin und her wechseln. Das ist besser, aber wenn Sie dasselbe Tuch für beide Aufgaben verwenden, gelangt der Schmutz vom Schuh schließlich auf den Diamanten, und der Politur vom Diamanten macht den Schuh rutschig. Das „Gedächtnis" des Tuches wird verwirrt.

Die neue Lösung: DualOptim+

Die Autoren schlagen ein neues Framework namens DualOptim+ vor. Stellen Sie sich vor, Sie geben dem Modell zwei spezialisierte Reinigungssets, die perfekt zusammenarbeiten.

1. Der „Shared Base" (Der gemeinsame Boden)

Stellen Sie sich vor, das Modell hat einen Shared Base State (Gemeinsamen Basiszustand). Dies ist wie ein gemeinsames Fundament oder ein Eimer für „Allgemeinwissen".

Wenn das Modell lernt, etwas zu vergessen, und wenn es lernt, etwas zu behalten, aktualisieren beide diesen Eimer.
Warum? Weil Vergessen und Erinnern oft einige grundlegende Gehirnstrukturen teilen. Dieser Eimer erfasst, was das Modell tun muss, unabhängig von der spezifischen Aufgabe.

2. Die „Delta States" (Die spezialisierten Werkzeuge)

Dann gibt es die Delta States (oder kurz „Delta"). Stellen Sie sich diese als spezialisierte, separate Werkzeugkästen für den spezifischen Job vor.

Delta-F: Ein Werkzeugkasten nur für „Vergessen". Er hält den Unterschied zwischen dem, was gelöscht werden muss, und dem gemeinsamen Fundament.
Delta-R: Ein Werkzeugkasten nur für „Behalten". Er hält den Unterschied zwischen dem, was gespeichert werden muss, und dem gemeinsamen Fundament.

Wie es zusammenarbeitet

Anstatt ein verwirrtes Tuch oder zwei völlig getrennte Tücher zu verwenden, die nie miteinander sprechen, macht DualOptim+ Folgendes:

Es aktualisiert den Shared Base mit sowohl den Vergessens- als auch den Erinnerungsanweisungen.
Es aktualisiert die Delta-Werkzeuge nur mit den einzigartigen Teilen der Anweisungen (den „Residuen").
Wenn das Modell tatsächlich sein Gehirn verändert (seine Parameter aktualisiert), kombiniert es den Shared Base + das richtige Delta-Werkzeug.

Die Magie: Wenn die „Vergessen"- und „Erinnern"-Anweisungen gegeneinander kämpfen (konfliktieren), greifen die Delta-Werkzeuge ein, um den Konflikt zu lösen. Wenn sie übereinstimmen, übernimmt der Shared Base die Arbeit effizient. Es ist wie ein intelligenter Manager, der weiß, wann er eine gemeinsame Teamressource nutzen und wann er einen Spezialisten einsetzen muss.

Der „8-Bit"-Trick: Platz sparen

Normalerweise nehmen diese zusätzlichen Werkzeugkästen (Delta-Zustände) viel Computerspeicher (RAM) in Anspruch, was teuer ist.

Die Autoren haben eine DualOptim+ 8-Bit-Version erstellt.
Analogie: Stellen Sie sich vor, Ihre Werkzeugkästen bestehen normalerweise aus schwerem, massivem Gold (32-Bit-Präzision). Die 8-Bit-Version komprimiert sie zu leichtem, hochtechnischem Schaumstoff. Sie wiegen viel weniger (sparen Speicher), erledigen aber genau dieselbe Arbeit mit fast keinem Verlust an Leistung.

Was haben sie bewiesen?

Das Paper führte viele Tests durch, um zu sehen, ob diese neue Methode funktioniert:

Fake-Szenarien: Sie testeten es auf erfundenen Daten (wie fiktive Autoren), um zu sehen, ob das Modell spezifische Namen vergessen konnte, ohne seine Fähigkeit zu verlieren, zu schreiben.
Echte Szenarien: Sie testeten es auf realen Daten, wie zum Beispiel das Entfernen privater Informationen bestimmter Personen aus einem Modell.
Sicherheit: Sie testeten, ob es schädliche Anweisungen (wie die Herstellung einer Bombe) entfernen konnte, ohne dass das Modell sich weigerte, irgendeine Frage zu beantworten (ein häufiger Nebeneffekt, der als „Over-Refusal" bezeichnet wird).
Multitasking: Sie testeten es sogar darauf, dem Modell drei verschiedene Fähigkeiten gleichzeitig beizubringen (Programmieren, Wissenschaft und Mathematik), um zu sehen, ob der „Shared Base" hilft, verschiedene Aufgaben auszugleichen.

Das Ergebnis: In fast jedem Test war DualOptim+ besser darin, das Schlechte zu entfernen und gleichzeitig das Gute intakt zu halten, im Vergleich zu den alten Methoden. Es fand den „Sweet Spot" zwischen Vergessen und Erinnern.

Zusammenfassung

DualOptim+ ist ein intelligenterer Weg, um KI-Modelle zu trainieren, Dinge zu „verlernen". Anstatt eine verwirrte Mischung oder zwei völlig getrennte Systeme zu verwenden, nutzt es ein Hybridsystem: ein gemeinsames Fundament für gesunden Menschenverstand und spezialisierte Werkzeuge für spezifische Aufgaben. Dies stellt sicher, dass die KI genau das vergisst, was sie soll, ohne ihren allgemeinen Verstand zu verlieren. Außerdem haben sie herausgefunden, wie man es auf günstigeren Computern laufen lassen kann, indem sie den Speicher komprimieren.

Technischer Zusammenfassung von DualOptim+

Problemstellung
Maschinelles Vergessen (Machine Unlearning, MU) in Large Language Models (LLMs) zielt darauf ab, den Einfluss spezifischer Trainingsdaten (die Vergessensmenge) zu eliminieren, während die allgemeine Nützlichkeit des Modells auf den verbleibenden Daten (die Behaltensmenge) erhalten bleibt. Bestehende Ansätze stehen vor der erheblichen Herausforderung, diese widersprüchlichen Ziele in Einklang zu bringen.

Gemeinsames Aktualisieren: Die meisten Methoden minimieren die Summe der Verluste für Vergessen und Behalten gleichzeitig. Dies führt häufig zu einer signifikanten Verschlechterung der Modellnützlichkeit aufgrund übermäßigen Vergessens.
Alternierendes Aktualisieren: Das Alternieren zwischen den Zielen des Vergessens und des Behaltens verbessert die Leistung, leidet jedoch unter Instabilität und Sensitivität gegenüber Hyperparametern.
Entkoppelte Optimierer (DualOptim): Ein vorheriger Ansatz, DualOptim, entkoppelt die Optimiererzustände (z. B. Impulsterme) für jedes Ziel, um eine Gradientenverflechtung zu verhindern. Während DualOptim im Bereich der Computer Vision effektiv ist, erzielt es bei LLMs nur marginale Verbesserungen. Die Autoren beobachten, dass beim LLM-Vergessen die Gradienten für Vergessen und Behalten nicht immer in direktem Konflikt stehen; sie teilen oft gemeinsame Repräsentationen, insbesondere in späteren Trainingsphasen. Vollständig entkoppelte Zustände nutzen diese gemeinsamen Merkmale nicht aus, während vollständig geteilte Zustände Konflikte nicht bewältigen können.

Methodik: DualOptim+
Die Arbeit schlägt DualOptim+ vor, ein Plug-and-Play-Optimierungsframework, das die Lücke zwischen vollständig geteilten und vollständig entkoppelten Optimiererzuständen überbrücken soll. Die Kerninnovation ist die Zerlegung des Optimiererzustands in zwei Komponenten:

Geteilter Basiszustand ( $B$ ): Dieser Zustand erfasst die gemeinsamen Repräsentationen, die sowohl vom Vergessens- als auch vom Behaltensziel geteilt werden. Er wird gemeinsam unter Verwendung der Gradienten beider Ziele ( $\nabla_\theta L_f$ und $\nabla_\theta L_r$ ) aktualisiert.
Entkoppelte Delta-Zustände ( $\Delta_f, \Delta_r$ ): Diese Zustände bewahren die ziel spezifischen Residuen. Sie werden basierend auf der Differenz zwischen dem Gradienten des spezifischen Ziels und dem bias-korrigierten Basiszustand aktualisiert.
- $\Delta_f \leftarrow \beta \Delta_f + (1-\beta)(\nabla_\theta L_f - \hat{B})$
- $\Delta_r \leftarrow \beta \Delta_r + (1-\beta)(\nabla_\theta L_r - \hat{B})$

Parameter-Aktualisierung:
Der finale Impulsterm, der für die Parameteraktualisierung verwendet wird, wird durch die Kombination des bias-korrigierten Basiszustands mit dem jeweiligen bias-korrigierten Delta-Zustand rekonstruiert ( $\hat{B} + \hat{\Delta}_f$ oder $\hat{B} + \hat{\Delta}_r$ ).

Wichtige theoretische Erkenntnis:
Theoretische und numerische Analysen zeigen, dass DualOptim+ als adaptives Zwischenstadium fungiert.

Wenn Gradienten positiv korreliert sind (gemeinsame Merkmale dominieren), konvergieren die Delta-Zustände gegen Null, und das Verfahren verhält sich wie ein alternierendes Schema (unter Nutzung der gemeinsamen Basis).
Wenn Gradienten negativ korreliert sind (widersprüchliche Ziele), konvergiert der Basiszustand gegen Null, und das Verfahren verhält sich wie ein DualOptim-Schema (unter Nutzung entkoppelter Zustände).
Diese Adaptivität ermöglicht es dem Optimierer, sich dynamisch basierend auf dem Richtungskonflikt zwischen Vergessens- und Behaltensgradienten anzupassen.

DualOptim+ 8bit
Um den mit der Speicherung zusätzlicher Optimiererzustände verbundenen Speicherbedarf (das 3-fache des Speichers eines Standard-Adam-Optimierers) zu adressieren, führen die Autoren DualOptim+ 8bit ein. Diese Variante quantisiert die Optimiererzustände auf 8-Bit-Präzision, reduziert den Speicherbedarf erheblich (auf etwa 3/4 eines Standard-Adam) und beeinträchtigt dabei die Leistung nicht.

Wichtige Beiträge

Neues Framework: Die Einführung von DualOptim+, das einen geteilten Basiszustand und entkoppelte Delta-Zustände einführt, um geteilte und entkoppelte Optimiererzustände effektiv zu überbrücken.
Plug-and-Play-Design: Ein Framework, das mit jedem Optimierer kompatibel ist, der Zustände speichert (z. B. AdamW, Muon), und auf die Mehrzieloptimierung anwendbar ist.
Empirische Validierung: Umfassende Experimente auf fiktiven Datensätzen (TOFU), in realen Szenarien (Llama-3-Vergessen), bei der Sicherheitsausrichtung und bei Multi-Task-Learning-Aufgaben.
Effizienz: Die Einführung der 8-Bit-quantisierten Variante, die den Speicherbedarf mindert.

Experimentelle Ergebnisse
Die Arbeit bewertet DualOptim+ im Vergleich zu den Baselines Joint, Alternate und DualOptim über verschiedene LLMs (Phi-1.5, Llama-2, Llama-3) und Aufgaben hinweg:

Fiktive Szenarien (TOFU): DualOptim+ erzielt konsistent die beste Gesamtleistung (OVR), definiert als Kompromiss zwischen Vergessenseffizienz (FE) und Modellnützlichkeit (MU). Es übertrifft DualOptim, insbesondere beim gezielten Vergessen, durch eine bessere Nutzung gemeinsamer Merkmale.
Reale Szenarien: Beim Vergessen realer Personen aus Llama-3 behält DualOptim+ eine überlegene Nützlichkeit bei nachgelagerten Aufgaben (ARC-c, MMLU usw.) im Vergleich zu den Baselines, während DualOptim manchmal schlechter abschneidet als der einfachere Alternate-Ansatz.
Sicherheitsausrichtung: Bei einer Aufgabe, bei der unsicheres Wissen vergessen werden soll, während die Fähigkeit zur Befolgung von Anweisungen erhalten bleibt, erzielt DualOptim+ den besten Kompromiss zwischen Sicherheit und Nützlichkeit sowie die niedrigste Rate an übermäßiger Verweigerung auf dem XSTest-Benchmark.
Multi-Task-Learning: Im Gegensatz zum Vergessen, wo Gradientenkonflikte hoch sind, liefert DualOptim+ auch beim Multi-Task-Learning, wo Konflikte weniger ausgeprägt sind, erhebliche Leistungssteigerungen, während DualOptim negative Gewinne zeigt.
Speichereffizienz: Die 8-Bit-Varianten erreichen eine nahezu gleichwertige Speichernutzung im Vergleich zu Standard-Baselines, behalten dabei jedoch die Leistungsvorteile der Vollpräzisionsmethode bei.

Bedeutung und Behauptungen
Die Autoren behaupten, dass DualOptim+ einen stabileren und effektiveren Kompromiss zwischen Wissenseliminierung und Erhaltung der Nützlichkeit bietet als bestehende Methoden. Sie positionieren die Methode nicht nur als Werkzeug zum Vergessen, sondern als generalisierbares Optimierungsframework, das auf breitere Szenarien anwendbar ist, die mehrere widersprüchliche Lernziele beinhalten, wie z. B. LLM-Ausrichtung und Mehrziel-Lernen. Die Arbeit betont, dass die adaptive Natur der Überbrückung von geteilten und entkoppelten Zuständen entscheidend für den Umgang mit den dynamischen Gradientenbeziehungen ist, die beim LLM-Vergessen vorkommen.