💬 NLP

ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models

Der Artikel stellt ASRU vor, ein steuerbares multimodales Unlearning-Framework, das Aktivierungssteuerung mit Reinforcement Learning kombiniert, um sensible multimodale Informationen effektiv zu entfernen, gleichzeitig die Generierungsqualität erheblich zu verbessern und die Modellnützlichkeit zu bewahren.

Ursprüngliche Autoren: Jiahui Guang, Yingjie Zhu, Cuiyun Gao, Haiyan Wang, Jing Li, Di Shao, Zhaoquan Gu

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiahui Guang, Yingjie Zhu, Cuiyun Gao, Haiyan Wang, Jing Li, Di Shao, Zhaoquan Gu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, super-beobachtenden Roboter-Assistenten (ein multimodales großes Sprachmodell), der Millionen von Büchern gelesen und Milliarden von Fotos betrachtet hat. Da es aus so vielen Daten gelernt hat, erinnert es sich manchmal an Dinge, die es nicht sollte, wie etwa die privaten Hobbys einer bestimmten Person oder die geheime Adresse eines Prominenten.

Das Ziel dieses Papiers ist es, dem Roboter beizubringen, diese spezifischen Geheimnisse zu vergessen, ohne ihn in eine verwirrte, kaputte oder lügende Maschine zu verwandeln.

So lösen die Autoren Guang und Zhu dieses Problem mit ihrer neuen Methode namens ASRU.

Das Problem: Das Dilemma des „kaputten Roboters"

Stellen Sie sich vor, Sie versuchen, dem Roboter ein Geheimnis zu nehmen, indem Sie rufen: „Vergiss das!" (das ist es, was ältere Methoden tun).

Das Ergebnis: Der Roboter wird verwirrt. Er beginnt möglicherweise zu halluzinieren (wildere Lügen zu erfinden), gibt steife, roboterhafte Antworten wie „Ich kann nicht antworten" oder verrät das Geheimnis versehentlich trotzdem.
Die Analogie: Es ist, als würde man versuchen, einen bestimmten Satz aus einem Buch zu löschen, indem man die ganze Seite verbrennt. Man verliert den Satz, ruiniert aber auch den Rest der Geschichte und macht das Buch unlesbar.

Die Autoren stellten fest, dass sich bestehende Methoden nur darauf konzentrieren, ob es vergessen hat, aber ignorieren, ob es noch vernünftig ist.

Die Lösung: ASRU (Activation Steering + Reinforcement Unlearning)

Die Autoren schlagen eine zweistufige „sanfte Operation" vor, um den Roboter zu reparieren.

Schritt 1: Der „Schubs" (Activation Steering)

Zuerst geben sie dem Roboter einen sanften Schubs, um seine innere „Stimmung" zu ändern, wenn er die geheimnisvollen Informationen sieht.

Die Analogie: Stellen Sie sich das Gehirn des Roboters als eine riesige Bibliothek vor. Wenn jemand nach dem Geheimnis fragt, läuft der Roboter normalerweise zum „Geheimnis-Regal". Die Autoren löschen das Regal nicht; stattdessen hängen sie ein Schild auf den Weg des Roboters, das sagt: „Hey, wenn du diese Person siehst, drehe links ab zum Gang ‚Ich weiß es nicht' statt zum Gang ‚Geheimnis'."
Wie es funktioniert: Sie verstellen nur einen winzigen Teil des Roboterhirns (eine einzelne mathematische Matrix), um eine „Ablehnungsrichtung" zu erzeugen. Dies lehrt den Roboter, natürlich zu sagen: „Ich kann das nicht beantworten", anstatt Dinge zu erfinden.

Schritt 2: Der „Trainer" (Reinforcement Unlearning)

Jetzt, wo der Roboter weiß, wie man „Ich weiß es nicht" sagt, muss er lernen, wann er es sagen soll. Er sollte nicht auf alles antworten verweigern, sondern nur auf die spezifischen Geheimnisse.

Die Analogie: Stellen Sie sich einen Trainer vor, der einen Athleten trainiert. Der Trainer zeigt dem Athleten zwei Szenarien:
1. Szenario A (Das Geheimnis): „Hier ist ein Bild der Person mit dem Geheimnis. Wenn du antwortest, verlierst du Punkte. Wenn du ‚Ich weiß es nicht' sagst, bekommst du einen goldenen Stern."
2. Szenario B (Die Grenze): „Hier ist ein Bild einer sehr ähnlichen Person, die das Geheimnis nicht hat. Wenn du ‚Ich weiß es nicht' sagst, verlierst du Punkte. Wenn du korrekt antwortest, bekommst du einen goldenen Stern."
Wie es funktioniert: Mit einer Technik namens GRPO (eine Art bestärkendes Lernen) übt der Roboter diese Szenarien immer wieder. Er lernt die feine Linie zwischen „Das ist das Geheimnis, das ich vergessen muss" und „Das ist ähnlich, aber ich darf darüber sprechen".

Die Ergebnisse: Warum es besser ist

Das Papier testete dies an einem Modell namens Qwen3-VL. Hier ist, was passierte:

Besseres Vergessen: Der Roboter vergaß die Geheimnisse viel besser als zuvor (etwa 24 % besser).
Besseres Verhalten: Das ist der große Gewinn. Die Antworten des Roboters wurden 5,8-mal natürlicher. Statt zu halluzinieren oder kaputt zu wirken, sagte er höflich: „Ich kann das nicht aus dem Bild ableiten", was genau das ist, was ein hilfreicher Mensch sagen würde, wenn er etwas nicht weiß.
Behielt seinen Verstand: Der Roboter verlor nicht die Fähigkeit, andere Fragen zu beantworten. Er blieb intelligent und nützlich für alles außer den spezifischen Geheimnissen, die ihm gesagt wurden, vergessen zu werden.

Zusammenfassung

Denken Sie an ASRU als einen klugen Lehrer, der einem Schüler nicht einfach sagt: „Hör auf, diese Tatsache zu merken." Stattdessen:

Schubst der Lehrer den Denkprozess des Schülers so, dass er bei diesem spezifischen Thema natürlich dazu neigt, „Ich weiß es nicht" zu sagen.
Trainiert der Lehrer den Schüler mit Übungstests, um genau zu lernen, wann er „Ich weiß es nicht" sagen soll und wann er normal weiterantworten darf.

Das Ergebnis ist ein Roboter, der seine Geheimnisse erfolgreich vergessen hat, aber dennoch höflich, kohärent und nützlich bleibt.

Technische Zusammenfassung: ASRU – Aktivierungssteuerung trifft auf Reinforcement Unlearning für multimodale Large Language Models

1. Problemstellung

Multimodale Large Language Models (MLLMs) speichern während des Pretrainings häufig sensible cross-modale Informationen auswendig, was Risiken hinsichtlich Datenschutzverletzungen und Urheberrechtsverletzungen birgt. Obwohl Machine Unlearning (MU) entscheidend für die Entfernung solchen Wissens ist, stoßen bestehende Methoden auf zwei fundamentale Einschränkungen:

Verschlechterung der Reaktionsfähigkeit nach dem Unlearning: Aktuelle Ansätze führen nach dem Unlearning oft zu halluzinierten, starren oder inkohärenten Ausgaben. Anstatt eine Wissenslücke natürlich zu äußern, generieren Modelle möglicherweise erfundenes Material oder repetitive, degenerierte Texte. Dieses „unnatürliche" Verhalten kann unbeabsichtigt offenbaren, dass ein Unlearning stattgefunden hat, und stellt Sicherheitsrisiken dar.
Zielkonflikt zwischen Unlearning und Nützlichkeit: Es besteht ein anhaltender Konflikt zwischen dem effektiven Vergessen von Zielwissen und der Bewahrung der allgemeinen Nützlichkeit des Modells. Auf Gradientenanstieg basierende Methoden neigen dazu, den Vergessensdatensatz übermäßig zu unterdrücken, was zu unbeabsichtigten globalen Verhaltensverschiebungen führt, während Methoden, die die Nützlichkeit priorisieren, oft kein vollständiges Unlearning erreichen.

Bestehende Evaluierungen konzentrieren sich primär auf Abweichungen der Ausgaben vom Ground Truth und übersehen dabei die Generierungsqualität des ungelernnten Modells. Dieser Artikel argumentiert, dass ein ungelernntes Modell sich wie ein abgestimmtes Basismodell verhalten sollte, das Wissenslücken auf dynamische, kontextbewusste und kohärente Weise ausdrückt.

2. Methodik: ASRU-Rahmenwerk

Die Autoren schlagen ASRU (Activation Steering meets Reinforcement Unlearning) vor, ein zweistufiges Rahmenwerk, das eine feingranulare Kontrolle über Ablehnungsgrenzen bei gleichzeitiger Wahrung der Modellnützlichkeit ermöglicht.

Stufe 1: Ablehnungssteuerung durch Aktivierungsumleitung

Die erste Stufe adressiert das Fehlen spontaner Ablehnungsverhalten in vortrainierten MLLMs.

Konstruktion einer Richtung des Wissensmangels: Die Methode konstruiert eine „Referenzrichtung für Ablehnung", indem sie die mittleren versteckten Aktivierungen des Vergessensdatensatzes ( $D_f$ ) mit einem Ziel-Ablehnungs-Referenzdatensatz ( $D_{target}$ ) kontrastiert. $D_{target}$ besteht aus Eingaben, bei denen das Modell kein Vorwissen hat (z. B. nicht gesehene synthetische Gesichter gepaart mit Datenschutzabfragen).
Aktivierungssteuerung: Ein Steuervektor ( $v_{L^*}$ ) wird als Differenz zwischen den mittleren Aktivierungen von $D_{target}$ und $D_f$ berechnet. Dieser Vektor wird verwendet, um die Aktivierungen des Reststroms von Eingaben des Vergessensdatensatzes in eine Region „kein relevantes Wissen" umzuleiten.
Effiziente Optimierung: Anstatt das gesamte Modell feinabzustimmen, aktualisiert ASRU nur eine einzelne Down-Projektionsmatrix in einer spezifischen Ziel-Schicht ( $L^*$ ). Dies wird durch eine geschlossene Lösung erreicht, die die Abweichung zwischen tatsächlichen und Zielaktivierungen minimiert und ein initiales, kontrollierbares Ablehnungsverhalten induziert.

Stufe 2: Optimierung der Ablehnungsgrenze durch GRPO

Die zweite Stufe verfeinert die Entscheidungsgrenze, um unnötige Ablehnungen bei beibehaltenen Daten zu verhindern.

Konstruktion einer Grenzmenge: Eine Grenzmenge ( $\tilde{D}_r$ ) wird aus dem Beibehaltungsdatensatz ( $D_r$ ) entnommen. Diese Stichproben sind im Eingaberaum dem Vergessensdatensatz hochgradig ähnlich, müssen jedoch beibehalten werden, was das Erlernen einer feingranularen Unterscheidung ermöglicht.
Entwurf einer überprüfbaren Belohnungsfunktion: Eine Belohnungsfunktion wird entwickelt, um zwei Aspekte zu bewerten:
1. Wirksamkeit des Vergessens: Bestrafung der Reproduktion von Zielwissen und Belohnung natürlicher, kontextbewusster Ablehnungen (z. B. „Dies kann nicht aus dem Bild abgeleitet werden").
2. Treue der Beibehaltung: Belohnung korrekter, informativer Antworten für Grenz- und Beibehaltungsstichproben bei gleichzeitiger Bestrafung übermäßiger Ablehnungen.
Group Relative Policy Optimization (GRPO): Das Modell wird unter Verwendung von GRPO optimiert. Durch das Stichprobenziehen von Gruppen von Rollouts für gepaarte Eingaben (Vergessen vs. Grenze) berechnet der Algorithmus gruppenrelative Vorteile. Dies ermutigt das Modell, eine präzise Policy zu erlernen, die bei Bedarf ablehnt (für $D_f$ ), aber bei beibehaltenem Wissen angemessen antwortet, wodurch die Ablehnungsgrenze effektiv geschärft wird.

3. Hauptbeiträge

Generierungsqualität als Kernmetrik: Der Artikel führt die Generierungsqualität als primäre Evaluierungsdimension für Unlearning ein, wobei spezifisch Kontextuelle Ablehnung (Kohärenz und Natürlichkeit von Ablehnungen) und Vergesslichkeit (Fehlen von Wissenslecks) gemessen werden.
Neuartiges Zweistufen-Rahmenwerk: ASRU ist das erste Rahmenwerk, das Aktivierungssteuerung (zur Initialisierung der Ablehnungsfähigkeit mit minimalen Parameteraktualisierungen) und GRPO (zur Verfeinerung der Grenze zwischen Vergessen und Beibehaltung) kombiniert.
Feingranulare Kontrolle: Durch die Nutzung einer Grenzmenge und überprüfbarer Belohnungen erreicht ASRU einen überlegenen Kompromiss zwischen Wirksamkeit des Unlearnings und Modellnützlichkeit und vermeidet das „Alles-oder-Nichts"-Verhalten früherer Methoden.

4. Experimentelle Ergebnisse

Experimente wurden an Qwen3-VL (4B und 8B) und LLaVA-1.5-7B unter Verwendung der Datensätze MLLMU-Bench und CLEAR durchgeführt.

Wirksamkeit des Unlearnings: ASRU übertrifft die Baselines (GA, GA Diff, KL Min, NPO, MMUnlearner) signifikant. Bei Qwen3-VL-8B mit einem Vergessensanteil von 5% wurde eine durchschnittliche Verbesserung von 24,6% in der Wirksamkeit des Unlearnings im Vergleich zur stärksten Baseline erzielt.
Generierungsqualität: ASRU zeigte eine massive Verbesserung der Generierungsqualität mit einer durchschnittlichen Steigerung um den Faktor 5,8 gegenüber den Baselines. Dies deutet auf eine erhebliche Reduktion von Halluzinationen und starren Antworten hin, wobei das Modell kontextbewusste, dynamische Ablehnungen generiert.
Erhaltung der Nützlichkeit: Trotz aggressiven Unlearnings behielt ASRU eine hohe Leistung auf dem Beibehaltungsdatensatz und realen Prominenzdatensätzen bei, wobei nur ein kleiner Bruchteil (ca. 27,3%) der überwachten Beibehaltungsdaten verwendet wurde.
Robustheit: Die Methode blieb unter adversarischen Prompt-Variationen (zufällige Präfixe, Umformulierungen und Jailbreak-Versuche) wirksam, was darauf hindeutet, dass die erlernte Ablehnungsgrenze generalisierbar und nicht vorlagenbasiert ist.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass ASRU eine kritische Lücke im multimodalen Unlearning adressiert: die Verschlechterung des Modellverhaltens nach der Wissensentfernung. Indem Generierungsqualität als primäres Ziel behandelt wird, stellt ASRU sicher, dass ungelernnte Modelle sicher, nutzbar und abgestimmt bleiben.

Die Autoren betonen, dass ihr Ansatz es Modellen ermöglicht, sich wie „abgestimmte Basismodelle" zu verhalten, die Wissenslücken natürlich ausdrücken können, ohne zu halluzinieren oder sensible Informationen preiszugeben. Die Integration von Aktivierungssteuerung zur Initialisierung und Reinforcement Learning zur Verfeinerung der Grenzen bietet eine skalierbare und kontrollierbare Lösung für den Aufbau vertrauenswürdiger MLLM-Systeme. Die Arbeit wird als Schritt hin zu robusteren, datenschutzfreundlichen KI-Systemen präsentiert, mit potenziellen zukünftigen Erweiterungen auf andere Modalitäten wie Audio und Video.