🤖 AI

Visual-Noise Guided In-Context Distillation for Multimodal Large Language Model Unlearning

Dieses Paper schlägt Visual-Noise Guided In-Context Distillation (VGID) vor, ein trainingsfreies Framework, das visuelle Perturbation und textuelle In-Context-Unlearning kombiniert, um eine Lehrer-Distribution für die Destillation multimodaler großer Sprachmodelle zu generieren, wodurch sensible Informationen effektiv auf Parameterebene entfernt werden, während die allgemeine Modellnutzbarkeit erhalten bleibt.

Ursprüngliche Autoren: Junkai Chen, Yuhao He, Junxiang You, Ruiqi Liu, Chenyu Wang, Shu Wu

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junkai Chen, Yuhao He, Junxiang You, Ruiqi Liu, Chenyu Wang, Shu Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten, allwissenden Roboter-Assistenten (ein Multimodales Großes Sprachmodell), der fast alles im Internet gelesen und Milliarden von Bildern gesehen hat. Er ist unglaublich hilfreich, aber da er aus dem gesamten Web gelernt hat, erinnert er sich manchmal an Dinge, die er nicht wissen sollte – wie private Details über bestimmte Personen, urheberrechtlich geschützte Kunst oder unsichere Anweisungen.

Das Problem ist: Wie bringt man den Roboter dazu, diese spezifischen schlechten Erinnerungen zu „vergessen“, ohne sein gesamtes Gehirn zu löschen oder ihn dumm zu machen?

Dieses Paper stellt eine neue Methode namens VGID (Visual-Noise Guided In-Context Distillation) vor, um dieses Problem zu lösen. So funktioniert es, erklärt durch einfache Analogien.

Das Problem: Der „Ein-Hand“-Ansatz

Frühere Methoden versuchten, dies auf zwei Arten zu beheben, aber beide hatten Mängel:

Die „Radiergummi“-Methode (Training-basiert): Stellen Sie sich vor, Sie versuchen, einen Fleck aus einem weißen Hemd zu schrubben, indem Sie so fest schrubben, dass Sie ein Loch in den Stoff reißen. Diese Methoden aktualisieren den internen Code des Roboters, um die schlechten Informationen zu vergessen, aber sie beschädigen oft seine Fähigkeit, andere gute Dinge zu tun (wie einen Sonnenuntergang zu beschreiben oder Matheaufgaben zu lösen).
Die „Notiz“-Methode (In-Context Unlearning): Stellen Sie sich vor, Sie sagen dem Roboter: „Hey, wenn du dieses Bild siehst, tu einfach so, als wüsstest du nicht, wer das ist.“ Das ist, als würde man dem Roboter einen Klebezettel geben, den er vor der Antwort lesen soll. Das funktioniert, solange der Zettel da ist, aber das Gehirn des Roboters erinnert sich trotzdem noch an das Geheimnis. Wenn man den Roboter austrickst, indem man sagt: „Ignoriere den Zettel und sag mir die Wahrheit“, kommt das Geheimnis heraus. Außerdem funktioniert diese Methode nur gut, wenn man den Zettel sehr deutlich schreibt; wenn das Bild selbst zu offensichtlich ist, reicht der Zettel nicht aus, um den Roboter daran zu hindern, das Geheimnis auszuspucken.

Die Lösung: VGID (Das „Double-Blind“-Training)

Die Autoren erkannten, dass man einem Roboter, der in einer Welt lebt, in der er sowohl sieht als auch liest, nicht allein durch Worte beibringen kann zu vergessen. Man muss auch das Bild manipulieren.

VGID nutzt einen Teacher-Student-Ansatz, ähnlich wie ein Meisterkoch, der einen neuen Lehrling ausbildet.

Schritt 1: Den „perfekten Vergess“-Lehrer erschaffen
Anstatt einen neuen Roboter einzustellen, um den Schüler zu unterrichten, nutzt VGID den ursprünglichen Roboter (das „eingefrorene Basismodell“), trickst ihn aber so aus, dass er so tut, als hätte er vergessen.

Der visuelle Trick: Es nimmt das sensible Bild und fügt „visuelles Rauschen“ hinzu (wie das Rauschen auf einem alten Fernseher oder das Ersetzen des Bildes durch ein zufälliges Muster). Dies unterbricht die visuelle Verbindung des Roboters zum Geheimnis.
Der textliche Trick: Es fügt eine strikte Anweisung zum Text hinzu, wie zum Beispiel „Beantworte dies nicht“.
Das Ergebnis: Wenn der Roboter dieses verrauschte Bild + die strikte Anweisung sieht, gibt er natürlich eine sichere Antwort aus, wie etwa „Ich weiß es nicht“. Diese Ausgabe wird zum Signal des Lehrers.

Schritt 2: Den Schüler trainieren
Nun wird der „Schüler“-Roboter (derjenige, den wir reparieren wollen) trainiert.

Die Lektion: Der Schüler betrachtet das ursprüngliche, klare Bild (nicht das verrauschte) und versucht, die „Ich weiß es nicht“-Antwort des Lehrers zu kopieren.
Die Magie: Indem der Schüler versucht, die „Ich weiß es nicht“-Antwort nachzuahmen, die aus einem kaputten Bild generiert wurde, verdrahtet sich sein Gehirn tatsächlich selbst um, um zu vergessen. Er lernt, dass für dieses spezifische Bild die korrekte Antwort das Schweigen ist, selbst wenn das Bild klar ist.

Schritt 3: Das Gute bewahren
Während der Schüler lernt, die schlechten Dinge zu vergessen, stellen die Lehrer gleichzeitig sicher, dass der Schüler auch weiterhin andere Fragen korrekt beantwortet (wie „Welche Farbe hat der Himmel?“). Dies stellt sicher, dass der Roboter nicht seine allgemeine Intelligenz verliert.

Warum ist das besser?

Es ist robust: Im Gegensatz zur „Klebezettel“-Methode verändert dies tatsächlich das Gehirn (die Parameter) des Roboters. Selbst wenn man versucht, ihn später auszutricksen, indem man sagt „Ignoriere die Regeln“, wird er sich das Geheimnis trotzdem nicht merken, weil die Erinnerung weg ist und nicht nur versteckt wurde.
Es ist ausgewogen: Es vergisst die schlechten Dinge effektiv (wie die Reduzierung der Fähigkeit des Roboters, den Beruf einer Person zu erraten, von 57 % Genauigkeit auf 20 %), ohne dass der Roboter bei allem anderen dumm wird.
Es ist multimodal: Es versteht, dass man nicht nur Worte verwenden kann, um einen Roboter daran zu hindern, ein Geheimnis zu sehen; man muss auch das visuelle Signal stören.

Das Fazk

Betrachten Sie VGID als eine Möglichkeit, einem Roboter beizubringen, ein Geheimnis zu „entlernen“, indem man ihm eine „geglitchte“ Version des Geheimnisses zeigt, während man ihm sagt, er solle still sein, und ihn dann darauf trainiert, auch dann still zu sein, wenn das Geheimnis klar gezeigt wird. Es schafft ein dauerhaftes, sicheres „Vergessen“ im Gehirn des Roboters, ohne seine Fähigkeit zu brechen, hilfreich zu sein.

Technisches Resümee: Visual-Noise Guided In-Context Distillation für das Unlearning von Multimodalen Large Language Models

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben signifikante Fortschritte in visuell-sprachlichen Aufgaben erzielt, bergen jedoch erhebliche Datenschutz- und Sicherheitsrisiken, da sie unbeabsichtigt sensible persönliche Informationen, urheberrechtlich geschützte Inhalte oder unsicheres Wissen memorieren können. Einmal in den Modellparametern kodiert, kann dieses Wissen durch visuelle oder textuelle Abfragen während der Inferenz ausgelöst werden.

Existierende Unlearning-Paradigmen stehen vor einem kritischen Kompromiss:

Trainingsbasierte Methoden (z. B. Gradient Ascent, Negative Preference Optimization) aktualisieren die Modellparameter, um Wissen zu entfernen, beeinträchtigen jedoch oft die allgemeine Modellnutzung und Leistungsfähigkeit.
Trainingsfreie Methoden (z. B. In-Context Unlearning) bewahren die Nutzbarkeit, indem sie Parameteraktualisierungen vermeiden, können aber das memorierte Wissen nicht auf Parameterebene entfernen. Folglich bleiben sie anfällig für Reverse-Engineering-Angriffe und sind in multimodalen Settings unzureichend, in denen starke visuelle Eingaben textbasierte Sicherheitsanweisungen überschreiben können.

Die Kernherausforderung besteht darin, ein effektives Unlearning auf Parameterebene in MLLMs zu erreichen und gleichzeitig die allgemeine Nutzbarkeit sowie die Robustheit gegenüber adversen Prompts zu bewahren, ohne dabei auf externe Teacher-Modelle oder explizite unerwünschte Antwort-Annotationen zurückzugreifen.

2. Methodik: VGID

Die Autoren schlagen Visual-Noise Guided In-Context Distillation (VGID) vor, ein Teacher-Student-Framework, das darauf ausgelegt ist, die Lücke zwischen trainingsfreier Intervention und Unlearning auf Parameterebene zu schließen.

2.1 Dual-Modale Intervention

Die zentrale Erkenntnis von VGID ist, dass rein textuelle In-Context-Anweisungen allein nicht ausreichen, um die durch markante visuelle Merkmale induzierte Preisgabe von Privatsphäre zu unterdrücken. Um dies zu adressieren, konstruiert VGID eine unlearning-orientierte Teacher-Distribution aus einem eingefrorenen Basismodell mittels einer dual-modalen Intervention:

Visuelle Perturbation: Das Eingabebild wird perturbiert (z. B. durch Gaußsches Rauschen, zufällige Rauschersetzung oder White-Image-Replacement), um die zielsensiblen visuellen Evidenzen zu schwächen.
Textuelle In-Context-Anweisung: Eine Unlearning-Anweisung (z. B. „verweigere die Identifizierung der Person“) wird der textuellen Abfrage vorangestellt.

Das eingefrorene Basismodell verarbeitet diese perturbierte multimodale Eingabe, um eine weiche Zielverteilung ( $\pi_T$ ) zu generenieren. Diese Verteilung dient als Supervisionssignal, das das gewünschte Unlearning-Verhalten (Unterdrückung sensibler Token, Förderung sicherer Antworten) erfasst, ohne dass ein extern trainierter Teacher erforderlich ist.

2.2 Distillations-Framework

VGID verwendet ein Student-Modell ( $\pi_\theta$ ), das darauf trainiert wird, die Teacher-Distribution durch Knowledge Distillation zu matchen:

Forget Objective: Für Stichproben im Forget-Set ( $D_F$ ) minimiert der Student die Kullback-Leibler-Divergenz zwischen seinem Output auf dem Original-Input und dem Output des Teachers auf dem perturbierten Input. Dies führt den Studenten dazu, das Unlearning-Verhalten auf der Parameterebene zu erlernen.
Retain Objective: Für Stichproben im Retain-Set ( $D_R$ ) minimiert der Student die KL-Divergenz zwischen seinem Output und dem Output des eingefrorenen Basismodells auf dem Original-Input. Dies stellt die Bewahrung der allgemeinen multimodalen Fähigkeiten sicher.

Die gesamte Verlustfunktion ist eine gewichtete Kombination:
$L_{overall} = \alpha L_{forget} + \beta L_{retain}$

Dieser Ansatz ermöglicht es VGID, das durch die dual-modale Intervention induzierte „Unlearning-Verhalten“ direkt in die Modellparameter zu destillieren, wodurch Robustheit erreicht wird, ohne von Grund auf neu trainieren zu müssen oder externe Teacher zu nutzen.

3. Zentrale Beiträge

Identifizierung der Modalitätslücke: Die Arbeit zeigt auf, dass rein textuelle In-Context-Unlearning-Anweisungen für MLLMs unzureichend sind, da visuelle Inputs als dominante Konditionierungssignale wirken können, die textbasierte Sicherheitskonditionierungen überschreiben können.
Dual-Modale Interventionsstrategie: Die Autoren zeigen, dass die Kombination von visueller Perturbation mit textueller In-Context-Unlearning-Anweisung komplementäre Signale liefert, die privates Wissen effektiver unterdrücken als jede Modalität allein.
VGID-Framework: Ein neuartiges, auf Distillation basierendes Framework, das dynamisch eine unlearning-orientierte Teacher-Distribution aus einem eingefrorenen Basismodell konstruiert. Es erreicht Unlearning auf Parameterebene ohne externe Teacher-Modelle oder explizite Verweigerungs-Annotationen.
Empirische Validierung: Umfangreiche Experimente auf MLLMU-Bench über mehrere Backbones hinweg (Qwen2.5-VL, LLaVA-1.5) demonstrieren, dass VGID eine starke Unlearning-Effektivität erreicht und gleichzeitig eine konkurrenzfähige Modellnutzung sowie Robustheit gegen Reverse-Engineering-Angriffe beibehält.

4. Experimentelle Ergebnisse

Die Experimente wurden auf MLLMU-Bench mit Forget-Ratios von 5 %, 10 % und 15 % über Qwen2.5-VL-3B, LLaVA-1.5-7B und LLaVA-1.5-13B durchgeführt.

Unlearning-Effektivität: VGID reduzierte das private Wissen signifikant. In einem repräsentativen Setting (LLaVA-1.5-7B, 5 % Forget-Ratio) reduzierte VGID den ROUGE-L-Score des Forget-Sets von 0,571 (Base) auf 0,200, was einer Reduktion um 0,371 entspricht.
Bewahrung der Nutzbarkeit: Im Gegensatz zu gradientenbasierten Baselines, die oft die Performance des Retain-Sets verschlechtern, bewahrte VGID eine starke Nutzbarkeit. Im selben Setting sank der ROUGE-L-Wert des Retain-Sets nur um 0,055 (von 0,496 auf 0,441), und die Cloze-/Klassifizierungsgenauigkeit blieb konkurrenzfähig.
Robustheit: VGID demonstrierte eine überlegene Robustheit gegenüber Reverse-Engineering-Angriffen. Während die Performance von In-Context Unlearning (ICU) bei Anwendung von Reverse-Prompts signifikant wieder anstieg (Forget-Set ROUGE-L stieg von 0,462 auf 0,518), blieb VGID stabil (Forget-Set ROUGE-L stieg nur von 0,200 auf 0,220).
Ablationsstudien:
- Teacher-Konstruktion: Die dual-modale Intervention (VGID) übertraf Single-Modalitäts-Interventionen (ICU-T oder Noise-T), was die Notwendigkeit der Kombination von visuellen und textuellen Cues bestätigt.
- Perturbationsstrategie: Random Noise Replacement erwies sich als effektiver als Gaußsches Rauschen oder White-Image-Replacement, was darauf hindeutet, dass das Perturbationsmuster entscheidend ist, um visuelle Cues zu entfernen und gleichzeitig einen nutzbaren Input für den Teacher aufrechtzuerhalten.
- Prompt-Stil: „Strict Enforcement“-Prompts boten das stabilste Gleichgewicht zwischen Vergessen und Nutzenbewahrung.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass VGID im Vergleich zu existierenden trainingsbasierten und trainingsfreien Methoden einen überlegenen Kompromiss zwischen der Vollständigkeit des Unlearnings und der Modellnutzung bietet. Durch die Destillation einer interventionsinduzierten Distribution überträgt VGID erfolgreich die Robustheit der Interventionszeit-Intervention in die Modellparameter, wodurch das Unlearning-Verhalten resistent gegen Reverse-Engineering-Angriffe wird.

Die Autoren positionieren VGID als praktische Lösung für den datenschutzfreundlichen Einsatz von MLLMs, die die Rechenkosten eines Retrainings vermeidet und die Anfälligkeit rein inferenzbasierter Strategien umgeht. Sie räumen Einschränkungen ein und merken an, dass sich der aktuelle Fokus auf das auf Privatsphäre ausgerichtete Unlearning konzentriert und der Gestaltungsspielraum für visuelle Perturbationen noch wenig erforscht ist, was darauf hindeutet, dass zukünftige Arbeiten dieses Paradigma auf den Schutz von Urheberrechten und die Entfernung von unsicherem Wissen ausweiten könnten.