Technische Zusammenfassung: Nullraum-gebundenes kontrastives visuelles Vergessen für das Unlearning von MLLMs

1. Problemdefinition

Die Arbeit adressiert die Herausforderung des maschinellen Unlearning innerhalb von Multimodalen Großsprachmodellen (MLLMs). Während Unlearning in rein textbasierten LLMs darauf abzielt, spezifisches textuelles Wissen zu entfernen, stellt das Unlearning bei MLLMs einen komplexeren Zielkonflikt dar: Das Ziel ist die Löschung von zielgerichtetem visuellem Wissen (z. B. dem visuellen Erscheinungsbild einer bestimmten Person), unter strikter Wahrung von:

1. Nicht-zielgerichtetem visuellem Wissen (visuellen Merkmalen anderer Entitäten).
2. Sämtlichem textuellen Wissen (faktischen Informationen über sowohl Ziel- als auch Nicht-Ziel-Entitäten).

Die Kernschwierigkeit liegt in der engen Verflechtung der visuellen und textuellen Modalitäten. Standard-Unlearning-Methoden, die das gesamte Modell aktualisieren, verschlechtern oft die textuellen Fähigkeiten oder scheitern daran, visuelle Konzepte selektiv zu vergessen, ohne Kollateralschäden für das beibehaltene visuelle Wissen zu verursachen. Darüber hinaus verlassen sich bestehende Methoden typischerweise auf Supervision auf Output-Ebene (Verlustfunktionen, die auf die endgültigen Modellausgaben angewendet werden), was ineffizient ist, wenn nur das visuelle Modul aktualisiert wird, da das Supervisionssignal durch den dazwischenliegenden LLM-Backbone abgeschwächt wird.

2. Methodik

Das vorgeschlagene Framework, Nullraum-gebundenes kontrastives visuelles Vergessen (NC-CVF), funktioniert durch Einfrieren des LLM-Backbones und Feinabstimmung ausschließlich des visuellen Moduls (Vision Encoder und Projector). Der Ansatz besteht aus drei Hauptkomponenten:

A. Supervision auf Zwischenstufe durch kontrastives visuelles Vergessen (CVF)

Anstatt Supervision auf der finalen Ausgabe anzuwenden, injiziert die Methode Supervision direkt in die visuellen Zwischenrepräsentationen (IVRs), die vom visuellen Modul erzeugt werden.

• Referenzmodell: Das ursprüngliche, vor-Unlearning-Modell dient als Referenz.
• Kontrastiver Mechanismus:
  • Push: Für Ziel-Entitäten (Vergessensmenge) werden die IVRs des ungelernnten Modells mittels einer modifizierten InfoNCE-ähnlichen Verlustfunktion ($L_{CVF-push}$) von den Referenz-IVRs weggedrückt. Dies trennt Ziel-Visuelle Konzepte explizit von ihren ursprünglichen Repräsentationen.
  • Pull: Um zu verhindern, dass das Modell in einen Bereich driftet, der beibehaltenes Wissen schädigt, werden die ungelernnten IVRs zu einer Ankerrepräsentation ($p^a_r$) hingezogen. Dieser Anker ist der Mittelwert der Referenz-IVRs aus den beibehaltenen Stichproben und stellt sicher, dass das Modell innerhalb eines „sicheren" Merkmalsraums für Nicht-Ziel-Wissen bleibt.
• Retention-Verlust: Ein expliziter Mean-Squared-Error ($L_{RET}$) wird auf die IVRs der beibehaltenen Stichproben angewendet, um sicherzustellen, dass sie mit dem Referenzmodell übereinstimmen.
• Allgemeine Nutzbarkeit: Ein standardmäßiger likelihood-Verlust auf Output-Ebene ($L_{GUM}$) wird auf beibehaltenen Daten hinzugefügt, um allgemeine multimodale Fähigkeiten zu erhalten.

B. Nullraum-gebundenes Unlearning (NCU)

Um das Vergessen weiter vom Beibehalten zu entkoppeln, schränkt die Methode die Parameteraktualisierungen auf einen Unterraum ein, der orthogonal zu den Richtungen ist, die beibehaltenes Wissen kodieren.

• Identifikation des Unterraums: Mittels Singulärwertzerlegung (SVD) der Aktivierungs-Kovarianzmatrix der beibehaltenen Menge identifiziert die Methode den Unterraum, der von den Eigenvektoren aufgespannt wird, die den kleinsten Eigenwerten entsprechen. Diese Richtungen sind schwach mit beibehaltenem Wissen assoziiert.
• LoRA-Einschränkung: Das Unlearning wird über Low-Rank Adaptation (LoRA) implementiert. Die Methode initialisiert die LoRA-Matrix $A$ unter Verwendung der Basis dieses Nullraums und friert sie während des gesamten Trainings ein. Nur die Matrix $B$ wird optimiert.
• Effekt: Dies stellt sicher, dass die Gewichtsaktualisierungen ($\Delta W = BA$) einen vernachlässigbaren Einfluss auf die Schichtausgaben für beibehaltene Daten haben ($A x \approx 0$) und isolieren den Vergessensvorgang effektiv von der Wissensbewahrung.

C. Erweiterung auf kontinuierliches Unlearning

Das Framework wird auf kontinuierliches Unlearning erweitert, bei dem Vergessensanfragen sequenziell eintreffen. Durch das Einfrieren der Nullraum-Basis $A$ und die Initialisierung nachfolgender Aufgaben mit dem optimierten $B$ der vorherigen Aufgabe verhindert die Methode eine kumulative Verschlechterung des beibehaltenen Wissens im Zeitverlauf.

3. Hauptbeiträge

1. Supervision auf Zwischenstufe: Die Arbeit schlägt vor, die Unlearning-Supervision von der finalen Ausgabe auf die visuellen Zwischenrepräsentationen zu verlagern, um das Problem der Signalabschwächung in MLLMs zu adressieren, wenn nur das visuelle Modul aktualisiert wird.
2. Kontrastives visuelles Vergessen (CVF): Ein neuartiger Mechanismus, der eine „Push-Pull"-Strategie im Merkmalsraum verwendet, um Ziel-Visuelle Konzepte zu trennen, während sie gleichzeitig in Regionen beibehaltenen Wissens verankert werden.
3. Nullraum-gebundenes Unlearning (NCU): Eine strukturelle Einschränkung, die Vergessen und Beibehalten explizit entkoppelt, indem Aktualisierungen auf einen Unterraum beschränkt werden, der orthogonal zu beibehaltenem Wissen steht, inspiriert durch Nullraum-Lernen beim LLM-Editing.
4. Framework für kontinuierliches Unlearning: Der erste Ansatz zur Bewältigung sequenzieller Vergessensanfragen in MLLMs, der zeigt, dass die vorgeschlagenen Einschränkungen die typischerweise in kontinuierlichen Settings auftretende kumulative Verschlechterung mindern.

4. Experimentelle Ergebnisse

Die Methode wurde an drei Benchmarks evaluiert: MLLMU-Bench, UMU-Bench und CLEAR, unter Verwendung der Modelle LLaVA-1.5-7B und Qwen2-VL-7B.

• Wirksamkeit des Vergessens: Die Methode erzielte über alle Benchmarks hinweg die niedrigste Genauigkeit bei „Forget VQA"-Aufgaben (was eine erfolgreiche Entfernung des zielgerichteten visuellen Wissens anzeigt) und übertraf dabei State-of-the-Art-Baselines wie MMU und MANU.
• Wissensbewahrung: Sie behielt eine hohe Genauigkeit bei „Retain VQA"- und „Forget/Retain QA"-Aufgaben. Bemerkenswert ist, dass sie textuelles Wissen (QA-Aufgaben) auf einem Niveau bewahrte, das mit dem Vanilla-Modell vergleichbar war, während andere Methoden oft signifikante Einbußen erlitten.
• Kontinuierliches Unlearning: In sequenziellen Vergessensszenarien zeigte die vorgeschlagene Methode eine signifikant langsamere Verschlechterung der beibehaltenen und realweltlichen Nutzbarkeit im Vergleich zu Baselines, die nach wenigen Aufgaben einen schweren Leistungskollaps aufwiesen.
• Effizienz: Durch das Einfrieren des LLM und die Verwendung einer vorkalkulierten Nullraum-Einschränkung reduzierte die Methode die Trainingszeit und den GPU-Speicherbedarf im Vergleich zu Baselines mit Feinabstimmung des gesamten Modells.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, eine robuste Lösung für den Zielkonflikt zwischen Vergessen und Bewahrung in MLLMs zu präsentieren. Ihre Bedeutung liegt in:

• Selektives Unlearning: Der erfolgreichen Demonstration, dass visuelles Wissen gelöscht werden kann, ohne die Fähigkeit des Modells zu beeinträchtigen, textuelle Fakten abzurufen oder andere visuelle Entitäten zu erkennen.
• Strukturelle Entkoppelung: Der Überwindung einfacher Anpassungen von Verlustfunktionen hinaus zu strukturellen Einschränkungen (Nullraum), die den Vergessensprozess mathematisch vom beibehaltenen Wissen isolieren.
• Lebensfähigkeit bei Kontinuität: Der Adressierung eines praktischen, wenig erforschten Szenarios, bei dem über die Zeit mehrere Unlearning-Anfragen auftreten, wobei gezeigt wird, dass die Methode effektiv skaliert, ohne kumulative Schäden zu verursachen.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu sichereren MLLMs, die besser mit Datenschutzbestimmungen konform sind, indem sie eine präzise, modality-spezifische Wissensentfernung ermöglichen, ohne die prohibitiven Kosten eines Neutrainings.