💻 computer science

Object Hallucination-Free Reinforcement Unlearning for Vision-Language Models

Dieser Artikel stellt HFRU vor, ein Reinforcement-Unlearning-Framework, das auf dem Vision-Encoder mit einer GRPO-basierten Optimierung und einem Abstraktionsreward operiert, um ein tiefes semantisches Vergessen sensiblen Wissens in Vision-Language-Modellen zu erreichen und gleichzeitig Objekthalluzinationen effektiv zu verhindern.

Ursprüngliche Autoren: Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Vision-Language-Modell (VLM) als einen superklugen, mehrsprachigen Bibliothekar vor, der jedes Buch gelesen und jedes Bild im Internet betrachtet hat. Dieser Bibliothekar ist unglaublich hilfsbereit, erinnert sich aber manchmal an Dinge, an die er sich nicht erinnern sollte – wie das Gesicht einer bestimmten Prominenten, ein privates Foto oder ein urheberrechtlich geschütztes Bild.

Wenn wir den Bibliothekar bitten, sich diese spezifischen Dinge zu „merken", verhalten sich aktuelle Methoden oft wie ein ungeschickter Redakteur. Sie streichen lediglich die Namen im Notizbuch des Bibliothekars (die Textausgabe) durch, lassen aber das eigentliche mentale Bild dieser Person oder dieses Objekts im Gehirn des Bibliothekars intakt. Wenn Sie eine knifflige Frage stellen wie: „Ist diese Person auf dem Foto?", erkennt der Bibliothekar sie möglicherweise immer noch, selbst wenn er versprochen hat, ihren Namen nicht zu nennen. Noch schlimmer: Wenn er gezwungen wird, etwas zu vergessen, beginnt der Bibliothekar möglicherweise, Dinge zu erfinden und beschreibt selbstbewusst eine Katze, obwohl das Foto tatsächlich einen Hund zeigt, nur um die Stille zu füllen.

Die Arbeit stellt eine neue Methode namens HFRU (Hallucination-Free Reinforcement Unlearning) vor, um dies zu beheben. So funktioniert sie, unter Verwendung einfacher Analogien:

1. Das Problem: „Oberflächliche Amnesie"

Die meisten aktuellen Methoden versuchen, den Bibliothekar zu vergessen, indem sie nur seine Sprache bearbeiten (den Sprachdecoder).

Die Analogie: Stellen Sie sich vor, Sie sagen einem Schüler: „Sag das Wort 'Apfel' nicht." Der Schüler hört auf, „Apfel" zu sagen, hat aber immer noch ein perfektes mentales Bild eines Apfels im Kopf. Wenn Sie ihm ein Bild zeigen und fragen: „Welche Frucht ist das?", weiß er möglicherweise immer noch, dass es ein Apfel ist, oder gerät in Panik und rät „Banane", nur um zu vermeiden, „Apfel" zu sagen. Dies nennt man Halluzination – das Erfinden von Fakten, die nicht existieren.

2. Die Lösung: Umverdrahten der „Augen"

HFRU geht einen anderen Weg. Statt nur die Sprache zu bearbeiten, greift es direkt den Teil des Gehirns des Bibliothekars an, der Bilder sieht und erkennt (den Vision-Encoder).

Die Analogie: Anstatt dem Schüler nur zu sagen, er solle „Apfel" nicht sagen, verwischt HFRU sanft das mentale Bild des Apfels im Kopf des Schülers. Es verändert die Art und Weise, wie das Gehirn dieses spezifische visuelle Muster verarbeitet, so dass es nicht mehr wie ein Apfel aussieht.

3. Der Zwei-Stufen-Prozess

HFRU verwendet einen zweistufigen Trainingsprozess, um dies sicher zu tun:

Stufe 1: Die „Verwirrungs"-Phase (Cold Start)
Das System zeigt dem Bibliothekar Bilder der zu vergessenden Dinge (z. B. einen bestimmten Hund), sagt ihm aber, er solle sie als etwas anderes beschreiben (z. B. „Das ist ein Kaninchen").
- Ziel: Dies bricht die starke Verbindung zwischen dem Bild und seinem ursprünglichen Namen. Es ist so, als würde man dem Bibliothekar beibringen, dass er, wenn er diesen bestimmten Hund sieht, stattdessen an „Kaninchen" denken sollte. Dies schwächt das Gedächtnis, bevor die eigentliche Arbeit beginnt.
Stufe 2: Die „Belohnung"-Phase (Reinforcement Learning)
Das System verwendet ein spielähnliches Punktesystem (GRPO genannt), um den Bibliothekar zu trainieren.
- Die Strafe: Wenn der Bibliothekar den verbotenen Namen erwähnt (z. B. „Hund"), verliert er Punkte.
- Die Abstraktions-Belohnung (Das geheime Rezept): Dies ist die große Innovation der Arbeit. Wenn der Bibliothekar gezwungen wird, „Hund" zu vergessen, könnte er versucht sein, „Katze" zu raten (Halluzination). HFRU gibt einen Bonus, wenn der Bibliothekar stattdessen ein sicheres, allgemeines Wort wie „Tier" verwendet.
- Die Analogie: Stellen Sie sich einen Lehrer vor, der einem Schüler sagt: „Sag 'Hund' nicht." Wenn der Schüler „Katze" sagt, erhält er eine schlechte Note (Halluzination). Wenn er jedoch „Tier" sagt, erhält er einen goldenen Stern. Dies lehrt den Schüler, vage und sicher zu sein, anstatt eine falsche spezifische Antwort zu erfinden.

4. Die Ergebnisse

Die Arbeit testete dies an zwei Arten von Aufgaben: der Erkennung von Objekten (wie Hunden und Elefanten) und der Erkennung von Gesichtern (wie bestimmten berühmten Personen).

Vergessen: HFRU ließ den Bibliothekar die spezifischen Ziele in 98–99 % der Fälle erfolgreich vergessen.
Erinnern: Es erhielt die Fähigkeit des Bibliothekars, alles andere (wie Katzen oder andere Personen) fast perfekt zu erkennen.
Keine Halluzinationen: Im Gegensatz zu anderen Methoden, die den Bibliothekar zu wilden Vermutungen veranlassten, erfand HFRU fast nie falsche Objekte. Der Bibliothekar sagte entweder „Ich weiß es nicht" oder verwendete ein sicheres allgemeines Wort wie „Tier".

Zusammenfassung

Stellen Sie sich HFRU als eine spezialisierte Gedächtnischirurgie vor. Anstatt dem Bibliothekar nur einen Knebel aufzuzwingen, damit er bestimmte Wörter nicht ausspricht, verdrahtet es sein visuelles Erkennungszentrum sorgfältig um. Es lehrt ihn, spezifische, sensible Erinnerungen durch sichere, allgemeine Konzepte zu ersetzen und stellt sicher, dass er nichts zufällig erfindet, wenn er versucht, zu vergessen. Das Ergebnis ist ein Modell, das wirklich vergisst, was es muss, ohne seinen Verstand zu verlieren oder Lügen zu erfinden.

Technischer Zusammenfassung: Halluzinationsfreies Reinforcement Unlearning für Vision-Language-Modelle

Problemdefinition

Vision-Language-Modelle (VLMs) bergen erhebliche Risiken hinsichtlich Datenschutz, Urheberrecht und Verzerrungen, was maschinelles Unlearning erforderlich macht, um spezifisches sensibles Wissen zu entfernen. Bestehende Unlearning-Methoden stützen sich jedoch primär auf das Fine-Tuning des Sprach-Decoders. Die Autoren identifizieren eine kritische Einschränkung dieses Ansatzes: Er führt zu oberflächlichem Vergessen. Während das Modell die Generierung spezifischer Schlüsselwörter in offenen Texten unterdrücken mag, behält es die zugrunde liegenden visuellen Repräsentationen des Zielkonzepts innerhalb des Vision-Encoders. Folglich kann das Modell das vergessene Konzept bei diskriminativer Abfrage (z. B. „Ist diese Person X?") immer noch erkennen oder darüber schlussfolgern.

Darüber hinaus hebt die Arbeit einen bisher übersehenen Fehlermodus hervor: Objekt-Halluzinationen. Wenn ein Modell gezwungen wird, ein Konzept ohne semantische Ausweichmöglichkeit zu unterdrücken, kann es die Wahrscheinlichkeitsmasse willkürlich auf nicht im visuellen Eingabebild verankerte, unrelated Objekte umverteilen. Die Arbeit definiert das Ziel des halluzinationsfreien VLM-Unlearnings formal, welches Folgendes erfordert:

Effektives Vergessen: Beseitigung des Einflusses des Zielkonzepts sowohl bei generativen als auch bei diskriminativen Aufgaben.
Erhaltung der Nutzbarkeit: Aufrechterhaltung der Leistung auf Nicht-Ziel- (Retain-) Daten und allgemeinen Benchmarks.
Halluzinationsfreie Generierung: Sicherstellung, dass das Modell, wenn es ein Zielkonzept nicht identifizieren kann, nicht selbstbewusst das Vorhandensein unrelated Objekte behauptet. Stattdessen sollte es entweder Unsicherheit ausdrücken oder semantisch gültige Hyperonyme verwenden (z. B. „ein Tier" statt eines spezifischen „Hundes" oder eines zufälligen „Katers").

Methodik: HFRU-Rahmenwerk

Die Autoren schlagen HFRU (Hallucination-Free Reinforcement Unlearning) vor, ein zweistufiges Rahmenwerk, das direkt auf dem Vision-Encoder und nicht auf dem Sprach-Decoder operiert. Dies gewährleistet eine tiefgreifende semantische Entfernung auf Repräsentationsebene.

Stufe 1: Unterbrechung der Kaltstart-Ausrichtung

Die erste Stufe nutzt Supervised Fine-Tuning (SFT), um die Ausrichtung zwischen visuellen Merkmalen im Forget-Set und ihren ursprünglichen semantischen Labels zu unterbrechen.

Prozess: Das Modell generiert eine Bildunterschrift für ein Bild im Forget-Set. Schlüsselwörter, die mit dem Zielkonzept zusammenhängen, werden zufällig durch Tokens aus dem Retain-Set ersetzt (z. B. Ersetzen von „Hund" durch „Kaninchen").
Ziel: Der Vision-Encoder wird trainiert, den visuellen Input mit dem modifizierten, inkonsistenten Text zu assoziieren. Dies schwächt die Abhängigkeit des Modells vom Zielkonzept und initialisiert den Encoder in einem Zustand, in dem die ursprüngliche Assoziation erheblich gestört ist.

Stufe 2: Reinforcement Unlearning nur für den Encoder

Die zweite Stufe nutzt Group Relative Policy Optimization (GRPO), um die Parameter des Vision-Encoders zu verfeinern, während der Sprach-Decoder eingefroren bleibt.

Komposite Belohnungsstruktur: Die Kerninnovation ist eine Belohnungsfunktion, die darauf ausgelegt ist, Zielkonzepte zu bestrafen und gleichzeitig semantisch gültige Abstraktionen zu fördern.
- Straf-Belohnung ( $R_{pen}$ ): Bestraft die Generierung von Ziel-Schlüsselwörtern und ihren Synonymen.
- Abstraktions-Belohnung ( $R_{abs}$ ): Belohnt die Generierung von Hyperonymen (z. B. „Tier" für „Hund") anstelle von unrelated Objekten. Dies fungiert als „sicherer semantischer Ausweg" und leitet das Modell an, vergessene Konzepte durch gültige übergeordnete Kategorien zu ersetzen.
- Retain-Belohnung ( $R_{retain}$ ): Stellt sicher, dass das Modell Wissen über Nicht-Ziel-Konzepte behält.
Optimierung: GRPO berechnet relative Vorteile innerhalb einer Gruppe von Stichprobenantworten, um das Training zu stabilisieren. Die Zielfunktion maximiert die Belohnung für das Forget-Set (Bestrafung von Zielen, Belohnung von Hyperonymen) und das Retain-Set (Belohnung der Erhaltung) und formt so den latenten Repräsentationsraum effektiv um.

Theoretische Garantie

Die Arbeit liefert einen theoretischen Beweis (Lemma 1), der zeigt, dass die Einbeziehung der Abstraktions-Belohnung ( $R_{abs}$ ) die erwartete Halluzinationsrate im Vergleich zur Verwendung einer reinen Straf-Belohnung systematisch reduziert. Indem ein gültiger semantischer Pfad (Hyperonyme) für die vom Zielkonzept entfernte Wahrscheinlichkeitsmasse bereitgestellt wird, ist das Modell weniger wahrscheinlich, nicht verankerte, halluzinierte Objekte zu generieren.

Hauptbeiträge

Problemdefinition: Die Autoren definieren das neuartige Problem des halluzinationsfreien VLM-Unlearnings formal und adressieren den Fehlermodus, bei dem die Entfernung eines Konzepts die Generierung nicht verankerter Inhalte auslöst.
HFRU-Rahmenwerk: Sie schlagen ein zweistufiges Rahmenwerk vor, das den Vision-Encoder zum Ziel hat. Dies gewährleistet eine tiefgreifende semantische Entfernung anstelle einer oberflächlichen lexikalischen Filterung. Theoretisch reduziert dieser Mechanismus Halluzinationen im Forget-Set.
Neuartige Visualisierung: Die Autoren entwickeln eine Methode, um interne Wahrnehmungen aus versteckten Zuständen mithilfe eines Mapping-Netzwerks und eines diffusionsbasierten IP-Adapters zu rekonstruieren, was die direkte Beobachtung ermöglicht, wie sich visuelle Merkmale während des Unlearnings verändern.
Umfassende Evaluation: Umfassende Experimente zu Objekterkennung (PACS) und Gesichtsidentität (VGGFace2) belegen die Wirksamkeit des Rahmenwerks.

Experimentelle Ergebnisse

Die Autoren evaluierten HFRU auf den Datensätzen PACS und VGGFace2 und verglichen es mit Baselines wie Gradient Ascent (GA), Gradient Difference (GD), NPO, RMU, SAUCE und SLUG.

Vergessen und Erhaltung: HFRU erreichte eine durchschnittliche Vergessensrate und eine Erhaltung der Leistung von über 98 % über verschiedene Prompt-Formate hinweg (Original, Umformuliert und Diskriminativ).
Minderung von Halluzinationen: Im Gegensatz zu Baselines, die oft Vergessen gegen Halluzinationen eintauschen (z. B. zeigte SAUCE eine hohe Vergessensrate, aber eine Halluzinationsrate von 20,67 % auf VGGFace2), führte HFRU zu vernachlässigbaren Objekt-Halluzinationen (0,25 % auf PACS, 1,34 % auf VGGFace2).
Allgemeine Nutzbarkeit: HFRU behielt allgemeine Vision-Language-Fähigkeiten bei, die mit dem Basismodell vergleichbar waren, während viele Baselines eine signifikante Verschlechterung bei allgemeinen Benchmarks (MMStar, OCRBench, MMMU, RealWorldQA) erlitten.
Ablationsstudien: Das Entfernen der Abstraktions-Belohnung führte zu einem massiven Anstieg der Halluzinationen (bis zu 99,67 % auf VGGFace2), was ihre kritische Rolle bestätigt. Die Beschränkung der Updates auf den Vision-Encoder erwies sich als überlegen gegenüber dem Full-Parameter-Fine-Tuning, das oft zu einer oberflächlichen Unterdrückung auf Token-Ebene führte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass HFRU einen neuen State-of-the-Art für VLM-Unlearning etabliert, indem es die duale Herausforderung der effektiven Konzeptentfernung und der Verhinderung von Halluzinationen löst. Die Bedeutung liegt in:

Fokuswechsel: Die Verlagerung des Unlearnings vom Sprach-Decoder zum Vision-Encoder, um eine echte semantische Auslöschung zu erreichen.
Sicherheit und Zuverlässigkeit: Bereitstellung eines Mechanismus, der verhindert, dass Modelle „halluzinieren", wenn sie gezwungen werden, spezifische Daten zu vergessen, was zu neuen, potenziell schädlichen oder falschen Fakten führen könnte.
Robustheit: Demonstration, dass die Methode auf Out-of-Distribution (OOD)-Szenarien (z. B. die Sketch-Domäne in PACS) generalisiert, ohne sich an die Trainingsverteilung anzupassen.

Die Autoren schließen, dass ihre Arbeit die Notwendigkeit von Eingriffen auf Encoder-Ebene und eines strukturierten Belohnungsdesigns für zuverlässiges multimodales Unlearning unterstreicht und einen praktischen Ansatz für sicherere, vertrauenswürdige KI-Systeme bietet.