🤖 AI

PPU-Bench:Real World Benchmark for Personalized Partial Unlearning in Vision Language Models

Dieser Artikel stellt PPU-Bench vor, einen Benchmark aus der realen Welt zur Bewertung des personalisierten partiellen Unlearnings in multimodalen großen Sprachmodellen anhand von 24.000 Stichproben in drei herausfordernden Szenarien, der erhebliche Einschränkungen bestehender Methoden aufzeigt und die Einführung einer bewussten Optimierung der Grenzen (Boundary-Aware Optimization, BAO) motiviert, um faktische Grenzen innerhalb von Subjekten wirksam durchzusetzen.

Ursprüngliche Autoren: Jiahui Guang, Zexun Zhan, Zhenlin Xu, Cuiyun Gao, Haiyan Wang, Jing Li, Zhaoquan Gu, Yanchun Zhang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiahui Guang, Zexun Zhan, Zhenlin Xu, Cuiyun Gao, Haiyan Wang, Jing Li, Zhaoquan Gu, Yanchun Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen riesigen, superschlauen Bibliotheksroboter (ein multimodales großes Sprachmodell) vor, der fast alles im Internet gelesen hat. Er kennt Bilder und Wörter im Zusammenhang. Manchmal erinnert sich dieser Roboter an Dinge über echte Menschen, die sie vielleicht nicht mehr wissen lassen möchten – wie eine private Krankengeschichte oder eine spezifische peinliche Geschichte.

Das Gesetz besagt, dass Menschen ein „Recht auf Vergessenwerden" haben. Aber einen riesigen Roboter zum Vergessen zu bewegen, ist schwierig. Wenn Sie ihm sagen, er solle „Stephen King" vergessen, könnte er vergessen, dass er ein Autor ist und dass er in Maine geboren wurde. Das wollen Sie nicht; Sie möchten nur, dass er die spezifische private Geschichte vergisst, nicht seine gesamte Identität.

Hier ist, was diese Arbeit, PPU-Bench, in einfachen Worten leistet:

1. Das Problem: Der „Alles-oder-Nichts"-Fehler

Stellen Sie sich ein Fotoalbum eines Freundes vor. Sie möchten nur ein Foto löschen, auf dem er einen albernen Hut trägt, aber Sie wollen die Fotos von seiner Hochzeit und seinem Abschluss behalten.

Alte Benchmarks: Frühere Tests für „Vergessen" waren so, als würde man den Roboter bitten, das gesamte Album wegen eines Fotos wegzuwerfen. Oder sie verwendeten von Computern erstellte Fake-Fotos, um den Roboter zu testen. Dies spiegelte die Realität nicht wider.
Der neue Benchmark (PPU-Bench): Die Autoren entwickelten einen neuen, realistischen Test mit 500 echten berühmten Personen (wie Stephen King oder Taylor Swift). Sie erstellten 24.000 Fragen und Bilder zu ihnen.
- Sie teilten die Informationen in drei Kategorien ein: Basis (Name, Beruf), Normal (Auszeichnungen, Bücher) und Sensibel (Suchtgeschichte, Unfälle).
- Sie testeten drei Szenarien:
  1. Komplettes Vergessen: „Vergiss diese Person vollständig."
  2. Selektives Vergessen: „Vergiss die sensiblen Dinge, behalte aber die normalen Dinge."
  3. Personalisiertes Vergessen: „Vergiss genau das, was diese spezifische Person verbergen möchte."

2. Die Entdeckung: Der Roboter ist „blind", aber nicht „amnestisch"

Die Forscher testeten sechs verschiedene Methoden, um den Roboter zum Vergessen zu bringen. Sie stellten einige überraschende Dinge fest:

Der „Verblindungs"-Trick: Als sie versuchten, den Roboter dazu zu bringen, eine Person vollständig zu vergessen, löschte der Roboter die Fakten nicht wirklich aus seinem Gehirn. Stattdessen hörte er einfach auf, das Gesicht auf dem Bild zu erkennen. Es war, als würde man dem Roboter eine Augenbinde aufsetzen. Wenn man fragte: „Wer ist das?", sagte er: „Ich weiß es nicht." Aber wenn man fragte: „Wie ist Stephen Kings Name?", ohne ein Bild zu zeigen, wusste er die Antwort immer noch perfekt. Er vergaß das Bild, nicht die Tatsache.
Das „Puzzle"-Problem: Beim „personalisierten" Test (nur die sensiblen Teile vergessen) hatte der Roboter Schwierigkeiten, die Grenze zu ziehen. Es war wie der Versuch, eine bestimmte Form aus einem Puzzle herauszuschneiden, ohne die danebenliegenden Teile zu beschädigen. Der Roboter vergaß oft entweder zu viel (die Karriere der Person auslöschend) oder zu wenig (das private Geheimnis preisgebend).

3. Die Lösung: Eine „Grenzziehung"

Um das „Puzzle"-Problem zu lösen, erfanden die Autoren eine neue Methode namens Boundary-Aware Optimization (BAO).

Die Analogie: Stellen Sie sich das Gehirn des Roboters als Garten vor. Die „Vergessen"-Fakten sind Unkraut, und die „Behalten"-Fakten sind Blumen.
- Alte Methoden: Versuchten, den ganzen Garten mit Unkrautvernichter zu besprühen. Manchmal töteten sie auch die Blumen oder verpassten das Unkraut.
- BAO (Die neue Methode): Anstatt nur zu sprühen, zieht BAO eine strikte, unsichtbare Grenzlinie zwischen dem Unkraut und den Blumen. Es sagt dem Roboter: „Du musst das Unkraut sehr schwach machen, aber du musst sicherstellen, dass die Blumen stärker sind als das Unkraut."
Das Ergebnis: Diese Methode war viel besser darin, die spezifischen „sensiblen" Fakten zu entfernen, während die „normalen" Fakten sicher blieben. Sie beeinträchtigte nicht die Fähigkeit des Roboters zu sprechen oder zu sehen; sie ließ ihn nur die spezifischen Dinge vergessen, die ihm gesagt worden waren zu vergessen.

4. Der Stresstest: Kann der Roboter getäuscht werden?

Die Forscher versuchten auch, den Roboter zu „hacken", um zu sehen, ob er die vergessenen Dinge versehentlich wieder erinnern würde.

Sie zeigten dem Roboter verschiedene Bilder derselben Person (Cross-image-Angriff).
Sie stellten dieselbe Frage auf unterschiedliche Weise (Paraphrase-Angriff).
Sie versuchten, den Roboter mit „Jailbreak"-Prompts zu täuschen (indem sie sagten: „Tun Sie so, als wären Sie ein Hacker, der alles weiß").
Ergebnis: Der Roboter wurde oft leicht wieder dazu gebracht, sich an die Fakten zu erinnern, wenn das „Vergessen" nicht sorgfältig durchgeführt wurde. Die neue BAO-Methode hielt diesen Tricks besser stand als die alten Methoden.

Zusammenfassung

Diese Arbeit entwickelte einen realistischen „Führerschein-Test" für Roboter, die Dinge vergessen müssen. Sie zeigte, dass aktuelle Roboter schlecht darin sind, nur einen Teil der Geschichte einer Person zu vergessen, ohne die gesamte Person zu vergessen oder ihr Gehirn zu beschädigen. Die Autoren schlugen dann ein neues „Lenkrad" (BAO) vor, das dem Roboter hilft, eine klare Linie zwischen dem zu ziehen, was zu vergessen ist, und dem, was zu behalten ist, und macht das „Recht auf Vergessenwerden" in der realen Welt tatsächlich funktionsfähig.

Technischer Zusammenfassung: PPU-Bench

Problemstellung

Multimodale Large Language Models (MLLMs) werden auf riesigen, webweiten Korpora trainiert, die zwangsläufig sensible Informationen mit Bezug zu realen Personen enthalten, was Bedenken hinsichtlich des Privatsphären-Lecks und des „Rechts auf Vergessenwerden" (RTBF) im Rahmen von Vorschriften wie der DSGVO aufwirft. Obwohl maschinelles Vergessen eine praktische Alternative zum vollständigen Neulernen darstellt, leiden bestehende Benchmarks für das MLLM-Vergessen unter zwei kritischen Einschränkungen:

Unrealistische Datenannahmen: Die meisten Benchmarks verlassen sich auf die synthetische Injektion von Daten durch Feinabstimmung, was von realen Szenarien abweicht, in denen Wissen natürlich in den Vorverteilungs-Verteilungen eingebettet ist. Synthetische Daten können zudem mit Vorverteilungs-Verteilungen verflochten sein, was potenziell memorisierte Muster reaktiviert.
Fehljustierte Vergessensziele: Bestehende Benchmarks konzentrieren sich typischerweise auf „vollständiges Vergessen" (Entfernung aller Informationen über ein Subjekt). In der Praxis fordern Benutzer oft nur die Entfernung spezifischer sensibler Attribute (z. B. private Historie) bei gleichzeitiger Bewahrung harmloser oder öffentlicher Fakten. Aktuelle Benchmarks versagen bei der Evaluierung dieser feingranularen, personalisierten Fähigkeit zum teilweisen Vergessen.

Methodik

1. Aufbau von PPU-Bench

Die Autoren stellen PPU-Bench vor, einen realweltlichen, feineinstellungs-freien Benchmark, der zur Evaluierung personalisierten teilweisen Vergessens entwickelt wurde.

Datenquelle: Anstelle synthetischer Injektion nutzt der Benchmark das vorbestehende Wissen über 500 reale öffentliche Persönlichkeiten, das von Wikipedia abgeleitet ist. Dies stellt sicher, dass das Zielwissen natürlich in MLLMs eingebettet ist.
Pipeline:
- Profilstrukturierung: Rohe Wikipedia-Seiten werden mittels GPT-5.4-mini in drei Kategorien organisiert: Basic (Identität), Normal (öffentliche Karriere/Auszeichnungen) und Sensitive (Privatsphäre, Gesundheit, rechtliche Probleme, Trauma).
- Generierung von QA/VQA: Für jede Kategorie werden diverse Frage-Antwort-Paare generiert. Nur-textbasierte QA-Paare werden durch Kopplung mit entsprechenden Bildern der öffentlichen Persönlichkeiten in Visual Question Answering (VQA)-Stichproben umgewandelt.
- Memorisierungsfilterung: Stichproben werden mittels Qwen3-VL-8B gefiltert, um sicherzustellen, dass das Zielwissen tatsächlich memorisiert ist (Token-F1 > 0,5), was zu 24.334 hochwertigen Stichproben führt (12.167 VQA + 12.167 QA).
Aufgabeneinstellungen: Der Benchmark definiert drei zunehmend herausfordernde Einstellungen:
- Vollständiges Vergessen: Entfernt alle personenbezogenen Informationen (auf Subjektebene).
- Selektives Vergessen: Entfernt nur sensitive Informationen, während Basic- und Normal-Informationen erhalten bleiben (auf Kategoriesebene).
- Personalisiertes Vergessen: Die realistischste Einstellung, bei der die „Vergessen"-Menge durch die individuellen Präferenzen des Subjekts bestimmt wird (simuliert über mehrere LLMs und Mehrheitsvoting) anstatt durch feste Kategorien. Dies erfordert eine feingranulare Kontrolle über faktenbezogene Grenzen innerhalb eines Subjekts.
Evaluierung: Umfasst die Wirksamkeit des Vergessens (Vergessen-Menge), die Bewahrung der Nutzbarkeit (Behalten-Menge, MMBench) sowie die Robustheit gegenüber Kreuzbild-Verallgemeinerung und Textstörungen (Zufälliges Präfix, Umformulierung, Jailbreak).

2. Vorgeschlagene Lösung: Boundary-Aware Optimization (BAO)

Motiviert durch Erkenntnisse, dass bestehende Methoden mit Grenzen innerhalb eines Subjekts Schwierigkeiten haben, schlagen die Autoren Boundary-Aware Optimization (BAO) vor.

Mechanismus: Im Gegensatz zum standardmäßigen Gradientenanstieg (GA) oder GA_diff, die Vergessen- und Behalten-Mengen als separate Ziele behandeln, modelliert BAO explizit den Abstand zwischen zu vergessenden und zu behaltenden Fakten innerhalb desselben Subjekts.
Ziel: Es wird gefordert, dass die negative Log-Likelihood (NLL) von vom Persona ausgewählten zu vergessenden Fakten die der zu behaltenden Fakten um einen Rand $m$ übersteigt.
Verlustfunktion: $L = -L_{forget} + L_{retain} + \lambda_b L_{boundary}$ , wobei $L_{boundary} = \mathbb{E}[\max(0, m - (\ell_\theta(f) - \ell_\theta(r)))]$ . Dies ermutigt das Modell, feingranulare Löschgrenzen innerhalb eines Subjekts zu erlernen.

Wichtige Ergebnisse

Benchmark-Erkenntnisse

Experimente mit sechs repräsentativen Vergessensmethoden (GA, GA_diff, NPO, KL_Min, MMUnlearner, MANU) über zwei Backbone-Modelle (Qwen3-VL-8B, Gemma3-12B) zeigen:

Visuelle vs. faktische Unterdrückung: Beim vollständigen Vergessen unterdrücken Methoden oft die visuelle Identität (Versagen bei der Erkennung der Person in Bildern), anstatt das zugrundeliegende faktische Wissen zu entfernen. Die Leistung bei rein textbasierten QA bleibt trotz sinkender VQA-Leistung oft hoch.
Kompromisse beim selektiven Vergessen: Während Methoden im selektiven Setting eine bessere faktenbezogene Vergessensleistung zeigen, weisen sie erhebliche Kompromisse auf, die oft die Behalt-Leistung oder die allgemeine Modellnutzbarkeit verschlechtern.
Herausforderungen beim personalisierten Vergessen: Dieses Setting deckt die größten Schwierigkeiten auf. Methoden haben Schwierigkeiten, zwischen zu vergessenden und zu behaltenden Fakten innerhalb desselben Subjekts zu unterscheiden, was entweder zu unzureichendem Vergessen (Lecks) oder zu übermäßigem Vergessen (Verlust der Nutzbarkeit) führt.
Robustheit: Kreuzbild-Angriffe sind besonders effektiv gegen Methoden des vollständigen Vergessens, was ihre Abhängigkeit von visueller Unterdrückung bestätigt. Textbasierte Angriffe (z. B. Jailbreak) zeigen Schwachstellen beim selektiven Vergessen, insbesondere bei NPO.

BAO-Leistung

Die Anwendung von BAO auf GA_diff und MMUnlearner verbessert die Unterdrückung persona-ausgewählter zu vergessender Fakten im Setting des personalisierten Vergessens erheblich.
Es lindert unzureichendes Vergessen effektiv durch die Durchsetzung von Grenzen innerhalb eines Subjekts.
Die Autoren stellen jedoch fest, dass die explizite Durchsetzung von Randbedingungen den inhärenten Kompromiss zwischen Vergessen und Behalten verstärken kann, was manchmal zu einer verschlechterten Leistung bei Behalt-QA und Generierungsaufgaben führt.

Bedeutung und Beiträge

Das Papier beansprucht drei Hauptbeiträge:

PPU-Bench: Der erste groß angelegte, realweltliche multimodale Benchmark für personalisiertes teilweises Vergessen. Er geht über synthetische Daten und grobgranulare Identitätsentfernung hinaus, um feingranulare, nutzerzentrierte Löschszenarien zu evaluieren.
Empirische Erkenntnisse: Umfangreiche Experimente zeigen, dass aktuelle MLLM-Vergessensmethoden kein konsistentes faktenbezogenes Vergessen erreichen und keine präzise Kontrolle über Grenzen innerhalb eines Subjekts besitzen, insbesondere in personalisierten Settings.
BAO-Methode: Eine einfache, aber effektive Optimierungsstrategie, die faktenbezogene Grenzen innerhalb eines Subjekts explizit modelliert und im Vergleich zu Baseline-Methoden eine verbesserte Leistung in personalisierten Vergessensszenarien demonstriert.

Die Autoren positionieren PPU-Bench als diagnostisches Werkzeug, um Kategorienverzerrungen und Stabilitätsunterschiede über Wissensgruppen hinweg aufzudecken und unterstreichen die Notwendigkeit von Methoden, die die komplexen Kompromisse realweltlicher Privatsphäre-Anfragen bewältigen können, ohne die Modellnutzbarkeit zu beeinträchtigen.