Technische Samenvatting: PPU-Bench

Probleemstelling

Multimodale Large Language Models (MLLM's) worden getraind op enorme web-schaal corpora die onvermijdelijk gevoelige informatie bevatten die geassocieerd is met echte individuen, wat zorgen oproept over privacylekken en het "Recht op Vergetelheid" (RTBF) onder regelgeving zoals de AVG. Hoewel machine-unlearning een praktisch alternatief biedt voor volledige hertraining, lijden bestaande benchmarks voor MLLM-unlearning aan twee kritieke beperkingen:

1. Onrealistische Data-aannames: De meeste benchmarks vertrouwen op synthetische data-injectie via fine-tuning, wat afwijkt van real-world scenario's waar kennis natuurlijk is ingebed in pretraining-distributies. Synthetische data kan ook verweven zijn met pretraining-distributies, wat mogelijk gememoriseerde patronen kan reactiveren.
2. Niet-gealigneerde Unlearning-doelstellingen: Bestaande benchmarks richten zich doorgaans op "Volledige Unlearning" (het verwijderen van alle informatie over een onderwerp). In de praktijk vragen gebruikers vaak om de verwijdering van slechts specifieke gevoelige attributen (bijvoorbeeld een privégeschiedenis) terwijl onschadelijke of publieke feiten behouden blijven. Huidige benchmarks falen in het evalueren van deze fijnmazige, gepersonaliseerde mogelijkheid tot gedeeltelijke unlearning.

Methodologie

1. Constructie van PPU-Bench

De auteurs introduceren PPU-Bench, een real-world, fine-tuning-vrije benchmark ontworpen om gepersonaliseerde gedeeltelijke unlearning te evalueren.

• Data-bron: In plaats van synthetische injectie, maakt de benchmark gebruik van bestaande kennis van 500 real-world publieke figuren afgeleid van Wikipedia. Dit zorgt ervoor dat de doelkennis natuurlijk in MLLM's is ingebed.
• Pijplijn:
  • Profielstructurering: Ruwe Wikipedia-pagina's worden met GPT-5.4-mini georganiseerd in drie categorieën: Basis (identiteit), Normaal (publieke carrière/prijzen) en Gevoelig (privacy, gezondheid, juridische kwesties, trauma).
  • Generatie van Vraag-Antwoordparen (QA/VQA): Er worden diverse vraag-antwoordparen gegenereerd voor elke categorie. Tekst-only QA-paren worden omgezet in Visual Question Answering (VQA)-stalen door ze te koppelen aan bijbehorende afbeeldingen van de publieke figuren.
  • Memoriseringsfiltering: Stalen worden gefilterd met Qwen3-VL-8B om ervoor te zorgen dat de doelkennis werkelijk is gememoriseerd (Token-F1 > 0,5), wat resulteert in 24.334 hoogwaardige stalen (12.167 VQA + 12.167 QA).
• Taakinstellingen: De benchmark definieert drie progressief uitdagende instellingen:
  • Volledige Unlearning: Verwijdert alle persoonsgerelateerde informatie (op onderwerpniveau).
  • Selectieve Unlearning: Verwijdert alleen Gevoelige informatie terwijl Basis en Normale informatie behouden blijven (op categorieniveau).
  • Gepersonaliseerde Unlearning: De meest realistische instelling waarbij de "vergeten" set wordt bepaald door de individuele voorkeuren van het onderwerp (gesimuleerd via meerdere LLM's en meerderheidsstemming) in plaats van vaste categorieën. Dit vereist fijnmazige controle over intra-subject feitelijke grenzen.
• Evaluatie: Omvat unlearning-effectiviteit (Forget Set), behoud van nut (Retain Set, MMBench) en robuustheid tegen cross-image generalisatie en tekstperturbaties (Random Prefix, Paraphrase, Jailbreak).

2. Voorgestelde Oplossing: Boundary-Aware Optimization (BAO)

Gemotiveerd door bevindingen dat bestaande methoden worstelen met intra-subject grenzen, stellen de auteurs Boundary-Aware Optimization (BAO) voor.

• Mechanisme: In tegenstelling tot standaard Gradient Ascent (GA) of GA_diff, die forget- en retain-sets als aparte doelstellingen behandelen, modelleert BAO expliciet de marge tussen forget- en retain-feiten binnen hetzelfde onderwerp.
• Doelstelling: Het dwingt af dat de negatieve log-likelihood (NLL) van door het persona geselecteerde forget-feiten die van retain-feiten met een marge $m$ overtreft.
• Verliesfunctie: $L = -L_{forget} + L_{retain} + \lambda_b L_{boundary}$, waarbij $L_{boundary} = \mathbb{E}[\max(0, m - (\ell_\theta(f) - \ell_\theta(r)))]$. Dit moedigt het model aan om fijnmazige intra-subject verwijderingsgrenzen te leren.

Belangrijkste Resultaten

Benchmarkbevindingen

Experimenten met zes representatieve unlearning-methoden (GA, GA_diff, NPO, KL_Min, MMUnlearner, MANU) over twee backbone-modellen (Qwen3-VL-8B, Gemma3-12B) onthullen:

• Visuele versus Feitelijke Suppressie: Bij Volledige Unlearning onderdrukken methoden vaak de visuele identiteit (het niet herkennen van de persoon in afbeeldingen) in plaats van de onderliggende feitelijke kennis te verwijderen. De prestaties van tekst-only QA blijven vaak hoog ondanks een daling in VQA-prestaties.
• Trade-offs bij Selectieve Unlearning: Hoewel methoden betere feitelijke vergeetprestaties tonen in Selectieve instellingen, vertonen ze aanzienlijke trade-offs, vaak ten koste van retain-prestaties of de algehele modelnut.
• Uitdagingen bij Gepersonaliseerde Unlearning: Deze instelling blootlegt de grootste moeilijkheden. Methoden worstelen om te onderscheiden tussen forget- en retain-feiten binnen hetzelfde onderwerp, wat leidt tot ofwel onder-vergeten (lekken) of over-vergeten (verlies van nut).
• Robuustheid: Cross-image-aanvallen zijn bijzonder effectief tegen methoden voor Volledige Unlearning, wat bevestigt dat deze vertrouwen op visuele suppressie. Tekstgebaseerde aanvallen (bijvoorbeeld Jailbreak) onthullen kwetsbaarheden in Selectieve Unlearning, met name voor NPO.

BAO-prestaties

• Het toepassen van BAO op GA_diff en MMUnlearner verbetert de suppressie van door het persona geselecteerde forget-feiten aanzienlijk in de instelling voor Gepersonaliseerde Unlearning.
• Het verlicht effectief onder-vergeten door intra-subject grenzen af te dwingen.
• De auteurs merken echter op dat het expliciet afdwingen van randvoorwaarden de inherente trade-off tussen vergeten en behoud kan versterken, wat soms leidt tot verslechterde prestaties op retain-QA en generatietaken.

Betekenis en Bijdragen

Het paper claimt drie primaire bijdragen:

1. PPU-Bench: De eerste grootschalige, real-world multimodale benchmark voor gepersonaliseerde gedeeltelijke unlearning. Het gaat verder dan synthetische data en grofmazige identiteitsverwijdering om fijnmazige, gebruikersgerichte verwijderingsscenario's te evalueren.
2. Empirische inzichten: Uitgebreide experimenten tonen aan dat huidige MLLM-unlearning-methoden falen in het bereiken van consistente feitelijke vergeetprestaties en gebrek hebben aan precieze controle over intra-subject grenzen, met name in gepersonaliseerde instellingen.
3. BAO-methode: Een eenvoudige maar effectieve optimalisatiestrategie die expliciet intra-subject feitelijke grenzen modelleert en verbeterde prestaties toont in gepersonaliseerde unlearning-scenario's in vergelijking met baseline-methoden.

De auteurs positioneren PPU-Bench als een diagnostisch hulpmiddel om categorische biases en stabiliteitsverschillen tussen kennisgroepen te onthullen, en benadrukken de noodzaak van methoden die de complexe trade-offs van real-world privacyverzoeken kunnen hanteren zonder de modelnut te compromitteren.