💻 computer science

Erase Persona, Forget Lore: Benchmarking Multimodal Copyright Unlearning in Large Vision Language Models

Dit artikel introduceert CoVUBench, het eerste benchmarkkader dat is ontworpen om de effectiviteit en generalisatie van methoden voor machine-unlearning voor het verwijderen van auteursrechtelijk beschermd visueel materiaal uit grote visueel-taalmodellen, terwijl hun algehele bruikbaarheid behouden blijft, rigoureus te evalueren.

Oorspronkelijke auteurs: JuneHyoung Kwon, JungMin Yun, YoungBin Kim

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: JuneHyoung Kwon, JungMin Yun, YoungBin Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, superintelligente robotkunstenaar en -schrijver hebt met de naam "LVLM". Deze robot heeft alles geleerd door miljarden afbeeldingen en teksten van het internet te lezen en te bekijken. Het probleem is dat het internet vol zit met auteursrechtelijk beschermde materialen—zoals beroemde stripfiguren, merklogo's en specifieke kunstwerken. Omdat de robot zo veel heeft gememoriseerd, tekent of beschrijft hij soms per ongeluk deze beschermde dingen, wat een juridische nachtmerrie vormt voor de oorspronkelijke makers.

De makers willen dat de robot deze specifieke dingen "vergeet". Maar je kunt de robot niet zomaar vragen om een paar feiten makkelijk te "ontleren". Als je probeert de hele robot vanaf nul opnieuw te trainen om slechts één personage te verwijderen, zou het eeuwen duren en een fortuin kosten. Daarom proberen wetenschappers de robot te leren hoe hij "machine unlearning" kan toepassen—in wezen het uitvoeren van een operatie op zijn brein om specifieke herinneringen te verwijderen zonder de rest van zijn geest te beschadigen.

Het probleem? Niemand wist hoe je kon testen of deze operatie daadwerkelijk werkte, vooral omdat de robot de wereld zowel in afbeeldingen als in woorden ziet.

De Oplossing: CoVUBench (De "Veilige Zandbak")

De auteurs van dit paper hebben een nieuwe testomgeving gecreëerd die CoVUBench heet. Denk hierbij aan een "veilige zandbak" om deze operaties voor het verwijderen van herinneringen te testen.

In plaats van echte auteursrechtelijk beschermde personages te gebruiken (zoals Mickey Mouse of een Nike-logo), wat illegaal zou zijn om mee te knoeien, gebruikten ze een speciaal recept om hun eigen nep-personages en logo's te verzinnen.

Het Blauwdruk: Ze schreven gedetailleerde beschrijvingen voor 20 unieke, verzonnen personages en logo's (bijvoorbeeld: "Een blauwe robot met een vierkante kop die van jazz houdt").
De Variatie: Ze tekenden de robot niet slechts één keer. Ze genereerden duizenden versies: de robot als een 3D-speelgoed, de robot op een T-shirt, de robot in een jungle, de robot in een stad. Dit zorgt ervoor dat de test controleert of de robot het idee van de robot vergeet, en niet slechts één specifieke afbeelding ervan.
De Vragen: Ze stelden de robot vragen op twee manieren:
1. Alleen tekst: "Wat houdt de blauwe robot van?"
2. Visueel: Ze toonden een afbeelding van de robot en vroegen: "Wat houdt dit personage van?"

Deze opstelling laat hen zien of de robot het concept echt is vergeten, of dat hij gewoon heeft geleerd om "Ik weet het niet" te zeggen wanneer hij een afbeelding ziet, maar het antwoord nog steeds weet wanneer hij er tekstueel naar wordt gevraagd.

De Test: Twee Verschillende Baasjes

Het paper stelt dat het testen hiervan lastig is omdat er twee "baasjes" zijn met verschillende doelen:

De Auteursrechthebbende (De Eigenaar): Zij willen dat de robot het nep-personage volledig vergeet. Als de robot zelfs maar de naam noemt of een vergelijkbare vorm tekent, faalt de test.
De Model-Deployer (De Gebruiker): Zij willen dat de robot goed blijft werken. Als de operatie om het geheugen te verwijderen de robot dom maakt, hem het spreken doet vergeten, of hem niet meer in staat stelt om andere dingen te herkennen, faalt de test.

De auteurs hebben een scorebord gemaakt met zes metrieken om te zien hoe goed de robot deze twee baasjes in evenwicht houdt.

Wat Ze Vonden: Het "Alles-of-Niets"-Probleem

De onderzoekers testten verschillende populaire "operatie"-methoden (algoritmen) op hun zandbak. Hier is wat er gebeurde, met eenvoudige analogieën:

De "Brute Force"-Methode (Gradient Ascent): Deze methode probeert "NEE!" te schreeuwen naar de robot elke keer als hij over het nep-personage nadenkt.
- Resultaat: Het werkte uitstekend om de robot het personage te laten vergeten (De Eigenaar is blij).
- Bijwerking: Het was zo agressief dat het de robot het goed spreken deed vergeten en zijn vermogen om andere dingen te herkennen verwoestte. De robot werd onhandig en verward (De Gebruiker is ongelukkig).
De "Hofelijke Weigering"-Methode (DPO/NPO): Deze methode leert de robot beleefd te zeggen: "Ik kan je dat niet vertellen", in plaats van te proberen het geheugen uit te wissen.
- Resultaat: De robot bleef slim en vloeiend (De Gebruiker is blij).
- Bijwerking: De robot is niet echt vergeten! Als je hem een afbeelding van het personage liet zien, wist hij nog steeds diep van binnen wie het was; hij deed gewoon alsof hij het niet wist. Hij leerde een "oppervlakkige truc" in plaats van een echte geheugenwissing (De Eigenaar is ongelukkig).
De "Modality Gap" (Het Blinde Vlekje): De onderzoekers vonden iets engs. Sommige methoden konden de robot het personage laten vergeten wanneer er in tekst naar werd gevraagd, maar als je de robot een afbeelding van het personage liet zien, herkende hij het nog steeds en wist hij alle feiten. Het is alsof de robot twee verschillende hersenen heeft: één voor lezen en één voor zien, en de operatie heeft er slechts één gerepareerd.

De Conclusie

Het paper concludeert dat er momenteel geen perfecte manier is om een vision-language-robot een specifiek auteursrechtelijk beschermd concept te laten vergeten zonder dat:

Zijn vermogen om nuttig te zijn wordt vernietigd (het maken van een gebroken robot).
Het daadwerkelijk verwijderen van het geheugen faalt (het juridische risico intact laten).

Ze hebben CoVUBench gebouwd om de wereld precies te laten zien hoe moeilijk dit probleem is, en bewijzen dat huidige gereedschappen lijken op het gebruik van een sloopkogel om een splinter te verwijderen: of je breekt de hele arm, of je krijgt de splinter helemaal niet eruit. Ze roepen op tot nieuwe, slimmere gereedschappen die specifiek zijn ontworpen voor dit complexe, tweezintuigige (zicht en geluid) probleem.

Technische Samenvatting: CoVUBench – Benchmarking van Multimodaal Copyright-Vergeten in LVLM's

Probleemstelling

Grote Visueel-Taalmodellen (LVLM's), getraind op web-schaal corpora, lopen inherent het risico om auteursrechtelijk beschermde visuele inhoud, zoals personages en logo's, samen met hun tekstuele beschrijvingen te memoriseren en te regenereren. Hoewel machine-unlearning een weg biedt om specifieke data na het trainen te verwijderen, blijft het evalueren van de effectiviteit daarvan in de multimodale setting een open probleem. Bestaande evaluatiekaders zijn primair tekstgericht (bijv. TOFU, MUSE) en slagen er niet in om de complexiteit van het wissen van concepten die gezamenlijk zijn ingebed in visuele en linguïstische ruimtes aan te pakken. Huidige methoden missen robuustheid bij het beoordelen of een model de cross-modale link tussen visuele herkenning en bijbehorende feitelijke kennis daadwerkelijk heeft doorgesneden; vaak wordt er geen onderscheid gemaakt tussen oppervlakkige weigeringsstrategieën en echt concept-wissen. Bovendien ontbreekt het aan gestandaardiseerde benchmarks die tegelijkertijd voldoen aan de concurrerende behoeften van auteursrechthebbenden (die een robuuste verwijdering eisen) en modeldeployers (die behoud van algemene bruikbaarheid vereisen).

Methodologie

Om deze gaten op te vullen, introduceren de auteurs CoVUBench (Copyright Vision-Language Unlearning Benchmark), een kader ontworpen voor de veilige en realistische evaluatie van copyright-unlearning in LVLM's.

1. Datasetconstructie

In plaats van echte intellectuele eigendommen (IP) te gebruiken, wat juridische en ethische risico's met zich meebrengt, maakt CoVUBench gebruik van een procedurale generatiepijplijn om synthetische, juridisch veilige copyright-inhoud te creëren.

Persona Blueprints: De pijplijn genereert gestructureerde JSON "persona blueprints" die unieke fictieve personages en logo's definiëren met specifieke semantische attributen (bijv. persoonlijkheid, vaardigheden) en visuele beschrijvingen.
Synthetische Contentgeneratie: Met behulp van deze blueprints genereert het systeem een divers corpus aan afbeeldingen. Dit omvat compositional variations (verschillende achtergronden, scènes, gezichtspunten) en domain manifestations (bijv. een personage dat verschijnt als een 3D-actionfiguur of een T-shirtprint) om het generaliseren van unlearning te testen buiten specifieke trainingsinstanties.
Visual Question Answering (VQA): De dataset bevat 2.420 VQA-paren die zijn gekoppeld aan 20 unieke concepten. Deze paren zijn gecategoriseerd in:
- Single-modal vragen: Tekst-only queries die feitelijke recall testen (bijv. "Wat is de primaire vaardigheid van [Personage]?").
- Multi-modal vragen: Afbeelding-gebaseerde queries die visuele herkenning vereisen die gekoppeld is aan feitelijke kennis (bijv. "Wat is de vaardigheid van het personage in deze afbeelding?").
Verificatie: Een rigoureuze filterprocess kruist gegenereerde attributen af tegen handelsmerken-databases (WIPO) en maakt gebruik van reverse image search om te garanderen dat er geen overlap is met bestaande beschermde werken.

2. Evaluatieprotocol

De benchmark hanteert een twee-staps pijplijn:

Fine-tuning (Memorisatie): Een basis-LVLM wordt gefine-tuned op een trainingsset ( $D_{train}$ ) die de synthetische copyright-concepten bevat.
Unlearning: Een subset ( $D_{forget}$ ) wordt aangewezen voor verwijdering, terwijl de rest ( $D_{retain}$ ) behouden blijft. Diverse unlearning-algoritmen worden toegepast op het gefine-tuned model.

3. Stakeholder-gerichte Metrieken

De evaluatie kwantificeert prestaties via zes metrieken die twee verschillende perspectieven adresseren:

Perspectief van de Auteursrechthebbende (Vergeten-effectiviteit):
- Effectiviteit: Meet de reductie in Exact Match (EM)-scores voor trefwoorden in de forget-set ( $1 - EM(D_{forget})$ ).
- Generaliteit: Meet de reductie in EM-scores op een vastgehouden testset ( $D_{test}$ ) met nieuwe visuele/tekstuele variaties ( $1 - EM(D_{test})$ ).
- Divergentie: Meet semantische dissimilariteit (cosine-similariteit van embeddings) tussen ground-truth en voorspelde antwoorden om near-duplicates te detecteren.
Perspectief van de Modeldeployer (Behoud van Bruikbaarheid):
- Vloeiendheid: ROUGE-L recall op de retain-set ( $D_{retain}'$ ).
- Specificiteit: Exact Match-score op de retain-set voor niet-geschorste inhoud.
- Capaciteit: Nauwkeurigheid op externe algemene benchmarks (POPE, MMBench) om te garanderen dat de kern van multimodale redenering intact blijft.

4. Baselines

De studie evalueert vijf representatieve unlearning-algoritmen:

Gradient Ascent (GA): Maximaliseert de loss op de forget-set.
Gradient Difference (GD): Balanceert loss-maximalisatie op de forget-set met minimalisatie op de retain-set.
KL Divergence Regularization (KL): Minimaliseert de KL-divergentie tussen het unlearned model en het originele model op de retain-set.
Direct Preference Optimization (DPO): Traineert het model om weigeringsantwoorden te prefereren boven originele antwoorden.
Negative Preference Optimization (NPO): Behandelt de forget-set als negatieve preferentie-data om de waarschijnlijkheid van originele antwoorden te verminderen.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op LLaVA-Phi-3B en LLaVA-1.5-7B modellen. De resultaten onthullen een scherp trade-off tussen vergeten-effectiviteit en behoud van bruikbaarheid:

Polarisatie van Methoden:
- Op gradienten gebaseerde methoden (GA, KL): Bereikten hoge vergeten-effectiviteit (robust wissen van concepten) maar veroorzaakten catastrofale dalingen in modelbruikbaarheid (Vloeiendheid en Specificiteit stortten in, vooral op het 7B-model).
- Op preferentie gebaseerde methoden (DPO, NPO) en GD: Behielden succesvol modelbruikbaarheid (hoge Vloeiendheid en Specificiteit) maar faalden om de concepten effectief te wissen, met scores dicht bij nul op Effectiviteit en Generaliteit. Hun hoge Divergentie-scores suggereren dat ze oppervlakkige weigeringsstrategieën hebben geleerd in plaats van echt unlearning.
De Modality Gap: Er werd een significante prestatiekloof waargenomen tussen single-modal (tekst-only) en multi-modal (visie-inclusief) queries. Methoden die effectief leken op tekst-only queries, faalden vaak om de visie-kennislink te doorbreken wanneer getest met afbeeldingen, wat aangeeft dat huidige methoden worstelen met echt cross-modaal concept-wissen.
Impact van Forget Ratio: Het verhogen van de forget ratio (van 5% naar 20%) verergerde het trade-off. Op gradienten gebaseerde methoden vertoonden "catastrophic over-forgetting", waarbij domeinspecifieke capaciteiten werden vernietigd, terwijl bruikbaarheid-bewarende methoden ondoeltreffend bleven bij het wissen, ongeacht de ratio.
Domein-gevoeligheid: NPO toonde hogere effectiviteit op personages dan op logo's, waarschijnlijk vanwege de complexiteit van de tekstuele "lore" die geassocieerd is met personages, maar dit ging ten koste van een hogere prijs voor vloeiendheid.

Betekenis en Claims

Het artikel claimt dat CoVUBench de eerste toegewijde benchmark is voor het evalueren van copyright-unlearning in LVLM's. De primaire betekenis ligt in:

Standaardisatie: Het bieden van een rigoureus, juridisch veilig kader om unlearning-generalisatie te evalueren over diverse visuele manifestaties en cross-modale associaties.
Stakeholder-balans: Het introduceren van een evaluatieprotocol met twee perspectieven dat expliciet de spanning kwantificeert tussen de behoefte van de auteursrechthebbende aan verwijdering en de behoefte van de deployer aan bruikbaarheid.
Empirisch Inzicht: Het aantonen dat huidige unlearning-algoritmen fundamenteel ontoereikend zijn voor het multimodale copyright-domein. De studie benadrukt dat bestaande methoden óf modelbruikbaarheid vernietigen om wissen te bereiken, óf falen om concepten te wissen om bruikbaarheid te behouden, en cruciaal, dat ze worstelen om de onderliggende visie-kennislink te doorbreken, zelfs wanneer tekstuele associaties zijn verwijderd.

De auteurs concluderen dat er een dringende behoefte is aan nieuwe, gespecialiseerde algoritmen die expliciet zijn ontworpen voor multimodaal unlearning, aangezien huidige tekstgerichte benaderingen niet effectief overdragen naar de complexe, cross-modale uitdagingen van copyright in LVLM's. De dataset en benchmark zijn publiek beschikbaar om verder onderzoek op dit gebied te faciliteren.