🤖 machine learning

Rethinking Post-Unlearning Behavior of Large Vision-Language Models

Deze paper introduceert PUBG, een nieuwe methode voor machine-unlearning in Large Vision-Language Models die privacygevoelige informatie verwijdert terwijl het tegelijkertijd zorgt voor informatieve en visueel onderbouwde antwoorden, waardoor de vaak problematische 'Unlearning Aftermaths' van bestaande methoden worden opgelost.

Oorspronkelijke auteurs: Minsung Kim, Nakyeong Yang, Kyomin Jung

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Minsung Kim, Nakyeong Yang, Kyomin Jung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Hoe je een slimme AI kunt laten "vergeten" zonder dat hij gek wordt

Stel je voor dat je een zeer slimme, digitale assistent hebt die foto's kan bekijken en erover kan praten. Hij weet alles: wie de mensen op de foto zijn, wat ze doen, en zelfs hun geheime privé-informatie. Dit is een Large Vision-Language Model (LVLM).

Het probleem is: wat als die persoon wil dat de AI zijn of haar geheime gegevens vergeet? Misschien wil iemand niet meer dat de AI weet dat hij of zij beroemd is, of dat de AI zijn naam noemt. Dit heet "machine unlearning" (machine-ontleren).

Het oude probleem: De "Gekke" Vergetelheid

Tot nu toe was de oplossing voor dit probleem heel simpel, maar ook heel stom: gewoon stoppen met praten.

Stel je voor dat je een vriend vraagt: "Wie is deze man?" en je wilt dat hij de naam van die man vergeet.

De oude methode: Je zegt tegen je vriend: "Vergeet alles over deze man!"
Het resultaat: Je vriend reageert raar. Soms begint hij als een gebroken plaat te herhalen: "Man, man, man, man..." (dit noemen ze degeneratie). Soms verzint hij complete leugens over wie de man is (dit heet hallucineren). Of hij zegt gewoon: "Ik mag daar niet over praten" en blijft zwijgen, zelfs als je vraagt naar zijn kleding of haar (dit is overmatig weigeren).

In de wetenschappelijke wereld noemen ze deze rare reacties "Unlearning Aftermaths" (de nasleep van het vergeten). Het is alsof je een boek uit je hoofd wist, maar de rest van je hersenen ook op hol slaan.

De nieuwe oplossing: PUBG (De "Gids")

De auteurs van dit papier, onderzoekers van de Seoul National University, zeggen: "Nee, zo moet het niet. Als iemand iets vergeet, moet hij of zij nog steeds iets zinnigs kunnen zeggen."

Ze hebben een nieuwe methode bedacht, genaamd PUBG (Post-Unlearning Behavior Guidance). Laten we een analogie gebruiken om dit uit te leggen:

De Analogie van de Gids in een Museum
Stel je voor dat de AI een museumgids is die een foto van een beroemdheid laat zien.

De oude methode: De gids krijgt de opdracht: "Vergeet deze persoon!" en begint dan te stotteren of zegt: "Ik weet het niet meer!"
De PUBG-methode: De onderzoekers geven de gids een nieuwe, specifieke opdracht: "Vergeet wie deze persoon is, maar beschrijf wel wat je ziet."

In plaats van de AI gewoon te dwingen om te zwijgen, leren ze de AI een nieuwe manier van praten. Ze zeggen: "Als je iemand herkent die je moet vergeten, beschrijf dan alleen zijn jas, zijn haar, of de achtergrond. Noem geen namen en geen geboortedata."

Hoe werkt PUBG precies?

De "Voorbeeld" Gids: Eerst laten ze de AI (die nog alles weet) een foto bekijken met de opdracht: "Vergeet de naam, beschrijf alleen wat je ziet." De AI maakt een perfecte beschrijving: "Ik zie een man met blond haar en een pak."
De Leerles: Daarna gebruiken ze die perfecte beschrijving als een voorbeeld (een "gids") om de AI te trainen.
Het Oefenen: Ze zeggen tegen de AI: "Wanneer je over die persoon moet praten, probeer dan precies zo te klinken als in dat voorbeeld."
Het Resultaat: De AI vergeet de privé-informatie (de naam), maar blijft wel behulpzaam. Hij zegt: "Ik zie een man met blond haar en een pak," in plaats van "Ik mag niet zeggen wie dit is."

Waarom is dit belangrijk?

Privacy: De AI onthult geen geheime namen of geboortedata meer.
Geen gekkigheid: De AI wordt niet gek, stottert niet en verzint geen leugens.
Gebruiksgemak: Als je een foto uploadt, krijg je nog steeds een leuk antwoord over wat je ziet, in plaats van een saaie weigering.

Conclusie

Dit papier zegt eigenlijk: "Als we een AI laten vergeten, moeten we hem niet alleen een 'stop'-knop geven. We moeten hem een 'nieuwe route' geven."

Met PUBG zorgen ze ervoor dat de AI, zelfs nadat hij iets vergeten is, nog steeds een beleefde, slimme en nuttige conversatiepartner blijft, zonder dat hij de privacy van de mensen schendt. Het is alsof je iemand leert een geheim te bewaren, maar hem wel laat vertellen over het mooie weer buiten.

Titel: Rethinking Post-Unlearning Behavior of Large Vision-Language Models

Auteurs: Minsung Kim, Nakyeong Yang, en Kyomin Jung (Seoul National University)

1. Probleemstelling: De "Unlearning Aftermath"

Grote Visueel-Taalmodellen (LVLM's) zijn getraind op enorme datasets die vaak gevoelige persoonlijke informatie en afbeeldingen van individuen bevatten. Dit roept ernstige privacyzorgen op. Machine Unlearning (het verwijderen van specifieke kennis uit een model) is een voorgestelde oplossing.

Echter, bestaande methoden voor unlearning in generatieve modellen focussen bijna uitsluitend op het onderdrukken van ongewenste output (bijv. het voorkomen dat de naam van een persoon wordt genoemd). Ze negeren wat het model wel moet genereren als vervanging. Dit leidt tot het fenomeen "Unlearning Aftermaths" (de nasleep van het vergeten), waarbij het model na het unlearning-proces onwenselijk gedrag vertoont:

Degeneratie: Het model produceert herhalende, zinloze tekst of lege strings.
Hallucinaties: Het model verzonnen feiten of verward de persoon met een ander.
Overmatige Weigering: Het model weigert consequent om te antwoorden, zelfs op vragen die geen privacy schenden (wat de gebruikerservaring verslechtert).

De auteurs betogen dat voor generatieve LVLM's het cruciaal is om niet alleen te onderdrukken, maar ook de kwaliteit en informativiteit van de post-unlearning respons te sturen.

2. Methodologie: PUBG (Post-Unlearning Behavior Guidance)

Om deze problemen op te lossen, introduceren de auteurs een nieuwe taak en een nieuwe methode genaamd PUBG.

De Nieuwe Taak: Entity Unlearning met Alternatieve Respons

In plaats van alleen te eisen dat het model geen privé-informatie meer levert, vereist deze taak dat het model bij een "vergeten" entiteit (bijv. een beroemdheid) wel een informatief, visueel gebaseerd antwoord geeft. Het model moet zich gedragen alsof het de persoon niet herkent en zich beperken tot waarneembare kenmerken (kleding, haar, houding) zonder namen of biografische feiten te noemen.

De PUBG-methode

PUBG bestaat uit een nieuwe loss-functie die het model leidt naar een gewenste uitgangsverdeling. De methode combineert twee componenten:

Gradient Ascent (GA) Loss ( $L_{GA}$ ):
- Deze term zorgt ervoor dat het model de specifieke privé-informatie (de "forget target") vergeet door de waarschijnlijkheid van die informatie te minimaliseren (onderdrukken).
Behavior Guidance Loss ( $L_{BG}$ ):
- Dit is de kerninnovatie. De auteurs definiëren een referentieverdeling ( $p_{\theta^*}$ ) die het gewenste gedrag vertegenwoordigt: een visuele beschrijving zonder privé-informatie.
- Om deze referentie te genereren, gebruiken ze het originele, niet-geunlearnede LVLM met een in-context prompt. De prompt instrueert het model: "Vergeet de identiteit van deze persoon en beschrijf alleen wat je visueel ziet."
- De $L_{BG}$ minimaliseert de Kullback-Leibler (KL) divergentie tussen de output van het unlearnede model en deze referentieverdeling. Dit dwingt het model om, wanneer het wordt gevraagd over de vergeten entiteit, een informatieve visuele beschrijving te geven in plaats van te hallucineren of te weigeren.

De totale PUBG-objectief:
$\mathcal{L}_{PUBG} = \mathcal{L}_{GA} + \mathcal{L}_{BG}$
Dit zorgt ervoor dat het model privé-informatie verwijdert en tegelijkertijd leert om een bruikbaar alternatief te genereren.

3. Experimenten en Resultaten

De auteurs hebben PUBG getest op state-of-the-art open-source LVLM's (LLaVA-1.6-Mistral en LLaVA-1.6-Vicuna) met de Celeb-1000 dataset. Ze vergeleken PUBG met bestaande methoden zoals Gradient Ascent (GA), Negative Preference Optimization (NPO), Random Tuning, en Rejection Tuning.

Belangrijkste bevindingen:

Privacy: Alle methoden, inclusief PUBG, slaagden erin om privacy-overtredingen te voorkomen (Unlearning Success Rate = 1.0). Geen enkel model gaf nog namen of biografische details van de vergeten personen.
Oplossing van "Unlearning Aftermaths":
- Bestaande methoden (GA, NPO, Random, Reject) leidden vaak tot degeneratie (leegte), hallucinaties (verzonnen feiten) of overmatige weigering.
- PUBG produceerde daarentegen informatieve en visueel gebaseerde beschrijvingen. Bijvoorbeeld, in plaats van "Ik kan niet helpen" of "Dit is Donald Trump", gaf PUBG een antwoord als: "De persoon in de afbeelding is een vrouw met donker haar in losse golven..."
Kwaliteitsmetingen:
- Informativiteit: PUBG behaalde aanzienlijk hogere scores op JUDGEinform en CLIPSCORE (beoordeling van beeld-tekst alignering) dan de baselines.
- Hallucinaties: PUBG had een zeer lage hallucinatie-score, terwijl methoden zoals "Random Tuning" ernstige hallucinaties vertoonden.
- Retentie: PUBG behield de prestaties op de "retain set" (personen die niet vergeten moesten worden) beter dan methoden die de modelcapaciteit te veel aantastten.

4. Belangrijke Bijdragen

Conceptuele Verschuiving: De auteurs introduceren het concept van "Unlearning Aftermaths" en pleiten ervoor dat unlearning bij generatieve modellen niet alleen moet focussen op onderdrukking, maar ook op het sturen van het alternatieve gedrag.
Nieuwe Taakdefinitie: Een nieuwe unlearning-taak voor LVLM's die vereist dat het model visueel gebaseerde, privacy-bevrijdende alternatieven genereert.
PUBG-methode: Een effectieve techniek die gebruikmaakt van in-context prompting om een referentieverdeling te creëren en deze gebruikt om het unlearnede model te sturen via een KL-divergentie loss.
Empirisch Bewijs: Uitgebreide experimenten tonen aan dat PUBG privacy garandeert zonder de gebruikerservaring te verstoren door degeneratie of hallucinaties.

5. Betekenis en Toekomstperspectief

Dit paper is significant omdat het een kritieke zwakte in bestaande privacy-mechanismen voor AI blootlegt: het risico op schadelijke bijwerkingen (zoals desinformatie door hallucinaties) na het verwijderen van data.

Praktische Toepassing: PUBG biedt een haalbare route om LVLM's privacy-compliant te maken zonder ze onbruikbaar te maken voor gebruikers.
Beperkingen: De huidige experimenten zijn beperkt tot een relatief klein aantal vergeten entiteiten (maximaal 20) vanwege de beperkte kennis van de huidige open-source 7B-modellen. De auteurs merken op dat naarmate modellen groter worden en meer feiten internaliseren, de noodzaak voor dergelijke methoden zal toenemen.
Toekomst: Het uitbreiden van dit kader naar pure taalmodellen en andere domeinen wordt gezien als een veelbelovende richting voor toekomstig onderzoek.

Kortom, PUBG bewijst dat het mogelijk is om een model te laten "vergeten" zonder dat het zijn intelligentie of nut verliest, door het te leren hoe het op een veilige maar informatieve manier moet reageren.