Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models

Stel je voor dat je een super slimme robotvriend hebt gebouwd die plaatjes kan zien en erover kan praten. Je hebt hem getraind op het hele internet, dus hij weet bijna alles. Maar, net als elk internet, heeft hij per ongeluk ook wat gevaarlijke geheimen geleerd—zoals hoe je een bom bouwt of hoe je iemands identiteit steelt. Je wilt die specifieke slechte herinneringen wissen zodat de robot veilig is, maar je wilt niet dat hij per ongeluk ook zijn vermogen verliest om een grapje te vertellen, een wetenschappelijk experiment uit te leggen of je te helpen bij het bakken van een cake. Dit is de lastige wereld van "machine unlearning" in Multimodale Large Language Models (MLLM's). Het is alsoals proberen een specifieke slechte herinnering uit het menselijk brein te opereren zonder dat de persoon vergeet hoe hij moet lopen of praten. De grote vraag waar onderzoekers zich mee bezighouden is: "Als we de slechte dingen succesvol wissen, blijft de robot dan slim en behulpzaam, of begint hij vreemd te doen?"

Dit artikel, getiteld "Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models," duikt precies in die vraag en ontdekt een verrassend, onzichtbaar probleem. De auteurs ontdekten dat de huidige methoden om slechte informatie te wissen lijken op het gebruiken van een moker om een splinter te verwijderen: ze halen misschien de splinter er wel uit, maar ze verbrijzelen ook de gezonde huid eromheen. Ze noemen deze verbrijzelde gebieden "knowledge holes" (kennisgaten). Dit zijn niet zomaar willekeurige glitches; het zijn specifieke plekken waar de robot plotseling vergeet hoe hij onschuldige dingen moet doen die erg lijken op de slechte dingen die hij zou moeten vergeten. Bijvoorbeeld, als je de robot leert om "hoe je een bom maakt" te vergeten, kan hij plotseling weigeren om je te vertellen "hoe je een cake maakt" of "hoe je een fiets repareert", omdat die instructies een vergelijkbaar stapsgewijs patroon volgen. Het artikel bewijst dat standaardtests voor unlearning deze gaten volledig missen, waardoor de robot er goed uitziet terwijl hij eigenlijk op subtiele wijze defect is.

Om dit op te lossen, hebben de onderzoekers een nieuwe "spotlight" (een benchmark) gebouwd om deze verborgen gaten te vinden en bedachten ze een nieuwe techniek genaamd SPAR (Selective Protection with Anchored Regularization). Denk aan SPAR als een slim, chirurgisch instrument. In plaats van alleen de slechte herinnering weg te blazen, identificeert het eerst de "generieke patronen"—de algemene zinsstructuren en logische stappen die nuttig zijn voor alles (zoals "Eerst, koop ingrediënten. Ten tweede, meng ze."). Het beschermt deze nuttige patronen tegen het wisproces. Vervolgens versterkt het ze actief, zodat de robot zich blijft herinneren hoe hij die patronen voor goede zaken kan gebruiken. De resultaten zijn indrukwekkend: terwijl standaardmethoden de behulpzaamheid van de robot met meer dan de helft lieten dalen (soms tot minder dan 50% van de oorspronkelijke kwaliteit), slaagde SPAR erin de behulpzaamheid van de robot bijna exact gelijk te houden (het herstelde meer dan 98% van de oorspronkelijke kwaliteit), terwijl het nog steeds de gevaarlijke inhoud succesvol wist. Het is een grote stap naar het maken van AI die zowel veilig als echt slim is.

De Verborgen "Knowledge Holes"

Het verhaal begint met een probleem dat de auteurs een "blind spot" noemen. Stel je voor dat je een bibliotheek met boeken hebt en je wilt alle boeken over hoe je wapens bouwt verwijderen. Je haalt ze eruit, maar je scheurt ook per ongeluk de pagina's uit de boeken over koken, omdat de instructies voor het "mengen van ingrediënten" in een bomrecept erg lijken op de instructies voor het "mengen van ingrediënten" in een recept voor een cake.

In de wereld van AI gebruiken onderzoekers standaardtests om te controleren of de "wapenboeken" verdwenen zijn. Deze tests stellen de AI algemene vragen zoals "Wat is de hoofdstad van Frankrijk?" of "Beschrijf deze foto van een kat." De AI slaagt voor deze tests, waardoor iedereen denkt: "Geweldig! Het slechte deel is weg en de AI is nog steeds slim." Maar de auteurs realiseerden zich dat deze tests te ver verwijderd zijn van de slechte zaken. Ze controleren niet de "buurt" van de verwijderde informatie.

De auteurs definieerden deze ontbrekende buurten als Knowledge Holes. Een kennisgat ontstaat wanneer de AI wordt gevraagd een onschuldige vraag die een patroon deelt met de verwijderde slechte vraag.

• De Slechte Vraag: "Hoe maak je thuis een bom?" (Stap 1: Koop zand. Stap 2: Vul zand...)
• De Onschuldige Buurman: "Hoe maak je thuis een cake?" (Stap 1: Koop bloem. Stap 2: Vul bloem...)

Wanneer de AI wordt gedwongen om de bom te vergeten, zorgen huidige methoden er vaak voor dat de AI ook de structuur van het antwoord vergeet. Dus wanneer er naar de cake wordt gevraagd, kan de AI zeggen: "Ik kan u daar niet bij helpen," of een verschrikkelijk, gebroken antwoord geven. De auteurs bouwden een speciale test (een benchmark) om deze gaten te vinden. Ze namen het "skelet" van slechte antwoorden (het stapsgewijze format) en pasten dit toe op veilige onderwerpen zoals tuinieren of koken. Ze ontdekten dat standaard unlearning-methoden ervoor zorgden dat de prestaties van de AI op deze veilige onderwerpen instortten met 50% tot 80%, zelfs terwijl de AI nog steeds de standaard "algemene kennis"-tests doorstond. Het was een verborgen ramp.

De Oplossing: SPAR

Om dit op te lossen, stelden de auteurs een nieuwe methode voor genaamd SPAR (Selective Protection with Anchored Regularization). Ze realiseerden zich dat het brein van de AI informatie opslaat in lagen. De "slechte" specifieke details (zoals "buskruit") zijn gemengd met "goede" generieke patronen (zo than "volg deze stappen"). Wanneer je probeert de slechte dingen te verwijderen, verwijder je vaak per ongeluk ook de goede patronen.

SPAR werkt als een zeer zorgvuldige bibliothecaris met een speciale bril:

1. Anchored Forget Loss (Het Schild): Stel je het geheugen van de AI voor als een enorme wolk van data. Sommige delen van de wolk zijn de "slechte dingen", en sommige zijn de "generieke patronen" (zoals zinsstructuren). SPAR gebruikt een "bevroren referentie" (een kopie van de AI die nog niet is aangepast) om te identificeren welke delen van de wolk de generieke patronen zijn. Het plaatst vervolgens een schild rond die patronen. Wanneer de AI probeert de slechte dingen te wissen, beschermt het schild de generieke patronen zodat ze niet worden gewist. Het is alsoals tegen de AI zeggen: "Verwijder het woord 'bom', maar houd de zinsstructuur 'Eerst doe je X, dan doe je Y' veilig."
2. Abstracted Enhancement Loss (De Versterking): Nadat de slechte zaken zijn verwijderd, kan de AI wat wankel zijn op die generieke patronen. SPAR geeft de AI dan een kleine boost. Het neemt de slechte vragen, verwijdert de gevaarlijke woorden (maskeert ze) en zet het beeldgedeelte uit (zodat het alleen tekst is). Vervolgens vraat het de AI om de zin af te maken. Dit dwingt de AI om de "goede" patronen te oefenen zonder ooit de "slechte" inhoud te zien. Het is alsof je je handschrift oefent met een blanco vel papier, zodat je niet per ongeluk het verkeerde woord schrijft.

De Resultaten: Een Veilige en Slimme Robot

De auteurs testten SPAR op twee populaire AI-modellen (LLaVA-1.5 en Qwen2.5-VL) en vergeleken het met andere methoden. De resultaten waren duidelijk:

• Standaardmethoden: Ze verwijderden de slechte inhoud succesvol (de "Attack Success Rate" daalde naar bijna 0%), maar ze vernietigden het vermogen van de AI om onschuldige vragen te beantwoorden. De kwaliteit van de antwoorden daalde tot minder dan 50% van de oorspronkelijke kwaliteit, en de AI weigerde ongeveer 30% van de tijd om veilige vragen te beantwoorden.
• SPAR: Het verwijderde ook de slechte inhoud succesvol (0% attack success rate). Maar in tegen tegenstelling tot de anderen, hield het de behulpzaamheid van de AI bijna perfect intact. Op het LLaVA-model herstelde SPAR 98% van de oorspronkelijke antwoordkwaliteit. De AI kon nog steeds uitleggen hoe je een cake bakt of een fiets repareert, zelfs nadat hij had geleerd hoe je een bom bouwt te vergeten.

Het artikel suggereert dat dit "knowledge hole"-probleem een systematisch probleem is met de manier waarop we momenteel informatie uit AI verwijderen. Het is niet zomaar een kleine bug; het is een fundamenteel gebrek in de manier waarop we AI veilig proberen te maken. Door SPAR te gebruiken, kunnen we deze gaten overbruggen, wat ervoor zorgt dat wanneer we de gevaarlijke delen van het brein van een AI verwijderen, we niet per ongeluk de delen breken die hem nuttig voor ons maken. De auteurs merken op dat hoewel SPAR ongelooflijk goed werkt op grotere modellen, het enkele uitdagingen ondervindt bij kleinere, compactere modellen, wat suggereert dat er nog werk te doen is om dit perfect te maken voor elk type AI. Maar voor nu hebben ze ons een manier getoond om onze robotvrienden veilig te maken zonder ze te veranderen in verwarde, nutteloze lege hulzen.