🤖 AI

Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models

Dit artikel introduceert attribuut-niveau unlearning als een fijnmaziger alternatief voor profiel-niveau deletie voor Multimodale Grote Taalmodellen (MLLM's), stelt een uitgebreide benchmark voor om de uitdaging te evalueren van het selectief vergeten van specifieke attributen terwijl identiteitsgebonden informatie behouden blijft, en presenteert CLRP, een lichtgewicht, training-vrij framework dat dit selectieve vergeten effectief bereikt door middel van causale lokalisatie en retain-aware projectie.

Oorspronkelijke auteurs: Junkai Lin, Junkai Chen, Siqi Hou, Yuhao He, Ruiqi Liu, Chenhan Jin, Shengze Xu, Tieyong Zeng

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junkai Lin, Junkai Chen, Siqi Hou, Yuhao He, Ruiqi Liu, Chenhan Jin, Shengze Xu, Tieyong Zeng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotvriend hebt die naar een foto kan kijken en er een verhaal over kan vertellen. Deze robot heeft miljoenen boeken gelezen en miljarden foto's gezien, dus hij weet heel veel. Maar soms onthoudt hij dingen die hij niet zou moeten weten, zoals de geheime verjaardag van iemand of het huisadres van iemand. In de wereld van kunstmatige intelligentie is er een groeiende behoefte om deze robots te leren specifieke geheimen te "vergeten" zonder dat ze de rest van alles vergeten. Dit proces wordt "machine unlearning" genoemd. Denk aan het bewerken van een dagboek: je wilt één gênante zin over je zomervakantie doorstrepen, maar alle andere leuke verhalen over je vrienden en familie intact laten. Als je de hele pagina eruit scheurt, verlies je alles. Als je probeert de inkt te verwijderen met een chemische stof die het papier oplost, verpest je het hele boek. De uitdaging is om een manier te vinden om slechts die ene slechte herinnering chirurgisch te verwijderen, terwijl de rest van het brein van de robot perfect blijft werken.

Dit artikel pakt een lastige nieuwe versie van dat probleem aan. In plaats van de robot te vragen om een heel persoon te vergeten (zoals "vergeet alles over mijn vriend Bob"), vroegen de onderzoekers hem om slechts één specifiek ding over Bob te vergeten, zoals zijn lievelingskleur, terwijl hij zijn naam, zijn beroep en hoe hij eruitziet nog wel moet onthouden. Ze ontdekten dat het brein van de robot rommelig is; de herinnering aan Bobs lievelingskleur is verstrengeld met de herinnering aan Bobs gezicht. Proberen de kleur weg te snijden, snijdt vaak per ongeluk ook het gezicht weg. Om dit op te lossen, bouwden de auteurs een nieuwe test genaamd AMU-Bench om te meten hoe goed robots dit fijnmazige vergeten kunnen uitvoeren. Vervolgens vonden ze een slimme, training-vrije tool genaamd CLRP (Causal Localization and Retain-Aware Projection). Denk aan CLRP als een paar "geheugenbrillen" die de robot draagt, maar alleen wanneer hij vragen beantwoordt. Deze brillen veranderen het brein van de robot niet; ze passen alleen de manier waarop de robot op dat exacte moment naar zijn eigen gedachten kijkt aan. Door een techniek genaamd "activation patching" te gebruiken (wat lijkt op het vervangen van een specifieke Lego-steen in een toren om te zien welk deel van de toren wankelt), vindt CLRP de exacte plek in het brein van de robot waar het geheim is opgeslagen. Vervolgens past het een wiskundig filter toe dat dat specifieke geheim dempt, terwijl de rest van het verhaal luid en duidelijk blijft.

De onderzoekers testten dit op drie verschillende robotbreinen (LLaVA-1.5-7B, LLaVA-1.5-13B en Qwen2.5-VL-3B) en ontdekten dat hun methode veel beter werkt dan eerdere pogingen. In hun hoofdtests, waarbij ze de robots vroegen om 5% van de gegevens te vergeten, was CLRP in staat om het vermogen van de robot om het geheim te raden te verlagen van 20,00% naar slechts 4,00%. Nog beter: terwijl andere methoden ervoor zorgden dat de robot ook de goede zaken vergat, hielp CLRP de robot zelfs om de niet-geheime feiten beter te onthouden, waarbij de nauwkeurigheid op die vragen steeg van 14,77% naar 17,79%. Het artikel suggereert dat deze aanpak een veelbelovende manier is om robots het vermogen te geven om selectief te zijn over wat ze bewaren en wat ze loslaten, zonder dat ze hen vanaf nul opnieuw hoeven te trainen. Ze ontdekten ook dat het voor robots makkelijker is om getallen (zoals een telefoonnummer) te vergeten dan lange beschrijvingen (zoals een hobby), maar dat het beschermen van de rest van het verhaal van een persoon het moeilijkste deel van alles is.

Technische Samenvatting: Naar fijnmazig vergeten: Attribuut-unlearning voor Multimodale Grote Taalmodellen

Probleemdefinitie

Multimodale Grote Taalmodellen (MLLM's) beschikken over sterke visuele en talige capaciteiten, maar lopen het risico gevoelige informatie te memoriseren en te onthullen. Bestaand onderzoek naar machine unlearning richt zich primair op profielniveau-verwijdering (het verwijderen van alle informatie over een specische entiteit, identiteit of personage), terwijl praktische privacyverzoeken vaak fijnmaziger zijn. Gebruikers willen mogelijk een specifiek attribuut verwijderen (bijv. een geboortedatum, adres of organisatorische affiliatie) terwijl niet-gevoelige informatie over dezelfde identiteit behouden blijft.

Huidige benchmarks voor unlearning op profielniveau (bijv. MLLMU-Bench, FIUBench) testen niet expliciet het behoud van individuele niet-doelattributen binnen een geselecteerde entiteit. Dit creëert een aanzienlijke kloof: bestaande methoden slagen er vaak niet in om attribuut-niveau selectiviteit te bereiken. Omdat doelattributen en behouden attributen dezelfde identiteit en visuele bewijslast delen, bevinden ze zich vaak in nabijgelegen regio's van de representatieruimte en volgen ze overlappende causale paden. Interventies die breed genoeg zijn om het doelattribuut te verwijderen, veroorzaken daarom vaak collaterale degradatie van niet-doelattributen van dezelfde identiteit, terwijl te conservatieve interventies er niet in slagen het doel te onderdrukken.

Methodologie: Causal Localization and Retain-Aware Projection (CLRP)

Om de uitdaging aan te gaan van het isoleren van specifieke attribuutrichtingen terwijl gedeelde identiteitsrepresentaties behouden blijven, stellen de auteurs CLRP voor, een lichtgewicht, training-vrij framework. CLRP werkt zonder modelparameters bij te werken en bestaat uit twee primaire componenten:

Causal Layer Localization:
- De methode gebruikt activation patching om de specifieke transformer-laag te identificeren die causaal bemiddelt bij de onthulling van het doelattribuut.
- Voor elk doelvoorbeeld wordt een doelquery (die naar het gevoelige attribuut vraagt) gekoppeld aan een retain-query van dezelfde identiteit (die naar niet-doel informatie vraagt).
- Het systeem cacheert activaties van de doelrun en patch deze in de retain-run. De laag die het maximale causale patching-effect oplevert—waarbij het bewijs van het doelattribuut het sterkst wordt hersteld—wordt geselecteerd als het interventiepunt ( $\ell^*$ ).
Retain-Aware Contrastive Projection:
- Zodra de interventielaag is geïdentificeerd, schat CLRP een laagdimensionale subspace die het doelattribuut representeert.
- Cruciaal is dat deze schatting retain-aware is. Het construeert statistieken van zowel doel-geconditioneerde representaties als representaties van dezelfde identiteit (plus neutrale prompts).
- De methode berekent een projectie-subspace die variatie vastlegt die prominent is in het doel, maar onderdrukt is in de retain-representaties. Dit wordt bereikt door de doel-covariantie matrix te 'whitening' ten opzichte van de retain-covariantie matrix en de leidende eigenvectoren te selecteren.
- Een projectie-operator dempt deze specifieke subspace op de geselecteerde laag tijdens inferentie, waardoor de richting van het doelattribuut effectief wordt verwijderd terwijl de gedeelde identiteitsrepresentatie die nodig is voor niet-doel feiten behouden blijft.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Definitie van Attribuut-niveau Unlearning: De auteurs definiëren formeel attribuut-niveau MLLM unlearning als een setting waarbij aangewezen attributen ontoegankelijk moeten worden gemaakt, terwijl niet-doel feiten van dezelfde identiteit beschikbaar blijven. Dit stelt strengere eisen aan de lokaliteit dan profielniveau-verwijdering.
AMU-Bench Constructie: De auteurs introduceren de Attribute-level Multimodal Unlearning Benchmark (AMU-Bench). In tegen tegenstelling tot eerdere benchmarks, verdeelt deze de verwijderingsdoelen in categorieën long-text (beschrijvend), numeric (data, salarissen) en short-text (categorisch). Het evalueert systematisch de prestaties over meerdere forget ratios (5%, 10%, 15%) en verschillende vraagtypen (cloze, classificatie, generatie) op veelgebruikte MLLM's (LLaVA-1.5, Qwen2.5-VL).
CLRP Framework: Het voorstel van een training-vrije methode die causale lokalisatie combineert met retain-aware subspace projectie. De methode is ontworpen om de verstrengeling tussen doel- en behouden attributen te navigeren.

Experimentele Resultaten

De auteurs evalueerden CLRP tegen vier baselines (Gradient Ascent, Gradient Difference, KL Minimization, en Preference Optimization) op LLaVA-1.5-7B, LLaVA-1.5-13B, en Qwen2.5-VL-3B.

Vergetelheid Moeilijkheidsgraad: De evaluatie toonde aan dat het type attribuut de moeilijkheidsgraad van het vergeten aanzienlijk beïnvloedt. Numerieke attributen waren consistent het makkelijkst te onderdrukken (vaak met een bijna nul-nauwkeurigheid), terwijl long-text en short-text attributen substantieel meer residuele informatie behielden over alle baseline-methoden heen.
Prestatiewinst: CLRP toonde superieure prestaties in het balanceren van vergeten en behouden.
- In de resultaten voor een 5% forget ratio voor LLaVA-1.5-7B en Qwen2.5-VL-3B, verminderde CLRP de Attribute Forget Set cloze-nauwkeurigheid met wel 16,00 procentpunten (bijv. van 20,00% naar 4,00%) vergeleken met de sterkste baseline.
- Tegelijkertijd verbeterde het de Attribute Retain Set cloze-nauwkeurigheid met wel 3,02 procentpunten (bijv. van 14,77% naar 17,79%), wat een betere preservatie van niet-doel feiten van hetzelfde profiel aantoont.
Trade-off Analyse: Bestaande methoden vertoonden instabiele trade-offs, waarbij ze vaak de retentie van attributen van hetzelfde profiel verslechterden wanneer ze probeerden doelen te vergeten. CLRP behaalde de beste of gelijk aan de beste resultaten in 8 van de 9 model-attribuut condities voor de Attribute Forget Set nauwkeurigheid en toonde verbeterde retentiescores, wat aangeeft dat sterker doelvergeten niet ten koste ging van de degradatie van het gehele profiel.

Betekenis en Claims

Het artikel claimt dat AMU-Bench de beperkingen blootlegt van huidige profielniveau unlearning benaderingen, specifiek de moeilijkheid om kennis van hetzelfde profiel te behouden terwijl specifieke attributen worden verwijderd. De auteurs stellen dat CLRP een effectieve oplossing biedt voor deze fijnmazige taak door gebruik te maken van causale lokalisatie om interventielagen te pinpointen en retain-aware projectie om onderscheid te maken tussen doel-specifieke en gedeelde identiteitsrepresentaties.

De betekenis van dit werk ligt in de verschuiving van grove entiteitsverwijdering naar fijnmazige attribuut-unlearning, een setting die beter aansluit bij praktische privacyverzoeken. De resultaten suggereren dat selectief vergeten haalbaar is in MLLM's zonder hertraining, mits de interventie causaal gelokaliseerd is en wordt begrensd door retain-aware geometrie. De auteurs concluderen dat hun aanpak staat voor state-of-the-art prestaties in het balanceren van de onderdrukking van aangewezen attributen met het behoud van niet-doel informatie binnen hetzelfde profiel.