🤖 machine learning

Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score

Dit artikel presenteert de eerste systematische analyse die significante inconsistenties blootlegt tussen standaardmetrieken voor het evalueren van machine-unlearning in Vision-Language-modellen, en stelt een principiële Unified Quality Score (UQS) voor die is afgeleid van orakelcorrelaties om stabiele en betrouwbare rangschikkingen te bieden.

Oorspronkelijke auteurs: Abdullah Ahmad Khan, Hamid Laga, Ferdous Sohel

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abdullah Ahmad Khan, Hamid Laga, Ferdous Sohel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, superslimme bibliotheekassistent (een Vision-Language Model) hebt die miljoenen boeken heeft gelezen en talloze afbeeldingen heeft gezien. Op een dag vraagt iemand de bibliotheek om een specifiek boek dat zij hebben geschreven "te vergeten", met verwijzing naar hun recht op privacy. De bibliotheekassistent verwijdert dat boek uit de schappen.

Maar hier is het probleem: Hoe weten we of de assistent het boek daadwerkelijk is vergeten, of dat het gewoon is verstopt?

Dit artikel is als een groep inspecteurs die proberen uit te vinden of de bibliotheekassistent zijn werk echt heeft gedaan. Ze ontdekten dat de inspecteurs vijf verschillende regelboeken gebruiken om de assistent te beoordelen, en verrassend genoeg geven deze regelboeken vaak volledig tegenstrijdige cijfers voor dezelfde taak.

De Vijf Verwarde Inspecteurs (De Metrieken)

Het artikel bekijkt vijf standaardmanieren om "vergeten" te meten:

De "Directe Vraag" Inspecteur (Forget Accuracy): Vraagt: "Als ik direct over het boek vraag, geef je dan antwoord?" Als de assistent zwijgt, geeft deze inspecteur een goed cijfer.
De "Andere Boeken" Inspecteur (Retain Accuracy): Vraagt: "Herinner je je nog steeds de andere 999 boeken?" Als de assistent ze goed onthoudt, geeft deze inspecteur een goed cijfer.
De "Privacy-Detective" (Membership Inference Attack): Probeer te raden of de assistent "nerveus" of "zeker" is over het vergeten boek. Als de assistent normaal doet, denkt deze detective dat het boek weg is.
De "Hersenscan" Inspecteur (Activation Distance): Kijkt in het "brein" van de assistent (zijn interne wiskunde) om te zien of het eruit ziet als een versie van de assistent die het boek nooit heeft gezien.
De "Output Match" Inspecteur (JS Divergence): Controleert of de antwoorden van de assistent statistisch lijken op de versie die het boek "nooit heeft gezien".

Het Grote Probleem: Ze Kunnen Het Niet Eens Worden

De onderzoekers testten dit op een slim model genaamd LLaVA (dat afbeeldingen kan zien en tekst kan lezen). Ze probeerden vier verschillende manieren om het model het boek te laten vergeten.

Hier is de draai: De inspecteurs haatten elkaar.

Inspecteur A (Directe Vraag) zou kunnen zeggen: "Methode X is de beste! Het stopte met praten over het boek."
Inspecteur B (Hersenscan) zou kunnen zeggen: "Methode X is de slechtste! Zijn brein ziet er nog steeds precies uit alsof hij het boek onthoudt."

Het is als een auto-review waarbij één magazine zegt: "Deze auto is de snelste!" en een ander zegt: "Deze auto heeft geen motor!" Het artikel vond dat voor dezelfde methode de ranglijsten vaak tegenovergesteld waren. Eén methode zou #1 kunnen zijn bij drie inspecteurs, maar #4 bij de andere twee.

De Verborgen Truc: "Kennisherstelbaarheid"

Het artikel ontdekte een enorm blinde vlek. Alle vijf de inspecteurs controleren alleen of de assistent het antwoord zegt. Ze controleren niet of de assistent het antwoord weet, maar gewoon doet alsof hij het niet weet.

De onderzoekers deden een test waarbij ze de assistent lastige, omwegen vragen (zoals: "Wat is de middennaam van de persoon op de foto?" in plaats van "Wie is deze persoon?").

Resultaat: Zelfs toen de assistent "Ik weet het niet" zei op de directe vraag, gaf hij vaak het juiste antwoord op de lastige vraag.
De Metafoor: Het is als een spion die zegt: "Ik ken de geheime code niet", maar als je vraagt: "Wat is de code voor de deur die om middernacht opent?", zeggen ze per ongeluk de code. Het "vergeten" was slechts een oppervlakkig zwijgen, geen echte verwijdering van het geheugen.

De Oplossing: Een "Gecombineerde Score" (UQS)

Omdat de inspecteurs het niet eens kunnen worden, en ze allemaal de "lastige vraag"-test missen (die momenteel te moeilijk is om te automatiseren), creëerden de auteurs een Meesterscorebord genaamd de Unified Quality Score (UQS).

Denk hierbij aan een hoofdjury die luistert naar alle vijf de inspecteurs, maar hun meningen weegt op basis van hoe belangrijk ze eigenlijk zijn:

De jury merkte op dat de "Andere Boeken" inspecteur (Retain Accuracy) het meest betrouwbaar is om te zeggen of het model gezond is. Daarom geeft de jury aan die mening het meeste gewicht (ongeveer 65%).
De jury merkte op dat de "Directe Vraag" inspecteur eigenlijk een beetje een leugenaar is (hij denkt vaak dat een gebroken, zwijgende robot "goed" is omdat hij niet praat). Daarom geeft de jury aan die mening heel weinig gewicht.
De jury combineert deze gewogen meningen tot één getal.

De Resultaten

Toen ze deze nieuwe Meesterscore gebruikten:

Het stopte de ruzies: De ranglijsten werden consistent.
Het onthulde de waarheid: Sommige methoden die er geweldig uitzagen op de "Directe Vraag"-test, waren eigenlijk vreselijk omdat ze het brein van het model kapotmaakten. De Meesterscore ving dit op.
Multimodaal is moeilijker: Ze ontdekten dat wanneer een model te maken heeft met zowel afbeeldingen als tekst (zoals een mens die een afbeelding ziet en een bijschrift leest), de inspecteurs het nog minder eens zijn dan wanneer het model alleen met tekst te maken heeft. Het is als proberen een chef-kok te beoordelen die twee verschillende keukens tegelijk kookt; het is veel moeilijker om te zeggen of hij een recept is vergeten.

De Conclusie

Het artikel bedenkt geen nieuwe manier om gegevens te verwijderen. In plaats daarvan legt het een puinhoop bloot in hoe we het verwijderen meten. Het zegt: "Stop met het gebruik van slechts één test om te zien of een model iets is vergeten. De tests staan haaks op elkaar, en ze missen het belangrijkste deel (of het geheugen echt weg is of gewoon verstopt)."

Ze bieden een nieuwe, slimmere manier om deze tests te combineren, zodat we er echt op kunnen vertrouwen dat een model echt "is vergeten" wat het was opgedragen te vergeten.

Technische Samenvatting: Onbetrouwbaarheid van Metrieken bij Multimodaal Machine Unlearning

Probleemstelling

Machine unlearning wordt steeds belangrijker voor naleving van regelgeving zoals de Algemene Verordening Gegevensbescherming (AVG), die de verwijdering van specifieke invloeden van trainingsdata uit ingezette modellen voorschrijft. Hoewel unlearning is onderzocht bij classificatie en tekst-only Large Language Models (LLM's), blijft de evaluatie ervan bij Multimodale Large Language Models (MLLM's) inconsistent.

Het kernprobleem dat is geïdentificeerd, is dat bestaande evaluatiemetrieken voor multimodaal unlearning systematisch tegenstrijdige rangschikkingen opleveren van unlearning-methoden. Huidige praktijken vertrouwen op vijf standaardmetrieken – Forget Accuracy (FA), Retain Accuracy (RA), Membership Inference Attack (MIA), Activation Distance (AD) en Jensen–Shannon-divergentie (JS) – zonder hun onderlinge overeenstemming te verifiëren. Dit artikel toont aan dat deze metrieken orthogonale aspecten van unlearning meten (uitvoer-gedrag versus representatie-uitlijning), wat leidt tot scenario's waarbij een methode door de ene metriek op #1 wordt gerangschikt en door een andere op #4. Bovendien hebben alle bestaande metrieken een kritieke blinde vlek: ze meten niet Knowledge Recoverability (KR), oftewel of vergeten informatie kan worden gereconstrueerd via herformuleerde, indirecte of adversariële vragen.

Methodologie

De auteurs voerden een systematische analyse uit met het LLaVA-1.5-7B vision-language model (VLM) over drie VQA-benchmarks: MLLMU-Bench, UnLOK-VQA en MMUBench.

Experimentele Opzet:
- Modellen: Een basismodel ( $M$ ) werd fijngetuned op een unie van forget- en retain-sets. Een "oracle"-model ( $M^*$ ) werd uitsluitend opnieuw getraind op de retain-set om te dienen als grondwaarheid voor hoe het model eruit zou moeten zien na het vergeten.
- Unlearning-methoden: Vier verschillende paradigma's werden getest: Gradient Ascent (GA), Random Labels (RL), Fine-tune Retain (FT) en SalUn (gebaseerd op salientie).
- Schaal: De studie evalueerde 36 modellen (4 methoden × 3 datasets × 3 willekeurige zaden).
- Metrieken: Standaardmetrieken werden berekend:
  - FA/RA: Onderdrukking van uitvoer en behoud van bruikbaarheid.
  - MIA: Privacylekken via confidence-scores.
  - AD/JS: Uitlijning van het unlearned model ( $\hat{M}$ ) met de oracle ( $M^*$ ) via activatie-afstanden en uitvoer-distributies.
Analyseframework:
- Rank-correlatie: De auteurs gebruikten Kendall's $\tau$ (een niet-parametrische statistiek) om overeenstemming te meten tussen door metrieken gegenereerde rangschikkingen.
- Oracle-benadering: De betrouwbaarheid van metrieken werd beoordeeld door de Spearman-correlatie ( $\rho$ ) te berekenen tussen elke metriek en de afstand $d(\hat{M}, M^*)$ in de LoRA-parameterruimte.
- Knowledge Recoverability (KR) Pilot: De auteurs handmatig geëvalueerde unlearned modellen met herformuleerde, multi-hop en negatie-vragen om de kloof te kwantificeren tussen "onderdrukking van uitvoer" (FA=0) en daadwerkelijke "wissing van kennis".
Voorgestelde Oplossing: Unified Quality Score (UQS):
- Om tegenstrijdigheden op te lossen, introduceerden de auteurs UQS, een samengestelde metriek.
- Afleiding van Gewichten: Gewichten zijn niet willekeurig maar empirisch afgeleid. Het gewicht van elke metriek is evenredig met zijn Spearman-correlatie met de oracle-afstand $d(\hat{M}, M^*)$ .
- Formulering: $UQS = \sum w_i \cdot \text{genormaliseerde\_metriek}_i$ . Metrieken met een negatieve correlatie (zoals FA) worden zwaar downgewaardeerd of bestraft.

Belangrijkste Bijdragen

Aspect-decompositie: Het artikel koppelt bestaande metrieken aan distincte, vaak conflicterende doelen. FA, RA en MIA meten uitvoer-gedrag (onderdrukking en bruikbaarheid), terwijl AD en JS representatie-uitlijning met de oracle meten. De divergentie in rangschikkingen is structureel, geen ruis.
Identificatie van het ontbrekende aspect (KR): De auteurs definiëren Knowledge Recoverability als het vermogen om vergeten informatie te reconstrueren via indirecte vragen. Een pilotstudie onthulde dat zelfs wanneer FA=0 (directe recall onderdrukt), KR-lekken hoog waren (tot 100% voor SalUn), wat aangeeft dat huidige metrieken geen garantie bieden voor AVG-conforme wissing.
Kwantificering van tegenstrijdigheid: De Kendall's $\tau$ -analyse over 36 modellen onthulde twee anti-gecorreleerde clusters: $\{FA, RA, MIA\}$ en $\{AD, JS\}$ . Specifiek, $\tau_{FA,AD} = -0.26$ , wat aangeeft dat methoden die optimaliseren voor onderdrukking van uitvoer vaak significant afwijken van de oracle-representatie.
Multimodale versterking: De studie vindt dat meningsverschil over metrieken ernstiger is bij multimodale VQA ( $\bar{\tau} = 0.086$ ) dan bij unimodale classificatie ( $\bar{\tau} = 0.158$ ). De dubbele beeld-tekst paden introduceren extra dimensies voor divergentie, aangezien visuele encoders en taal-decoders kunnen ontkoppelen.
Unified Quality Score (UQS): Een principieel, datagedreven samengestelde score die meetbare aspecten aggregatie met betrouwbaarheids-gewichten. De afgeleide gewichten tonen Retain Accuracy (RA) als de meest betrouwbare voorspeller van oracle-benadering ( $\rho = 0.484, p=0.003$ ), terwijl Forget Accuracy (FA) negatief gecorreleerd is ( $\rho = -0.418$ ), wat suggereert dat een lage FA vaak het gevolg is van modelinstorting in plaats van effectief unlearning.

Resultaten

Instabiliteit van rangschikking: Geen enkele unlearning-methode rangschikt consequent als eerste over alle metrieken. Bijvoorbeeld, Gradient Ascent rangschikt als #1 volgens MIA maar als #4 volgens AD; Random Labels rangschikt als #1 op vier metrieken maar als #3 volgens MIA.
Replicatie: De tegenstrijdigheid werd gerepliceerd op BLIP-2 OPT-2.7B, wat bevestigt dat het probleem niet architectuurspecifiek is maar inherent aan het evaluatielandschap.
Betrouwbaarheid van metrieken:
- RA is de sterkste standalone-indicator van unlearning-kwaliteit ten opzichte van de oracle.
- FA is een slechte indicator; een lage FA correleert vaak met een grote afstand tot de oracle (modelinstorting).
- MIA toont gematigde betrouwbaarheid maar is in deze steekproefgrootte niet statistisch significant.
- AD en JS zijn onbetrouwbaar als standalone-metrieken op deze schaal.
Stabiliteit van UQS: De UQS-rangschikkingen blijven robuust onder willekeurige gewichtsperturbaties (gemiddelde $\tau = 0.647 \pm 0.262$ ), wat aantoont dat het principiële wegingsschema de tegenstrijdigheden in individuele metrieken oplost.
KR-bevindingen: In de pilot lekten 96% van de samples met FA=0 nog steeds kennis via indirecte probing, wat de ontoereikendheid van huidige metrieken voor privacy-naleving benadrukt.

Betekenis en Claims

Het artikel claimt een methodologische bijdrage in plaats van een nieuw unlearning-algoritme. De primaire betekenis ligt in het blootleggen van de onbetrouwbaarheid van huidige evaluatiestandaarden voor multimodaal unlearning.

Tegenstrijdigheid is structureel: Het meningsverschil tussen metrieken is niet te wijten aan experimentele ruis maar vloeit voort uit het fundamentele conflict tussen het meten van onderdrukking van uitvoer en representatie-uitlijning.
Kloof in AVG-naleving: Huidige metrieken beoordelen niet of kennis echt is gewist of slechts onderdrukt, een kritiek falen voor regelgevingsnaleving. Het artikel betoogt dat zonder het meten van Knowledge Recoverability, claims van AVG-naleving potentieel misleidend zijn.
Principieel evalueren: De UQS biedt een reproduceerbaar, datagedreven kader voor het rangschikken van unlearning-methoden. Door metrieken te wegen op basis van hun correlatie met een oracle-model, biedt het een "enkele principiële score" die beter aansluit bij het theoretische doel van unlearning (het bereiken van de staat van een model dat nooit is getraind op de forget-set).
Publicatie van middelen: De auteurs publiceren de benchmark, 36 model checkpoints en een interactieve leaderboard om reproduceerbaar onderzoek in dit domein te faciliteren.

De auteurs blijven bescheiden over hun reikwijdte, noteren dat UQS-gewichten model- en dataset-afhankelijk zijn en opnieuw moeten worden afgeleid voor nieuwe instellingen. Ze erkennen ook dat schaalbare, geautomatiseerde meting van Knowledge Recoverability een open uitdaging blijft voor toekomstig werk.