💬 NLP

Knowledge Beyond Language: Bridging the Gap in Multilingual Machine Unlearning Evaluation

Dit artikel adresseert de beperkingen van bestaande evaluaties van meertalig machine-unlearning (MMU) door twee nieuwe metrieken voor te stellen, de Knowledge Separability Score (KSS) en de Knowledge Persistence Score (KPS), om kruislinguale informatieverwijdering beter te beoordelen en dieper inzicht te verschaffen in MMU-fenomenen.

Oorspronkelijke auteurs: Kyomin Hwang, Hyeonjin Kim, Sangyeon Cho, Nojun Kwak

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kyomin Hwang, Hyeonjin Kim, Sangyeon Cho, Nojun Kwak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Echo-kamer"-effect

Stel je een zeer slimme, meertalige bibliothecaris (de AI) voor die miljoenen boeken heeft gelezen in het Engels, Spaans, Chinees en vele andere talen. Op een dag besef je dat de bibliothecaris een geheim over een specifieke persoon, "Veronica Bowman", heeft onthouden, en je wilt dat dit geheim om privacyredenen uit hun geheugen wordt gewist.

In het verleden probeerden onderzoekers de bibliothecaris dit geheim te laten vergeten door alleen met hen in het Engels te spreken. Ze zouden zeggen: "Vergeet alles over Veronica Bowman."

De Haken en Ogen: Het paper betoogt dat deze aanpak hetzelfde is als proberen een kamer schoon te maken door alleen de Engelse hoek af te vegen. Omdat de bibliothecaris het geheim in vele talen heeft geleerd, kan de informatie zich hebben "verspreid" als een gerucht. Zelfs als de bibliothecaris het geheim in het Engels vergeet, kan het nog steeds perfect herinnerd worden wanneer je het in het Spaans of Swahili vraagt. Het geheim is de "grens" overgestoken naar andere talen binnen het brein van de bibliothecaris.

De Oude Manier van Testen (De Gebrekkige Spiegel)

Voorheen, om te controleren of de bibliothecaris het geheim was vergeten, stelden onderzoekers vragen in één taal per keer.

Vraag in het Engels: "Ken je Veronica?" -> Bibliothecaris: "Nee." (Succes!)
Vraag in het Spaans: "Ken je Veronica?" -> Bibliothecaris: "Ja." (Mislukking!)

De oude methode zou alleen naar het Engelse antwoord kijken en verklaren: "Goed gedaan, het geheim is weg!" Het paper zegt dat dit misleidend is. Het is als controleren of een lekende boot droog is door alleen naar het voordek te kijken, terwijl het achterdek nog steeds volloopt.

De Nieuwe Oplossing: Twee Nieuwe "Thermometers"

Om dit op te lossen, hebben de auteurs een nieuwe manier ontwikkeld om de bibliothecaris te testen en twee nieuwe "thermometers" (metrieken) om te meten hoe goed het vergeten daadwerkelijk werkte in alle talen.

1. De "Knowledge Separability Score" (KSS)

De Analogie: Stel je een zak met rode marbles (het geheim dat je wilt vergeten) en blauwe marbles (veilige informatie die je wilt behouden) voor.

Het Doel: Je wilt dat de bibliothecaris de rode marbles perfect kan onderscheiden van de blauwe marbles.
Wat KSS Meet: Het controleert of de bibliothecaris duidelijk kan onderscheiden tussen "dingen om te vergeten" en "dingen om te behouden" in alle talen tegelijk. Als de bibliothecaris in de war is en denkt dat sommige blauwe marbles rood zijn (veilige info vergeten) of sommige rode marbles blauw (het geheim onthouden), dan daalt de score.
De Bevinding van het Paper: Ze ontdekten dat sommige methoden (zoals "pruning", wat vergelijkbaar is met het wegsnijden van delen van het brein van de bibliothecaris) goed waren in het scheiden van de marbles in het algemeen, maar dat ze rommelig waren en per ongeluk ook enkele veilige blauwe marbles weggooiden.

2. De "Knowledge Persistence Score" (KPS)

De Analogie: Dit is de "Geruchtentest".

Het Scenario: Je vertelt de bibliothecaris het geheim in het Engels te vergeten.
De Test: Vervolgens vraag je de bibliothecaris in een taal die ze niet hebben gebruikt om het geheim te leren (een "hold-out" taal).
Wat KPS Meet: Het meet hoeveel het geheim is "gebleven" of is lekt naar die nieuwe taal. Als de bibliothecaris het geheim nog steeds kent in de nieuwe taal, is de score hoog (wat slecht is). Als ze het echt overal zijn vergeten, is de score laag (wat goed is).
De Bevinding van het Paper: Ze ontdekten dat zelfs wanneer de bibliothecaris leek het geheim te vergeten in de trainingtalen, het geheim vaak "bleef" in andere talen. Het geheim was de taalgrenzen overgestoken en verstopte zich daar nog steeds.

Hoe Ze het Experiment Deden

Om dit te bewijzen, gebruikten de auteurs geen echte geheimen van mensen (wat onethisch zou zijn). In plaats daarvan bouwden ze een enorme, nep-bibliotheek:

200 Nep-mensen Gemaakt: Ze bedachten 200 fictieve personages met verzonnen namen, verjaardagen en hobby's.
Alles Vertaald: Ze schreven vragen en antwoorden over deze nep-mensen in 10 verschillende talen (inclusief grote talen als Engels en Chinees, en kleinere talen als Albanees en Bengaals).
Het "Vergeet"-Spel: Ze trainden een AI op deze nep-data en probeerden vervolgens specifieke mensen te laten vergeten met verschillende technieken.
De Test: Ze gebruikten hun twee nieuwe thermometers (KSS en KPS) om te zien of de AI de nep-mensen echt was vergeten in alle 10 talen.

De Belangrijkste Leerpunten

Talen zijn niet geïsoleerd: Informatie in AI blijft niet in één taal. Als je een AI een geheim leert in het Engels, leert het dat vaak automatisch ook in het Spaans, Frans en andere talen.
Oude tests liegen tegen ons: Controleren of een AI iets in slechts één taal is vergeten, is niet genoeg. Je moet alle talen controleren om zeker te zijn dat het geheim echt weg is.
Het "Hold-Out"-Gevaar: Het paper vond dat geheimen vaak verstopt zitten in talen waarvoor de AI niet expliciet was getraind om te vergeten. Zelfs als je het geheugen in het Engels schoonveegt, kan de "echo" van dat geheim nog steeds hoorbaar zijn in andere talen.

Conclusie

Het paper concludeert dat we moeten stoppen met het behandelen van talen als aparte kamers en moeten beginnen met het behandelen ervan als één groot, verbonden huis. Om privacy in AI echt te beschermen, hebben we nieuwe tools nodig (zoals KSS en KPS) die het hele huis controleren, niet slechts één kamer, om ervoor te zorgen dat het geheim daadwerkelijk weg is.

Technische Samenvatting: Kennis Buiten Taal: De Kloof Overbruggen in Meertalige Machine Unlearning Evaluatie

1. Probleemstelling

Grote Taalmodellen (LLM's) die getraind zijn op meertalige corpora vormen privacyrisico's, wat Meertalige Machine Unlearning (MMU) noodzakelijk maakt om gevoelige informatie over meerdere talen te verwijderen. Hoewel bestaand onderzoek naar Machine Unlearning (MU) zich heeft gericht op Engelstalige datasets, benadrukken recente studies dat unlearning in meertalige settings wordt bemoeilijkt door taalkundige verspreiding, waarbij kennis verworven in één taal blijft bestaan of zich verspreidt naar andere talen.

Huidige evaluatieprotocollen voor MMU zijn ontoereikend omdat ze:

Talen geïsoleerd evalueren: Ze beoordelen de prestaties van unlearning per taal (bijvoorbeeld controleren of "Veronica Bowman" in het Engels is vergeten) zonder te verifiëren of dezelfde kennis in andere talen (bijvoorbeeld Albanees of Afrikaans) nog toegankelijk is.
De distributie niet vastleggen: Ze houden geen rekening met het feit dat kennis in MMU over talen is verdeeld en wordt verworven via zowel directe memorisatie (trainen op specifieke taalparen) als indirecte taalkundige verspreiding.
Effectiviteit overdrijven: Een model kan lijken te hebben geslaagd in het onthouden van informatie in de geëvalueerde taal, terwijl de onderliggende informatie in een andere taal nog steeds opvraagbaar blijft, wat leidt tot misleidende conclusies over privacyveiligheid.

2. Methodologie

Dataset Constructie

Om het gebrek aan gestandaardiseerde evaluatiegegevens aan te pakken, hebben de auteurs een grote-scale meertalige parallelle dataset samengesteld:

Schaal: 3.800 synthetische QA-paren over 10 talen (19 attributen × 200 profielen).
Talen: Omvat 5 hoog-resourcetalen (Engels, Chinees, Duits, Russisch, Spaans) en 5 laag-resourcetalen (Bengaals, Hebreeuws, Tamil, Afrikaans, Albanees).
Generatiepijplijn: Synthetische profielen werden gegenereerd met Faker, omgezet naar Engelstalige QA-paren met een LLM, en vertaald naar 9 andere talen. Een back-translation verificatieproces (met Google Translate en LLM's) zorgde voor semantische equivalentie in alle talen.
Experimentele Opstelling: De dataset werd opgesplitst in TrainingsTalen (gebruikt voor memorisatie en unlearning) en Aanhoude Talen (exclusief gebruikt voor evaluatie om taalkundige verspreiding te simuleren).

Voorgestelde Metrieken

Het artikel introduceert twee nieuwe metrieken die zijn ontworpen om de meertalige aard van unlearning te evalueren:

Knowledge Separability Score (KSS) - Kennis Scheidbaarheidsscore:
- Doel: Meet de algehele kwaliteit van unlearning door onderscheid te maken tussen Doelkennis (te vergeten) en Niet-doelkennis (te behouden) over alle talen.
- Mechanisme: Het aggregeert een "vergeet-score" ( $S_i$ ) voor elke kennisinstantie over talen met behulp van zowel op waarschijnlijkheid gebaseerde als op generatie gebaseerde (Semantische Equivalentie) methoden.
- Componenten:
  - KSS-ROC: Oppervlakte onder de Receiver Operating Characteristic Curve, die de algemene scheidbaarheid meet tussen de vergeet- en behoudsets.
  - KSS-PR: Oppervlakte onder de Precision-Recall Curve, specifiek gericht op de class-imbalance waarbij de vergeetset doorgaans veel kleiner is dan de behoudset.
Knowledge Persistence Score (KPS) - Kennis Persistentiescore:
- Doel: Kwantificeert de mate waarin doelkennis, die succesvol is vergeten in een "basistaal", persisteert (blijft opvraagbaar) in andere talen.
- Mechanisme: Voor een basistaal $l_1$ en vergelijkingstalen $L_2$ , berekent het het fractie van samples waarbij het model de kennis in $l_1$ heeft vergeten (Semantische Equivalentie = 0) maar deze behoudt in $l_2$ (Semantische Equivalentie = 1).
- Interpretatie: Een lagere KPS duidt op betere unlearning-prestaties (minder taalkundige persistentie).

Experimentele Configuratie

De auteurs evalueerden diverse op optimalisatie gebaseerde unlearning-methoden (Gradient Ascent, GAGDR, GAKLR, NPO) en een op pruning gebaseerde methode op het Llama3.1-8B-Instruct-model. Experimenten werden uitgevoerd onder verschillende vergeten-set-ratio's (1%, 3%, 5%) en apart geanalyseerd voor Trainings- en Aanhoude-talensets.

3. Belangrijkste Resultaten

Unlearning-moeilijkheid in Aanhoude Talen

Prestatieverschil: Unlearning is aanzienlijk moeilijker in Aanhoude talen (Geval 1) dan in Trainings-talen (Geval 2).
Bewijs: KSS-ROC-scores waren consequent lager voor Aanhoude talen (bijvoorbeeld maximaal 0,76 versus 0,99 in Trainings-talen voor de beste methode), wat aangeeft dat het onderscheid tussen doel- en niet-doelkennis moeilijker is wanneer de kennis is verworven via taalkundige verspreiding in plaats van directe training.

Impact van Vergeten Ratio

Afneming: Naarmate de vergeten-ratio toeneemt (van 1% naar 5%), verslechtert de unlearning-prestatie. De grens tussen doel- en niet-doelkennis wordt steeds onduidelijker, waardoor modellen moeite hebben om te onderscheiden wat ze moeten vergeten.
Persistentie: KPS-scores namen significant toe bij hogere vergeten-ratio's, wat aantoont dat grotere vergeten sets leiden tot ernstigere taalkundige persistentie.

Methode-specifieke Bevindingen

Optimalisatie versus Pruning: Hoewel op pruning gebaseerde methoden hoge KSS-ROC-scores behaalden (goede globale scheidbaarheid), vertoonden ze onevenredig lage KSS-PR-scores. Visualisatie van vergeet-scores ( $S_i$ ) onthulde dat pruning hoge vergeet-scores toekende aan een aanzienlijke hoeveelheid niet-doelkennis, wat leidde tot een overlap in distributies die door op optimalisatie gebaseerde methoden werd vermeden.
Persistentie over Talen: Zelfs met succesvol unlearning in Trainings-talen, bleef doelkennis bestaan in Aanhoude talen (KPS > 0 voor alle methoden), wat het risico van taalkundige informatielekkage bevestigt.

4. Belangrijkste Bijdragen

Uitgebreid MMU-scenario: Kennis in MMU gedefinieerd als instanties die over meerdere talen tot uitdrukking komen, verworven via zowel directe memorisatie als taalkundige verspreiding.
Grootschalige Dataset: Constructie van een meertalige parallelle QA-dataset van 3.800 instanties over 10 talen met strenge kwaliteitscontrole.
Nieuwe Evaluatiemetrieken: Voorstellen van KSS en KPS om de kwaliteit van unlearning holistisch te evalueren en respectievelijk taalkundige consistentie te meten.
Empirische Inzichten: Aangetoond dat bestaande taal-specifieke evaluatieprotocollen ontoereikend zijn en dat unlearning-prestaties aanzienlijk variëren tussen Trainings- en Aanhoude-talen.

5. Betekenis en Beperkingen

Betekenis:
Het artikel betoogt dat betrouwbare MMU-evaluatie vereist dat metrieken de ontoegankelijkheid van informatie consistent over alle talen verifiëren. De voorgestelde KSS- en KPS-metrieken bieden een nieuw paradigma voor het evalueren van MMU, waarbij unieke fenomenen aan het licht komen zoals de moeilijkheid van unlearning in Aanhoude talen en de specifieke faalmodi van op pruning gebaseerde methoden in meertalige settings.

Beperkingen:

Taaldiversiteit: De Aanhoude-talen waren beperkt tot de Indo-Europese familie (Afrikaans en Spaans), wat de generaliseerbaarheid van bevindingen over verschillende taalkundige structuren beperkt.
Modelgrootte: Experimenten waren beperkt tot een model met 8 miljard parameters vanwege computergrenzen; grotere modellen kunnen verschillende vergeet-dynamieken vertonen.
Metriekscope: Hoewel KSS en KPS kennis-specifieke metingen adresseren, erkennen de auteurs potentie voor alternatieve of diversere evaluatiemethodologieën.

De auteurs concluderen dat toekomstig MMU-onderzoek expliciet rekening moet houden met meertalige kenmerken en kennis over talen moet proberen te vergeten in plaats van talen als geïsoleerde entiteiten te behandelen.