💬 NLP

Knowledge Beyond Language: Bridging the Gap in Multilingual Machine Unlearning Evaluation

Dieser Beitrag adressiert die Grenzen bestehender Evaluierungen des mehrsprachigen maschinellen Vergessens (MMU), indem er zwei neue Metriken vorschlägt – den Score zur Trennbarkeit von Wissen (KSS) und den Score zur Persistenz von Wissen (KPS) –, um die sprachübergreifende Entfernung von Informationen besser zu bewerten und tiefere Einblicke in MMU-Phänomene zu ermöglichen.

Ursprüngliche Autoren: Kyomin Hwang, Hyeonjin Kim, Sangyeon Cho, Nojun Kwak

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kyomin Hwang, Hyeonjin Kim, Sangyeon Cho, Nojun Kwak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Echo-Kammer"-Effekt

Stellen Sie sich vor, Sie haben eine sehr kluge, mehrsprachige Bibliothekarin (die KI), die Millionen von Büchern auf Englisch, Spanisch, Chinesisch und vielen anderen Sprachen gelesen hat. Eines Tages stellen Sie fest, dass die Bibliothekarin ein Geheimnis über eine bestimmte Person, „Veronica Bowman", auswendig gelernt hat, und Sie möchten dieses Geheimnis aus Gründen des Datenschutzes aus ihrem Gedächtnis löschen.

In der Vergangenheit versuchten Forscher, die Bibliothekarin dazu zu bringen, dieses Geheimnis zu vergessen, indem sie nur Englisch mit ihr sprachen. Sie sagten: „Vergessen Sie alles über Veronica Bowman."

Der Haken: Das Paper argumentiert, dass dieser Ansatz so ist, als würde man versuchen, ein Zimmer zu reinigen, indem man nur die englische Ecke abwischen würde. Da die Bibliothekarin das Geheimnis in vielen Sprachen gelernt hat, könnte sich die Information wie ein Gerücht „ausgebreitet" haben. Selbst wenn die Bibliothekarin das Geheimnis auf Englisch vergisst, könnte sie sich daran immer noch perfekt erinnern, wenn Sie auf Spanisch oder Swahili fragen. Das Geheimnis hat die „Grenze" in andere Sprachen innerhalb des Gehirns der Bibliothekarin überschritten.

Der alte Weg des Testens (Der fehlerhafte Spiegel)

Früher prüften Forscher, ob die Bibliothekarin das Geheimnis vergessen hatte, indem sie nacheinander Fragen in einer einzigen Sprache stellten.

Auf Englisch fragen: „Kennen Sie Veronica?" -> Bibliothekarin: „Nein." (Erfolg!)
Auf Spanisch fragen: „Kennen Sie Veronica?" -> Bibliothekarin: „Ja." (Misserfolg!)

Die alte Methode würde nur die englische Antwort betrachten und erklären: „Großartige Arbeit, das Geheimnis ist weg!" Das Paper sagt, dies sei irreführend. Es ist so, als würde man prüfen, ob ein undichtes Boot trocken ist, indem man nur das Vordek deck betrachtet, während das Heck noch überflutet wird.

Die neue Lösung: Zwei neue „Thermometer"

Um dies zu beheben, entwickelten die Autoren eine neue Art, die Bibliothekarin zu testen, und zwei neue „Thermometer" (Metriken), um zu messen, wie gut das Vergessen tatsächlich über alle Sprachen hinweg funktioniert hat.

1. Der „Knowledge Separability Score" (KSS)

Die Analogie: Stellen Sie sich einen Beutel mit roten Murmeln (das Geheimnis, das Sie vergessen wollen) und blauen Murmeln (sichere Informationen, die Sie behalten wollen) vor.

Das Ziel: Sie wollen, dass die Bibliothekarin die roten Murmeln perfekt von den blauen unterscheiden kann.
Was KSS misst: Es prüft, ob die Bibliothekarin klar zwischen „Dingen, die vergessen werden sollen" und „Dingen, die behalten werden sollen" über alle Sprachen hinweg unterscheiden kann. Wenn die Bibliothekarin verwirrt ist und einige blaue Murmeln für rot hält (sichere Informationen vergessen) oder einige rote Murmeln für blau (das Geheimnis behalten), sinkt die Punktzahl.
Die Erkenntnis des Papers: Sie stellten fest, dass einige Methoden (wie „Pruning", was so ist, als würde man Teile des Gehirns der Bibliothekarin herausschneiden) gut darin waren, die Murmeln im Allgemeinen zu trennen, aber sie waren unordentlich und warfen versehentlich auch einige sichere blaue Murmeln weg.

2. Der „Knowledge Persistence Score" (KPS)

Die Analogie: Dies ist der „Gerücht-Test".

Das Szenario: Sie sagen der Bibliothekarin, sie solle das Geheimnis auf Englisch vergessen.
Der Test: Dann fragen Sie die Bibliothekarin in einer Sprache, die sie nicht verwendet hat, um das Geheimnis zu lernen (eine „Hold-Out"-Sprache).
Was KPS misst: Es misst, wie sehr das Geheimnis in diese neue Sprache „fortbestanden" oder durchgesickert ist. Wenn die Bibliothekarin das Geheimnis immer noch in der neuen Sprache kennt, ist die Punktzahl hoch (was schlecht ist). Wenn sie es überall wirklich vergessen hat, ist die Punktzahl niedrig (was gut ist).
Die Erkenntnis des Papers: Sie entdeckten, dass das Geheimnis oft „fortbestand", selbst wenn die Bibliothekarin das Geheimnis in den Trainingsprachen zu vergessen schien. Das Geheimnis war über die Sprachgrenzen gereist und versteckte sich immer noch dort.

Wie sie das Experiment durchführten

Um dies zu beweisen, verwendeten die Autoren keine echten Geheimnisse von Menschen (was unethisch wäre). Stattdessen bauten sie eine riesige, gefälschte Bibliothek:

Erstellung von 200 gefälschten Personen: Sie erfanden 200 fiktive Charaktere mit erfundenen Namen, Geburtstagen und Hobbys.
Übersetzung von allem: Sie schrieben Fragen und Antworten über diese gefälschten Personen in 10 verschiedenen Sprachen (einschließlich großer Sprachen wie Englisch und Chinesisch sowie kleinerer wie Albanisch und Bengalisch).
Das „Vergessen"-Spiel: Sie trainierten eine KI mit diesen gefälschten Daten und versuchten dann, sie mit verschiedenen Techniken dazu zu bringen, bestimmte Personen zu vergessen.
Der Test: Sie verwendeten ihre zwei neuen Thermometer (KSS und KPS), um zu sehen, ob die KI die gefälschten Personen über alle 10 Sprachen hinweg wirklich vergessen hatte.

Die wichtigsten Erkenntnisse

Sprache ist nicht isoliert: Informationen in einer KI bleiben nicht in einer Sprache. Wenn Sie einer KI ein Geheimnis auf Englisch beibringen, lernt sie es oft automatisch auch auf Spanisch, Französisch und anderen Sprachen.
Alte Tests lügen uns an: Zu prüfen, ob eine KI etwas nur in einer Sprache vergessen hat, reicht nicht aus. Man muss alle Sprachen prüfen, um sicherzustellen, dass das Geheimnis wirklich weg ist.
Die „Hold-Out"-Gefahr: Das Paper fand heraus, dass Geheimnisse oft in Sprachen versteckt sind, für die die KI nicht explizit trainiert wurde, um sie zu vergessen. Selbst wenn Sie das Gedächtnis auf Englisch säubern, kann das „Echo" dieses Geheimnisses immer noch in anderen Sprachen zu hören sein.

Fazit

Das Paper kommt zu dem Schluss, dass wir aufhören müssen, Sprachen als separate Räume zu behandeln, und anfangen müssen, sie als ein großes, verbundenes Haus zu betrachten. Um den Datenschutz in KI wirklich zu schützen, benötigen wir neue Werkzeuge (wie KSS und KPS), die das ganze Haus prüfen und nicht nur einen Raum, um sicherzustellen, dass das Geheimnis tatsächlich verschwunden ist.

Technische Zusammenfassung: Wissen jenseits von Sprachen: Die Überbrückung der Lücke in der Bewertung des mehrsprachigen maschinellen Vergessens

1. Problemstellung

Große Sprachmodelle (LLMs), die auf mehrsprachigen Korpora trainiert wurden, bergen Datenschutzrisiken, was ein mehrsprachiges maschinelles Vergessen (Multilingual Machine Unlearning, MMU) erforderlich macht, um sensible Informationen über mehrere Sprachen hinweg zu entfernen. Während sich die bestehende Forschung zum maschinellen Vergessen (Machine Unlearning, MU) auf englischzentrierte Datensätze konzentriert hat, zeigen neuere Studien, dass das Vergessen in mehrsprachigen Settings durch sprachübergreifende Ausbreitung erschwert wird, bei der in einer Sprache erworbenes Wissen in anderen Sprachen persistiert oder dorthin übertragen wird.

Aktuelle Bewertungsprotokolle für MMU sind unzureichend, da sie:

Sprachen isoliert bewerten: Sie bewerten die Leistung des Vergessens pro Sprache (z. B. ob „Veronica Bowman" im Englischen vergessen wurde), ohne zu überprüfen, ob dasselbe Wissen in anderen Sprachen (z. B. Albanisch oder Afrikaans) weiterhin zugänglich ist.
Die Verteilung nicht erfassen: Sie berücksichtigen nicht, dass Wissen in MMU über Sprachen verteilt ist und sowohl durch direktes Auswendiglernen (Training auf spezifischen Sprachpaaren) als auch durch indirekte sprachübergreifende Ausbreitung erworben wird.
Die Wirksamkeit überschätzen: Ein Modell mag den Anschein erwecken, Informationen in der bewerteten Sprache erfolgreich vergessen zu haben, während die zugrundeliegenden Informationen in einer anderen Sprache weiterhin abrufbar sind, was zu irreführenden Schlussfolgerungen über die Datensicherheit führt.

2. Methodik

Datensatzkonstruktion

Um das Fehlen standardisierter Bewertungsdaten zu adressieren, stellten die Autoren einen groß angelegten mehrsprachigen parallelen Datensatz zusammen:

Umfang: 3.800 synthetische QA-Paare in 10 Sprachen (19 Attribute × 200 Profile).
Sprachen: Umfasst 5 ressourcenstarke Sprachen (Englisch, Chinesisch, Deutsch, Russisch, Spanisch) und 5 ressourcenschwache Sprachen (Bengali, Hebräisch, Tamil, Afrikaans, Albanisch).
Generierungspipeline: Synthetische Profile wurden mit Faker generiert, mittels eines LLMs in englische QA-Paare umgewandelt und in 9 weitere Sprachen übersetzt. Ein Verifikationsprozess durch Rückübersetzung (unter Verwendung von Google Translate und LLMs) stellte die semantische Äquivalenz über alle Sprachen sicher.
Experimentelles Setup: Der Datensatz wurde in Trainings-Sprachen (verwendet für Auswendiglernen und Vergessen) und Hold-out-Sprachen (ausschließlich für die Bewertung verwendet, um sprachübergreifende Ausbreitung zu simulieren) aufgeteilt.

Vorgeschlagene Metriken

Die Arbeit stellt zwei neue Metriken vor, die entwickelt wurden, um die mehrsprachige Natur des Vergessens zu bewerten:

Knowledge Separability Score (KSS) – Wissens-Trennschärfe-Score:
- Zweck: Misst die allgemeine Qualität des Vergessens, indem er zwischen Zielwissen (zu vergessen) und Nicht-Zielwissen (zu behalten) über alle Sprachen hinweg unterscheidet.
- Mechanismus: Er aggregiert einen „Vergessens-Score" ( $S_i$ ) für jede Wissensinstanz über die Sprachen hinweg unter Verwendung sowohl wahrscheinlichkeitbasierter als auch generierungsbasierter (semantische Äquivalenz) Methoden.
- Komponenten:
  - KSS-ROC: Fläche unter der Receiver-Operating-Characteristic-Kurve, misst die allgemeine Trennschärfe zwischen den Mengen zum Vergessen und zum Behalten.
  - KSS-PR: Fläche unter der Precision-Recall-Kurve, adressiert spezifisch das Klassenungleichgewicht, bei dem die Menge zum Vergessen typischerweise viel kleiner ist als die Menge zum Behalten.
Knowledge Persistence Score (KPS) – Wissens-Persistenz-Score:
- Zweck: Quantifiziert das Ausmaß, in dem Zielwissen, das in einer „Basis-Sprache" erfolgreich vergessen wurde, in anderen Sprachen persistiert (weiterhin abrufbar bleibt).
- Mechanismus: Für eine Basis-Sprache $l_1$ und Vergleichssprachen $L_2$ berechnet er den Anteil der Stichproben, bei denen das Modell das Wissen in $l_1$ vergessen hat (Semantische Äquivalenz = 0), es aber in $l_2$ behält (Semantische Äquivalenz = 1).
- Interpretation: Ein niedrigerer KPS deutet auf eine bessere Vergessensleistung hin (weniger sprachübergreifende Persistenz).

Experimentelle Konfiguration

Die Autoren bewerteten verschiedene optimierungsbasierte Vergessensmethoden (Gradient Ascent, GAGDR, GAKLR, NPO) und eine beschneidungsbasierte Methode am Modell Llama3.1-8B-Instruct. Die Experimente wurden unter verschiedenen Verhältnissen der zu vergessenden Mengen (1 %, 3 %, 5 %) durchgeführt und separat für Trainings- und Hold-out-Sprachensätze analysiert.

3. Wichtige Ergebnisse

Schwierigkeit des Vergessens in Hold-out-Sprachen

Leistungsgefälle: Das Vergessen ist in Hold-out-Sprachen (Fall 1) signifikant schwieriger als in Trainings-Sprachen (Fall 2).
Evidenz: Die KSS-ROC-Werte waren für Hold-out-Sprachen durchgängig niedriger (z. B. maximal 0,76 gegenüber 0,99 in Trainings-Sprachen für die beste Methode), was darauf hindeutet, dass die Unterscheidung zwischen Ziel- und Nicht-Zielwissen schwieriger ist, wenn das Wissen durch sprachübergreifende Ausbreitung und nicht durch direktes Training erworben wurde.

Einfluss des Vergessens-Verhältnisses

Verschlechterung: Mit steigendem Vergessens-Verhältnis (von 1 % auf 5 %) verschlechtert sich die Vergessensleistung. Die Grenze zwischen Ziel- und Nicht-Zielwissen wird zunehmend unklar, was es Modellen erschwert, zu unterscheiden, was vergessen werden soll.
Persistenz: Die KPS-Werte stiegen mit höheren Vergessens-Verhältnissen signifikant an, was zeigt, dass größere Mengen zum Vergessen zu einer schwerwiegenderen sprachübergreifenden Persistenz führen.

Methodenspezifische Befunde

Optimierung vs. Beschneidung: Während beschneidungsbasierte Methoden hohe KSS-ROC-Werte erreichten (gute globale Trennschärfe), wiesen sie unverhältnismäßig niedrige KSS-PR-Werte auf. Die Visualisierung der Vergessens-Scores ( $S_i$ ) zeigte, dass die Beschneidung einer signifikanten Menge an Nicht-Zielwissen hohe Vergessens-Scores zuwies, was zu einer Überlappung der Verteilungen führte, die von optimierungsbasierten Methoden vermieden wurde.
Persistenz über Sprachen hinweg: Selbst bei erfolgreichem Vergessen in Trainings-Sprachen persistierte Zielwissen in Hold-out-Sprachen (KPS > 0 für alle Methoden), was das Risiko einer sprachübergreifenden Informationsleckage bestätigt.

4. Wichtige Beiträge

Umfassendes MMU-Szenario: Definition von Wissen in MMU als Instanzen, die über mehrere Sprachen ausgedrückt werden und sowohl durch direktes Auswendiglernen als auch durch sprachübergreifende Ausbreitung erworben wurden.
Großangelegter Datensatz: Erstellung eines 3.800-Instanzen umfassenden mehrsprachigen parallelen QA-Datensatzes über 10 Sprachen mit strenger Qualitätskontrolle.
Neuartige Bewertungsmetriken: Vorschlag von KSS und KPS, um die Vergessensqualität ganzheitlich zu bewerten bzw. die sprachübergreifende Konsistenz zu messen.
Empirische Erkenntnisse: Nachweis, dass bestehende sprachweise Bewertungsprotokolle unzureichend sind und dass die Vergessensleistung zwischen Trainings- und Hold-out-Sprachen signifikant variiert.

5. Bedeutung und Einschränkungen

Bedeutung:
Die Arbeit argumentiert, dass eine zuverlässige MMU-Bewertung Metriken erfordert, die die Unzugänglichkeit von Informationen konsistent über alle Sprachen hinweg verifizieren. Die vorgeschlagenen KSS- und KPS-Metriken bieten ein neues Paradigma für die Bewertung von MMU, indem sie einzigartige Phänomene aufdecken, wie die Schwierigkeit des Vergessens in Hold-out-Sprachen und die spezifischen Fehlermodi beschneidungsbasierter Methoden in mehrsprachigen Settings.

Einschränkungen:

Sprachvielfalt: Die Hold-out-Sprachen waren auf die indogermanische Familie beschränkt (Afrikaans und Spanisch), was die Generalisierbarkeit der Ergebnisse über verschiedene Sprachstrukturen hinweg einschränkt.
Modellgröße: Die Experimente waren aufgrund von Rechenbeschränkungen auf ein 8-Milliarden-Parameter-Modell begrenzt; größere Modelle könnten unterschiedliche Vergessensdynamiken aufweisen.
Metrik-Spektrum: Obwohl KSS und KPS eine wissensbasierte Messung adressieren, erkennen die Autoren das Potenzial für alternative oder diversere Bewertungsmethodologien an.

Die Autoren schließen, dass zukünftige MMU-Forschung mehrsprachige Merkmale explizit berücksichtigen und darauf abzielen muss, Wissen über Sprachen hinweg zu vergessen, anstatt Sprachen als isolierte Entitäten zu behandeln.