🤖 machine learning

Auditing Forgetting in Limited Memory Language Models

Dieses Paper führt ein kausales Audit-Framework ein, das zeigt, dass bei Limited Memory Language Models die Effektivität des Unlearnings primär durch das Datenbankmanagement als vielmehr durch das Modell selbst bestimmt wird, da gelöschte Fakten selten im parametrischen Gedächtnis fortbestehen, aber möglicherweise durch Retrieval-Artefakte und Nachbarschaftsassoziationen wieder auftauchen.

Ursprüngliche Autoren: Arya Raeesi, Hanna Roed

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arya Raeesi, Hanna Roed

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Die „Bibliothek“ vs. das „Gehirn“

Stellen Sie sich einen Studenten vor, der eine Prüfung ablegt.

Standard-KI-Modelle sind wie ein Student, der das gesamte Lehrbuch auswendig gelernt hat. Wenn man ihm eine Frage stellt, holt er die Antwort aus seinem eigenen Gehirn (den Parametern). Wenn man möchte, dass er eine bestimmte Information (wie ein sensibles Detail) „vergisst“, muss man ihn neu trainieren, was so ist, als müsste er alles vergessen und von vorne anfangen.
Limited Memory Language Models (LMLMs) sind wie ein Student, der sehr gut in Grammatik und Konversation ist, aber ein sehr kleines Gedächtnis hat. Anstatt Fakten auswendig zu lernen, besitzt er eine digitale Bibliothekskarte (eine externe Datenbank). Wenn er einen Fakt benötigt, schlägt er ihn in der Bibliothek nach. Wenn man möchte, dass er etwas vergisst, reißt man einfach diese spezifische Seite aus der Bibliothek heraus.

Die Frage: Wenn man die Seite aus der Bibliothek reißt, vergisst der Student den Fakt dann wirklich? Oder hat er ihn heimlich trotzdem in seinem Gehirn gespeichert? Oder findet er die Antwort in einem anderen Buch in der Nähe?

Das Experiment: Die drei Szenarien

Die Forscher entwickelten ein „kausales Audit“ (einen strengen Test), um zu sehen, was passiert, wenn man einen Fakt löscht. Sie testeten die KI unter drei verschiedenen Bedingungen:

FULL (Die Bibliothek ist offen): Der Fakt ist in der Bibliothek vorhanden und die KI kann ihn nachschlagen.
- Ergebnis: Die KI antwortet korrekt. (Dies ist die Baseline).
DEL-ON (Die Seite ist herausgerissen, Bibliothek ist offen): Sie haben den spezifischen Fakt aus der Bibliothek gelöscht, aber die KI kann immer noch andere Dinge nachschlagen.
- Ergebnis: Beantwortet die KI die Frage immer noch korrekt? Wenn ja, wie? Hat sie aus dem Gedächtnis geraten oder hat sie einen ähnlichen Fakt in der Bibliothek gefunden?
DEL-OFF (Die Seite ist herausgerissen, Bibliothek ist verschlossen): Sie haben den Fakt gelöscht und zusätzlich die Bibliothekstür abgeschlossen, sodass die KI nichts nachschlagen kann.
- Ergebnis: Wenn die KI hier immer noch korrekt antwortet, bedeutet dies, dass der Fakt immer noch in ihrem Gehirn feststeckt (parametrisches Leckage/Leakage).

Die Ergebnisse: Woher kam die Antwort?

Die Forscher führten diesen Test über 12.000 Mal mit verschiedenen Arten von Fakten und Fragen durch. Hier ist, was sie fanden:

1. Das Gehirn ist sauber (Parametrische Leckage ist nahe Null)

Als die Bibliothek verschlossen war (DEL-OFF), gab die KI fast niemals die korrekte Antwort.

Analogie: Stellen Sie sich vor, Sie reißen eine Seite aus einem Buch und schließen dann die Bibliothek ab. Der Student weiß die Antwort nicht.
Bedeutung: Das Modell hat das Wissen erfolgreich „externalisiert“. Es hat den Fakt nicht in seinem Code auswendig gelernt. Das „Vergessen“ innerhalb des Modells selbst funktionierte perfekt.

2. Die Bibliothek ist das Problem (Das Residuum lebt im Graphen)

Wenn die Bibliothek jedoch offen war, aber die Seite fehlte (DEL-ON), lieferte die KI manchmal doch die richtige Antwort.

Analogie: Sie haben die Seite über „Geri Halliwell“ herausgerissen. Aber die KI fand eine andere Seite in der Nähe, auf der stand: „Geri Halliwell ist berühmt für die Spice Girls“ – nur etwas anders formuliert – oder sie sah eine Seite über „Die Spice Girls“ und schlussfolgerte daraus, dass sie berühmt für diese war.
Das „Retrieval Artifact“ (Abruf-Artefakt): Die KI hat nicht erinnert; sie hat die Antwort aus nahegelegenen Hinweisen in der Bibliothek rekonstruiert.

3. Die Struktur der Bibliothek ist entscheidend

Die Forscher bauten verschiedene „Bibliothekslayouts“, um zu testen, wie leicht es war, die Antwort nach dem Herausreißen der Seite zu finden:

Base (Saubere Bibliothek): Es existiert nur eine einzige Seite. Wenn diese herausgerissen wird, ist die Antwort weg. (Niedriges Residuum).
Noise (Unordentliche Bibliothek): Viele verschiedene Seiten führen zum selben Ergebnis (z. B. „US-Präsident“, „Anführer der freien Welt“, „47. Präsident“). Selbst wenn man die Hauptseite löscht, findet die KI eine der „Attrappen-Seiten“ und antwortet korrekt. (Hohes Residuum).
Collision (Verwirrende Bibliothek): Die Seiten sind ähnlich, aber falsch (z. B. „Größte Stadt“ vs. „Hauptstadt“). Die KI wird verwirrt und wählt den falschen Nachbarn.

Die große Entdeckung: Der Grund für das Scheitern beim „Vergessen“ lag nicht im Gehirn der KI. Er wurde durch die Organisation der Datenbank verursacht. Wenn die Datenbank zu viele „Hintertüren“ (Paraphrasen oder ähnliche Fakten) besitzt, kann die KI die Antwort wieder hineinschmuggeln, selbst wenn der Hauptfakt gelöscht wurde.

Das Fazit

Das Paper kommt zu dem Schluss, dass bei dieser Art von KI die Grenze des „Vergessens“ vom Bibliothekar gezogen wird, nicht vom Studenten.

Wenn der Datenbankadministrator eine schlampige Arbeit bei der Löschung von Fakten leistet (indem er „Rauschen“ oder „Aliase“ zurücklässt), wird die KI den Fakt immer noch zu kennen scheinen, weil sie ihn in den Schatten der Bibliothek finden kann.
Wenn die Datenbank sauber und die Löschung gründlich ist, vergisst die KI wirklich.

Kurz gesagt: Das Modell selbst ist gut darin zu vergessen. Das Problem ist, dass die „Bibliothek“, die es zur Speicherung von Fakten nutzt, oft unordentlich ist, und die KI klug genug ist, die Antwort selbst nach dem Löschen der Hauptdatei im Chaos der Bibliothek zu finden. Um eine KI wirklich vergessen zu lassen, muss man die Bibliothek aufräumen, nicht nur das Modell.

Technische Zusammenfassung: Auditierung des Vergessens in LMMs mit begrenztem Speicher (Limited Memory Language Models)

Problemstellung
Limited Memory Language Models (LMLMs) stellen eine hybride Architektur dar, die linguistische Kompetenz (kodiert in den Modellparametern) von faktischem Wissen (gespeichert in einer externen Datenbank) trennt. Dieses Design zielt auf ein „löschungsbasiertes Unlearning“ ab, bei dem das Entfernen von Fakten aus der Datenbank den Zugriff auf diese eliminiert, ohne das Modell neu trainieren zu müssen. Bestehende Evaluierungsmethoden für das Vergessen sind jedoch unzureichend. Sie messen typischerweise die aggregierte Korrektheit vor und nach der Löschung, versäumen es aber, die Mechanismen der Post-Löschungs-Korrektheit zu unterscheiden. Ein Modell könnte dennoch korrekt antworten aufgrund von:

Residualem parametrischem Gedächtnis: Der Fakt bleibt in den Gewichten des Modells kodiert.
Alternativen Retrieval-Pfaden: Der Fakt wird über Aliase, Paraphrasen oder semantisch verwandte Einträge abgerufen, die nicht explizit gelöscht wurden.
Retrieval-Artefakten: Das Modell generiert die korrekte Antwort basierend auf Nahe-Nachbar-Kandidaten, die nicht Gold-äquivalent zum gelöschten Fakt sind.

Aktuelle Metriken können nicht bestimmen, ob Wissen erfolgreich externalisiert wurde oder ob es innerhalb der Modellparameter fortbesteht.

Methodik: Kausales Auditierungs-Framework
Die Autoren schlagen ein kausales Auditierungs-Framework vor, das das Modell fix hält, während der Zustand der Datenbank zum Zeitpunkt der Inferenz variiert wird. Das Framework evaluiert 12.228 Alias-Closure-Löschungen über dreizehn Datenbanken (einschließlich der veröffentlichten LMLM-Datenbank und zwölf benutzerdefinierter Varianten) unter Verwendung von sechs verschiedenen Prompt-Formulierungen.

Das Framework verwendet drei kontrollierte Interventionszustände:

FULL: Die Datenbank ist intakt und der Abruf (Retrieval) ist aktiviert. Dies etabliert die Baseline-Genauigkeit.
DEL-ON: Der Zielfakt (und seine Alias-Äquivalente) wurde aus der Datenbank gelöscht, aber der Abruf bleibt aktiviert. Dies testet die Wiederherstellung über alternative Pfade oder Artefakte.
DEL-OFF: Der Zielfakt wurde gelöscht und der Abruf wurde deaktiviert. Dies isoliert den parametrischen Abruf (Parametric Recall) und zwingt das Modell, ohne externe Evidenz zu antworten.

Schlüsselsmetriken und Dekomposition
Das Framework dekomponiert das Verhalten nach der Löschung in drei distinkte Komponenten:

Parametrisches Leck (Parametric Leakage, $L(f)$ ): Tritt auf, wenn das Modell im DEL-OFF-Zustand korrekt antwortet. Dies deutet darauf hin, dass der gelöschte Fakt in den Modellparametern fortbesteht.
Retrieval-vermittelte Korrektheit (Retrieval-Mediated Correctness, $R(f)$ ): Tritt auf, wenn das Modell im DEL-ON-Zustand korrekt, im DEL-OFF-Zustand jedoch inkorrekt ist. Dies deutet darauf hin, dass die Antwort über den Retrieval-Graphen wiederhergestellt wurde.
Retrieval-Artefakt-Rate (Retrieval Artifact Rate, $A(f)$ ): Tritt auf, wenn das Modell im DEL-ON-Zustand die korrekte Antwort produziert, obwohl kein Gold-äquivalenter Kandidat im Retrieval-Trace vorhanden ist. Dies deutet darauf hin, dass die Antwort aus Nahe-Nachbar-Kandidaten (z. B. paraphrastischen Decoys) rekonstruiert wurde.

Die Autoren konstruieren benutzerdefinierte Datenbank-Varianten, um spezifische Fehlermodi zu testen:

Base: Nur kanonische Tripletts (saubere Baseline).
Alias: Fakten, die nur unter aliasten Formen gespeichert sind (testet die Vollständigkeit der Alias-Closure).
Noise: Decoy-Tripletts mit paraphrastischen Subjekten, die auf dasselbe Objekt verweisen (testet die Rekonstruktion durch Nahe-Nachbarn).
Collision: Near-Miss-Tripletts, die dasselbe Subjekt teilen, aber zu einem anderen Objekt führen (testet die Drift durch verwechselbare Nachbarn).

Wichtige Ergebnisse
Das Audit liefert mehrere kritische Erkenntnisse über 36.684 Modell-Vervollständigungen hinweg:

Nahezu Null parametrisches Leck: Über alle Datenbank-Varianten und Prompt-Stile hinweg ist das parametrische Leck ( $\hat{L}$ ) effektiv null (durchschnittlich 0,11 %). Das Modell gibt in Abwesenheit von Retrieval selten eine gelöschte Antwort zurück. Dies deutet darauf hin, dass für diese Klasse von LMLMs die „Unlearning“-Operation innerhalb der Modellparameter sauber ist; das Modell verhält sich so, als hätte es den Fakt nie gesehen, sobald der Abruf deaktiviert ist.
Residuals leben im Retrieval-Graphen: Die überlebende Korrektheit nach der Löschung ist fast vollständig auf den Retrieval-Graphen zurückzuführen, nicht auf das Modell. Die Rate der Retrieval-vermittelten Korrektheit ( $R(f)$ ) entspricht der Retrieval-Artefakt-Rate ( $A(f)$ ) innerhalb der Rundungsfehler über alle Varianten hinweg. Dies bestätigt, dass die Korrektheit nach der Löschung primär durch die Rekonstruktion aus Nahe-Nachbar-Retrievals entsteht und nicht durch Erinnerung.
Datenbank-Topologie steuert Residuals: Die Größenordnung des Residuals (der Prozentsatz der gelöschten Fakten, die überleben) wird durch die Topologie der Datenbank bestimmt, nicht durch die Modellarchitektur oder den Prompt-Stil.
- Base: ~3,7 % Residual.
- Alias: ~6,2 % Residual.
- Collision: ~7,2 % Residual.
- Noise: ~13,6 % Residual (der Worst Case, in dem paraphrastische Decoys das Retrieval ermöglichen, die Antwort wiederherzustellen).
- Veröffentlichte LMLM-Datenbank: ~0,7 % Residual.
Einfluss der Prompt-Formulierung: Während der Prompt-Stil die Baseline (FULL)-Genauigkeit signifikant beeinflusst (zwischen ~17 % und ~57 % F1), hat er kaum eine unabhängige Kontrolle über das Post-Löschungs-Residual. Sobald die unterstützenden Belege entfernt sind, wird die Überlebensrate eines Faktes durch die Struktur des Retrieval-Graphen diktiert, nicht durch die Oberflächenform der Frage.

Bedeutung und Behauptungen
Das Paper behauptet, dass der primäre Beitrag eine Dekomposition des Vergessensverhaltens ist und nicht eine einzelne aggregierte Metrik. Durch die Isolierung des parametrischen Abrufs vom Retrieval-seitigen Korrektheitsgrad zeigt das Audit:

Die „Unlearning-Grenze“ in dieser Klasse von LMLMs wird primär durch den Datenbankadministrator gezogen, nicht durch das Modell.
Standardmäßige Löschverfahren, die nur kanonische und Alias-äquivalente Tripletts entfernen, sind unzureichend, wenn der Retrieval-Graph paraphrastische Decoys enthält (wie in der „Noise“-Variante gesehen).
Die beobachtete Residual-Korrektheit in früheren Studien (z. B. der ursprünglichen LMLM-Studie) ist wahrscheinlich eine Eigenschaft des spezifischen Retrieval-Graphen (der benign war) und kein Versagen des Modells beim Vergessen.

Die Autoren kommen zu dem Schluss, dass für ein effektives Unlearning in LMLMs die Governance über die Entität-Aliase hinausgehen und die Topologie des Retrieval-Graphen einschließen muss, um sicherzustellen, dass auch paraphrastische Wege zu sensiblen Informationen zum Zeitpunkt der Löschung geschlossen werden. Das Paper behauptet nicht, dass LMLMs universell perfekt beim Unlearning sind, sondern dass ihre Fehlermodi struktureller Natur bezüglich des Datenbankdesigns sind und nicht inhärent an das parametrische Gedächtnis des Modells gebunden sind.