💬 NLP

Less is More: Geometric Unlearning for LLMs with Minimal Data Disclosure

Dieser Beitrag stellt Geometric Unlearning (GU) vor, eine neuartige Methode, die spezifische Inhalte aus großen Sprachmodellen ohne Zugriff auf die ursprünglichen Trainingsdaten entfernt, indem Prompt-Zeit-Planungszustände auf eine kompakte, sichere Geometrie projiziert werden, die aus minimalen Referenzprompts destilliert wurde, wodurch eine starke Unterdrückung des Ziels bei gleichzeitiger Wahrung der allgemeinen Nutzbarkeit erreicht wird.

Ursprüngliche Autoren: Chenchen Tan, Xinghao Li, Shujie Cui, Youyang Qu, Cunjian Chen, Longxiang Gao

Veröffentlicht 2026-05-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chenchen Tan, Xinghao Li, Shujie Cui, Youyang Qu, Cunjian Chen, Longxiang Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine sehr kluge, gut informierte Bibliothekarin (das Large Language Model, oder LLM), die Millionen von Büchern auswendig gelernt hat. Eines Tages bittet ein Nutzer die Bibliothekarin, eine bestimmte Person oder ein Thema zu „vergessen" – vielleicht, weil diese Person die Löschung ihrer Daten beantragt hat oder weil die Informationen sensibel sind.

Das Problem mit aktuellen Methoden
Normalerweise müssen Sie, um die Bibliothekarin etwas vergessen zu lassen, zu den ursprünglichen Bibliotheksarchiven (den Trainingsdaten) zurückkehren, jedes einzelne Buch finden, das diese Person erwähnt, und diese Seiten physisch herausreißen oder die Bücher umschreiben.

Der Haken: In der realen Welt haben Dienstleister oft aufgrund von Datenschutzgesetzen oder Lizenzvereinbarungen keinen Zugriff auf diese ursprünglichen Archive. Selbst wenn sie Zugang haben, birgt das Durchsuchen nach sensiblen Informationen das Risiko, diese privaten Daten erneut offenzulegen.
Die Nebenwirkung: Wenn Sie versuchen, Seiten aus einer Bibliothek herauszureißen, beschädigen Sie oft versehentlich die Regale oder lassen die Bibliothekarin auch vergessen, wie man über andere Dinge spricht.

Die neue Lösung: „Geometrisches Vergessen" (Geometric Unlearning, GU)
Dieser Artikel schlägt einen cleveren Trick namens Geometrisches Vergessen vor. Anstatt zu den Bibliotheksarchiven zurückzukehren, verändert es, wie die Bibliothekarin über ein bestimmtes Thema denkt, genau in dem Moment, in dem sie eine Frage gestellt bekommt.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „Sicherheitszone"-Karte (Die Geometrie)

Stellen Sie sich das Gehirn der Bibliothekarin als eine riesige 3D-Karte vor, auf der jeder Gedanke einen spezifischen Ort hat.

Normale Gedanken: Wenn die Bibliothekarin über „Kochen" nachdenkt, geht sie zum „Küchen"-Ort auf der Karte. Wenn sie über „Geschichte" nachdenkt, geht sie zum „Museum"-Ort.
Der „Vergessen"-Ort: Die Forscher zeigen der Bibliothekarin zunächst einige sichere Beispiele dafür, wie man sagt: „Ich weiß es nicht" oder „Ich kann darüber nicht sprechen". Sie kartieren genau, wo diese „sicheren Ablehnungs"-Gedanken im 3D-Raum des Gehirns leben. Nennen wir dies die „Sicherheitszone".

2. Der „Anker"-Trick (Minimale Daten)

Anstatt Tausende von Büchern zu benötigen, um die Bibliothekarin das Vergessen zu lehren, benötigen sie nur wenige „Anker".

Ein Anker ist einfach der Name der Person oder des Themas, das vergessen werden soll (z. B. „Max Mustermann").
Die Forscher erstellen einige gefälschte, erfundene Sätze (synthetische Prompts), die „Max Mustermann" in verschiedenen Kontexten enthalten (z. B. „Schreibe eine Geschichte über Max Mustermann", „Was ist Max Mustermanns Lieblingsfarbe?").
Sie benötigen nicht die echten Bücher; sie brauchen nur diese wenigen erfundenen Sätze, um das Gehirn der Bibliothekarin auszulösen.

3. Der „magnetische Zug" (Das Vergessen)

Wenn die Bibliothekarin einen dieser „Anker"-Sätze sieht, beginnt ihr Gehirn, einen Gedankenplan zu schmieden.

Der alte Weg: Die Bibliothekarin würde planen, die Frage normal zu beantworten.
Der GU-Weg: Das System wirkt wie ein Magnet. Sobald die Bibliothekarin anfängt, über „Max Mustermann" nachzudenken, zieht das System ihren Denkprozess sanft vom „Antwort"-Ort weg und drückt ihn in die „Sicherheitszone" (den „Ich weiß es nicht"-Ort).
Es löscht nicht das Gedächtnis; es trainiert die Bibliothekarin einfach, ihren Denkprozess sofort in Richtung „Unsicherheit" zu lenken, sobald dieser spezifische Name auftaucht.

4. Den Rest intakt halten (Das Sicherheitsnetz)

Eine große Sorge ist, dass, wenn Sie die Bibliothekarin dazu bringen, „Max Mustermann" zu vergessen, sie möglicherweise auch beginnt, „Erika Musterfrau" zu vergessen oder wie man Abendessen kocht.

Um dies zu verhindern, verwendet das System einen „eingefrorenen Lehrer". Stellen Sie sich eine zweite, perfekte Bibliothekarin vor, die neben der trainierten steht.
Wann immer die auszubildende Bibliothekarin über etwas anderes spricht (nicht über „Max Mustermann"), prüft das System: „Entspricht Ihre Antwort noch dem perfekten Lehrer?" Wenn die Auszubildende beginnt abzudriften, stößt das System sie sanft zurück zum Stil des Lehrers. Dies stellt sicher, dass die Bibliothekarin über alles außer dem spezifischen Ding, das sie vergessen sollte, klug bleibt.

Die Ergebnisse: „Weniger ist mehr"
Der Artikel testete dies an zwei wichtigen Benchmarks (ToFU und UnlearnPII) und fand heraus:

Es funktioniert ohne die ursprüngliche Bibliothek: Sie benötigten nicht den riesigen ursprünglichen Datensatz. Nur ein paar erfundene Sätze reichten aus.
Es ist präzise: Die Bibliothekarin hörte erfolgreich auf, über das Zieltthema zu sprechen (oft mit „Ich bin mir nicht sicher" oder einer Verweigerung der Antwort), ohne „kaputt" zu gehen oder zu vergessen, wie man andere Fragen beantwortet.
Es ist sicherer: Da sie die ursprünglichen privaten Daten nicht berühren mussten, um das Vergessen durchzuführen, bestand kein Risiko, diese Daten während des Prozesses versehentlich offenzulegen.

Zusammenfassung:
Anstatt zu versuchen, ein spezifisches Gedächtnis aus einer riesigen Datenbank zu löschen (was schwierig und riskant ist), lehrt diese Methode die KI, einen spezifischen Auslöser (den „Anker") sofort zu erkennen und ihren internen „Planungsmodus" sofort in einen „sicheren/unsicheren" Zustand umzuschalten. Es ist, als würde man einem Wächter beibringen, sofort eine bestimmte Tür zu verschließen, sobald ein bestimmter Schlüssel gezeigt wird, ohne die gesamte Burg neu bauen zu müssen.

Technische Zusammenfassung: Geometrisches Vergessen für LLMs mit minimaler Datenoffenlegung

Problemstellung

Da Large Language Models (LLMs) in realen Systemen eingesetzt werden, sehen sie sich zunehmend regulatorischen und governancebedingten Einschränkungen ausgesetzt, die die nachträgliche Entfernung spezifischer Inhalte (z. B. personenbezogener Daten, sensibler Themen) unter Wahrung der allgemeinen Nutzbarkeit erfordern. Dies wird als selektives Vergessen bezeichnet.

Bestehende Ansätze verlassen sich typischerweise auf datengetriebene Pipelines, die Zugriff auf das ursprüngliche Trainingskorpus erfordern. Diese Methoden lassen sich im Allgemeinen in zwei Kategorien einteilen:

Output-Level-Ablehnungstuning: Hervorrufen von Ablehnungen oder nicht übereinstimmenden Antworten durch Prompt-Engineering oder Eingriffe zur Inferenzzeit.
Parameter-Updates: Verwendung gradientenbasierter Verfahren auf ausgewiesenen „Vergessens"- und „Behaltens"-Datensätzen.

Diese Strategien stehen jedoch vor einer kritischen Spannung: Sie erfordern oft Zugriff auf die ursprünglichen Trainingsdaten (die aufgrund von Datenschutz-, Lizenzierungs- oder Governance-Beschränkungen möglicherweise nicht verfügbar sind) und bergen das Risiko einer erneuten Offenlegung sensibler Daten während des Vergessensprozesses. Darüber hinaus ist die Abhängigkeit von großen, verteilungsgematchten Behaltensströmen, um eine Kollateralschädigung zu verhindern, in eingesetzten Umgebungen oft unpraktisch. Die Arbeit postuliert die Notwendigkeit eines korpusfreien selektiven Vergessens, das eine starke Unterdrückung von Zielen mit minimaler Datenoffenlegung erreicht.

Methodik: Geometrisches Vergessen (Geometric Unlearning, GU)

Die Autoren schlagen Geometrisches Vergessen (GU) vor, einen Ansatz auf Repräsentationsebene, der direkt auf den Planungszuständen zur Prompt-Zeit des Modells operiert, ohne auf das ursprüngliche Trainingskorpus zugreifen zu müssen. Die Methode basiert auf der Beobachtung, dass die versteckten Repräsentationen von LLMs in der Prompt-Phase linear decodierbare Signale kodieren, die Eigenschaften von Antworten vorhersagen, und dass hochsemantische Faktoren oft in niedrigdimensionalen linearen Unterräumen strukturiert sind.

GU durchläuft drei Kernphasen:

1. Konstruktion der Ziel-Planungsgeometrie

Anstatt das ursprüngliche Trainingsdaten zu verwenden, definiert GU eine kleine Menge sicherer Referenzprompts ( $D_{ref}$ ), die so gestaltet sind, dass sie erwünschte sichere Verhaltensweisen hervorrufen (z. B. Ablehnungsvorlagen oder Antworten wie „Ich weiß es nicht").

Das Modell verarbeitet diese Prompts, um versteckte Zustände zur Prompt-Zeit ( $h^{pr}_{\ell}$ ) in bestimmten Schichten zu extrahieren.
Ein niedrigrangiger Unterraum (die „sichere Planungsgeometrie") wird mittels PCA auf diesen zentrierten Aktivierungen geschätzt.
Ein orthogonaler Projektor $P_{\ell}$ wird berechnet, um Vektoren auf diesen sicheren Unterraum abzubilden, während $P^{\perp}_{\ell}$ auf das orthogonale Komplement projiziert. Diese Puffer werden vorab berechnet und eingefroren.

2. Anker-konditionierte virtuelle Prompts

Um einen vollständigen Vergessensdatensatz zu vermeiden, generiert GU einen kompakten virtuellen Prompt-Satz ( $D_{virt}$ ) unter Verwendung von Ankerpunkten (z. B. die spezifische Entität oder das Thema, das vergessen werden soll).

Anker werden in diverse kontextuelle Vorlagen (biografisch, instruktiv, vergleichend usw.) eingefügt, um synthetische Prompts zu erstellen.
Für jeden Prompt wird ein lokales Fenster von Tokens um das Vorkommen des Ankers herum identifiziert.
Das Modell verarbeitet diese Prompts, um versteckte Zustände innerhalb dieses Fensters zu sammeln.

3. Geometrische Ausrichtung und Stabilisierung

Das Modell wird feinabgestimmt, um die versteckten Zustände der virtuellen Prompts mit der eingefrorenen sicheren Geometrie auszurichten und gleichzeitig die Nicht-Ziel-Nutzbarkeit zu bewahren.

Kern-Vergessensziel: Für jeden Anker-Treffer wird der fensteraggregierte versteckte Zustand in Komponenten innerhalb des Unterraums und außerhalb des Unterraums zerlegt. Die Verlustfunktion ( $L_{core}$ $L_{cor e}$ ) besteht aus:
- Schwerpunkt-Zug ( $L_{cent}$ ): Minimierung des Abstands des Zustands vom Referenzmittelwert.
- Rückfaltungs-Einschränkung ( $L_{fold}$ ): Bestrafung der Energie der residualen Komponente, die orthogonal zum sicheren Unterraum steht. Dies wird erreicht, indem der Zustand über den Unterraum reflektiert und die kosinusähnliche Dissimilarität minimiert wird, wodurch der Zustand effektiv innerhalb des sicheren Mannigfaltigkeitsraums gehalten wird.
Stabilisierung der Behaltensseite: Um eine Kollateraldrift (Verschlechterung des Nicht-Zielwissens) zu verhindern, setzt die Methode ein eingefrorenes Lehrermodell ein (initialisiert aus demselben Checkpoint).
- Background-Keep-Verlust: Richtet die Ausgabe des Schülers auf Nicht-Fenster-Tokens von Zielprompts mit dem Lehrer aus.
- Synthetische Behaltens-Distillation: Richtet den Schüler mit dem Lehrer auf einem separaten synthetischen Pool von Nicht-Ziel-Prompts aus (einschließlich verwirrender Namen, um eine Überverallgemeinerung zu verhindern).

Hauptbeiträge

Korpusfreier Rahmen: GU eliminiert die Notwendigkeit des Zugriffs auf das ursprüngliche Pretraining-Korpus oder große Behaltensdatensätze und adressiert damit eine primäre Barriere für den praktischen Einsatz.
Intervention auf Repräsentationsebene: Anstatt die Ausgabewahrscheinlichkeiten oder Gewichte direkt durch Gradientenabstieg auf Daten zu modifizieren, manipuliert GU die gerichtete Struktur der versteckten Planungszustände, um einen „unscharfen" oder unsicheren Zustand für Zielthemen herbeizuführen.
Dateneffizienz: Die Methode erreicht ein effektives Vergessen unter Verwendung nur eines minimalen Satzes synthetischer Prompts, die aus Ankern generiert werden, sowie eines kleinen Satzes sicherer Referenzprompts.
Geometrische Regularisierung: Die Einführung von Rückfaltungs-Einschränkung und orthogonaler Projektion bietet einen mathematisch fundierten Mechanismus, um Repräsentationen in einen sicheren Unterraum zu steuern, während orthogonaler Inhalt erhalten bleibt.

Experimentelle Ergebnisse

Die Autoren bewerteten GU an zwei datenschutzorientierten Benchmarks: ToFU (faktisches Vergessen) und UnlearnPII (Vergessen personenbezogener Informationen), unter Verwendung der Modelle LLaMA-2-7B und LLaMA-3.2-1B.

Wirksamkeit des Vergessens: GU erzielte eine starke Unterdrückung von Zielen (geringe Extraktionsstärke und Forget-ROUGE), die mit gradientenbasierten Baselines wie GA und GradDiff vergleichbar war oder diese übertraf.
Erhaltung der Nutzbarkeit: GU behielt eine hohe Modellnutzbarkeit bei Nicht-Ziel-Aufgaben bei und übertraf Methoden, die „leere" oder „Kauderwelsch"-Ausgaben hervorriefen.
Datenschutzrisiko: Bei Membership-Inference-Angriffen (MIAs) reduzierte GU das Datenschutzrisiko (gemessen durch Abweichung vom Zufalls-AUC) auf nahezu Null, was darauf hindeutet, dass vergessene Daten von Nicht-Trainingsdaten nicht mehr zu unterscheiden waren.
Ausgabecharakteristika: Im Gegensatz zu Baselines, die oft „Ersatz"- (unzusammenhängende) Antworten oder „leere" Antworten produzieren, erzeugte GU konsistent Ablehnungs-artige Ausgaben (z. B. „Ich bin mir nicht sicher"), was ein strukturierteres und sicherheitskonformes Vergessensverhalten darstellt.
Ablationsstudien:
- Probenbudget: 20–30 synthetische Proben pro Anker boten das optimale Gleichgewicht zwischen Vergessensstärke und Erhaltung der Nutzbarkeit.
- Schichtauswahl: Die Ausrichtung der letzten ein oder zwei Schichten ergab den besten Kompromiss, da Planungszustände in späten Schichten am direktesten mit der Generierungsrichtlinie gekoppelt sind.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass effektives Vergessen mit minimaler Offenlegung synthetischer Daten erreicht werden kann, was ein „Weniger ist Mehr"-Paradigma unterstützt. Durch die Operation auf der geometrischen Struktur der Planungszustände zur Prompt-Zit umgeht GU die Notwendigkeit, sensible Trainingsdaten erneut offenzulegen.

Die Autoren betonen, dass GU zwar bei standardisierten, auf Extrahierbarkeit basierenden Evaluierungen eine starke Leistung erzielt, es jedoch am effektivsten ist, wenn Ziele zuverlässig durch Anker ausgelöst werden. Sie erkennen Einschränkungen hinsichtlich Aliasen, mehrsprachiger Varianten und indirekter Erwähnungen an und stellen fest, dass die Methode keine vollständige repräsentative Auslöschung unter stärkeren White-Box-Audits zertifiziert. Dennoch zeigt die Arbeit, dass die Steuerung einer kleinen Menge von Planungszuständen zur Prompt-Zit durch geometrische Ausrichtung eine praktikable und effiziente Strategie für selektives Vergessen in eingeschränkten, datenschutzsensiblen Umgebungen darstellt.