🤖 AI

RePAIR: Interactive Machine Unlearning through Prompt-Aware Model Repair

Die Arbeit stellt RePAIR vor, ein interaktives Framework, das es Endnutzern ermöglicht, schädliches Wissen oder persönliche Daten in großen Sprachmodellen durch promptbewusste, trainingsfreie Aktivitätsmanipulation direkt am Gerät zu löschen, ohne dass eine Neuordnung oder Eingriffe des Anbieters erforderlich sind.

Ursprüngliche Autoren: Jagadeesh Rachapudi, Pranav Singh, Ritali Vatsi, Praful Hambarde, Amit Shukla

Veröffentlicht 2026-04-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Jagadeesh Rachapudi, Pranav Singh, Ritali Vatsi, Praful Hambarde, Amit Shukla

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber etwas vergesslichen Assistenten. Dieser Assistent hat in seiner Jugend (dem „Training") das gesamte Internet gelesen. Das ist toll, aber das Internet enthält auch Dinge, die er nicht wissen sollte: private Geheimnisse, falsche Fakten oder gefährliche Anleitungen.

Das Problem bisher: Wenn Sie diesem Assistenten sagen: „Vergiss bitte alles über mich" oder „Das ist falsch, korrigiere es!", kann er das nicht einfach tun. Um ihn zu „reparieren", müsste man ihn komplett neu ausbilden – ein Prozess, der Tage dauert, enorme Rechenleistung kostet und nur vom Hersteller des Assistenten durchgeführt werden kann. Sie als Nutzer haben keine Kontrolle.

Die Forscher von RePAIR haben eine Lösung entwickelt, die wie ein chirurgischer Eingriff in Echtzeit funktioniert. Hier ist die Erklärung, wie das Ganze funktioniert, mit einfachen Bildern:

1. Das neue Konzept: Der Nutzer ist der Chef

Statt auf den Hersteller zu warten, können Sie dem Assistenten jetzt direkt sagen: „Vergiss das!" und er macht es sofort. Das nennen die Autoren Interaktives Maschinelles Vergessen.

2. Die drei Helden des Systems (RePAIR)

Das System besteht aus drei kleinen KI-Modellen, die wie ein Team zusammenarbeiten:

Der Wachhund (Watchdog):
Stellen Sie sich einen Wachhund vor, der dem Gespräch lauscht. Er hört nicht nur zu, sondern erkennt sofort, wenn Sie sagen: „Vergiss bitte meine Adresse" oder „Das ist eine Lüge". Er fängt diesen Moment ein und sagt: „Achtung, hier muss etwas gelöscht werden!"
Der Chirurg (Surgeon):
Sobald der Wachhund Alarm schlägt, kommt der Chirurg ins Spiel. Er ist ein Experte, der genau weiß, wie man die „Gehirnwindungen" (die mathematischen Gewichte) des Assistenten verändert. Er schreibt ein kleines Skript (einen „Reparatur-Code"), das genau beschreibt, wie man den falschen Gedanken entfernt, ohne den Rest des Gehirns zu beschädigen.
Der Patient (Patient):
Das ist Ihr eigentlicher Assistent. Er bekommt den Code vom Chirurgen und führt die Operation sofort durch. Er ändert sich selbst, vergisst das Bestimmte und ist sofort wieder einsatzbereit.

3. Die Magie: STAMP (Die „Gedanken-Umlenkung")

Wie macht der Chirurg das ohne lange Training? Hier kommt die eigentliche Erfindung ins Spiel, genannt STAMP.

Stellen Sie sich das Gehirn des Assistenten als einen riesigen, komplexen Wasserkanal vor. Wenn der Assistent eine falsche Information (z. B. „Maya Taylor wohnt in Berlin") denkt, fließt Wasser in einen bestimmten Kanal.

Das alte Problem: Früher musste man den ganzen Kanal abgraben und neu bauen (Neu-Training), um das Wasser umzuleiten.
Die STAMP-Lösung: Der Chirurg nutzt einen mathematischen Trick (eine Art „Pseudoinverse"), um den Kanal sofort umzuleiten. Er nimmt die Information, die der Assistent gerade denkt, und lenkt sie sanft in einen „Verweigerungs-Kanal" um.
- Das Bild: Statt das Wasser zu stoppen, sagt der Assistent jetzt: „Ich weiß das nicht" oder „Ich kann das nicht sagen".
- Der Clou: Das geht ohne neue Daten zu lernen und ohne den Rest des Wissens zu löschen. Es ist wie ein schneller Schalter, der nur für diesen einen Gedanken umgelegt wird.

4. Warum ist das so besonders?

Sofortige Wirkung: Während andere Methoden Stunden oder Tage brauchen, ist RePAIR in wenigen Minuten fertig. Es ist bis zu 3-mal schneller als die besten bisherigen Methoden.
Einzelne Fälle: Früher musste man oft ganze Listen von Dingen zum Löschen haben. RePAIR kann auch nur einen einzigen Satz vergessen (z. B. nur Ihre Telefonnummer), ohne den Rest zu beeinträchtigen.
Sicher auf dem Handy: Da es so effizient ist, könnte diese Technik in Zukunft sogar direkt auf Ihrem Smartphone laufen, ohne dass Daten in die Cloud geschickt werden müssen.

Zusammenfassung

RePAIR ist wie ein selbstheilender Assistent. Wenn Sie ihm sagen, dass er etwas vergessen soll, erkennt ein Wachhund den Befehl, ein Chirurg schreibt den Reparaturplan, und der Assistent führt die Operation sofort durch. Er vergisst genau das, was Sie wollen, behält aber sein gesamtes anderes Wissen und seine Intelligenz.

Das ist ein großer Schritt hin zu einer KI, die respektvoll mit unseren Daten umgeht und uns die Kontrolle zurückgibt – ganz ohne lange Wartezeiten oder komplizierte Technik.

1. Problemstellung und Motivation

Große Sprachmodelle (LLMs) absorbieren während des Pretrainings auf großen Web-Korpora unvermeidlich schädliches Wissen, Fehlinformationen und persönliche Daten. Bisher existiert kein nativer Mechanismus, um diese Informationen selektiv zu entfernen.

Das etablierte Feld des „Machine Unlearning" (MU) zielt darauf ab, den Einfluss bestimmter Daten aus den Modellgewichten zu entfernen, ohne das gesamte Modell neu zu trainieren. Allerdings haben bestehende Ansätze (wie GA, NPO, RMU) zwei wesentliche strukturelle Mängel:

Provider-zentriert: Sie erfordern den Zugriff auf interne Modellstrukturen, kuratierte Retain-Datensätze (Daten, die behalten werden sollen) und komplexe Trainings-Pipelines.
Ausschluss des Endnutzers: Der Nutzer kann nicht direkt über natürliche Sprache steuern, welche Daten das Modell „vergessen" soll. Dies verstößt gegen das Prinzip der Datenhoheit und regulatorische Anforderungen wie die DSGVO (Recht auf Vergessenwerden).

Das Paper führt das Konzept des Interactive Machine Unlearning (IMU) ein. Ziel ist es, Nutzern zu ermöglichen, LLMs während der Inferenz (Inferenzzeit) durch natürliche Sprache anzuweisen, spezifisches Wissen zu vergessen, ohne dass ein Dienstleister (MSP) eingreifen muss.

Herausforderungen für IMU:

Training-frei: Inferenzumgebungen verfügen oft nicht über Trainingskapazitäten (keine Gradientenberechnung).
Single-Sample: Nutzeranfragen kommen einzeln an; das System muss mit nur einem zu vergessenden Datenpunkt funktionieren.

2. Methodik: Das RePAIR-Framework

Die Autoren schlagen RePAIR (Interactive Machine Unlearning through Prompt-Aware Model Repair) vor, ein Framework, das aus drei Modellen besteht:

Mpatient: Das Basis-LLM, das mit dem Nutzer interagiert.
Mwatchdog: Ein Modell zur Absichtserkennung, das die Dialoghistorie überwacht, um zu erkennen, ob der Nutzer ein „Vergessen" wünscht, und das Ziel-Paar (Prompt, Antwort) extrahiert.
Msurgeon: Ein Modell, das Reparatur-Code generiert, um das Mpatient-Modell zu modifizieren.

Kernkomponente: STAMP

Das Herzstück von RePAIR ist STAMP (Steering Through Activation Manipulation with PseudoInverse), eine trainingsfreie Methode zur Single-Sample-Unlearning.

Prinzip: STAMP lenkt die MLP-Aktivierungen (Multi-Layer Perceptron) des zu vergessenden Beispiels in einen „Verweigerungs-Subraum" (Refusal Subspace). Dies geschieht, indem die Aktivierung so verändert wird, dass das Modell auf die spezifische Anfrage mit „Ich weiß es nicht" oder einer Verweigerung reagiert, anstatt die gespeicherte Information abzurufen.
Technische Umsetzung:
- Es wird ein Referenzvektor (rSV) berechnet, der die Differenz zwischen den Aktivierungen von Verweigerungs-Prompts und den Aktivierungen des zu vergessenden Beispiels darstellt.
- Anstatt Gradientenabstieg zu nutzen, werden die Gewichte des Modells durch eine geschlossene Formel unter Verwendung der Moore-Penrose-Pseudoinversen aktualisiert.
- Die Gleichung lautet: $W_{new} = X^+ \cdot O'$ , wobei $X$ die Eingaben und $O'$ die gewünschten Ausgaben (mit dem Verweigerungsvektor) sind.
STAMP-LR (Low-Rank): Um die hohe rechnerische Komplexität der Pseudoinversen ( $O(d^3)$ ) zu reduzieren, wird eine Low-Rank-Approximation verwendet. Dies senkt die Komplexität auf $O(r^3 + r^2 \cdot d)$ und ermöglicht effizientes Unlearning direkt auf Endgeräten (On-Device) mit bis zu 3-facher Geschwindigkeitssteigerung.

3. Hauptbeiträge

Formalisierung von IMU: Definition eines neuen Problemsettings, das Endnutzern erlaubt, LLMs via natürlicher Sprache zu steuern, ohne Abhängigkeit von Modell-Anbietern.
Entwicklung von STAMP und STAMP-LR: Die ersten trainingsfreien, Single-Sample-Unlearning-Methoden für LLMs, die ausschließlich zur Inferenzzeit arbeiten.
RePAIR-Framework: Ein End-to-End-Lösungsansatz, der Absichtserkennung, Code-Generierung und autonome Modellreparatur integriert.
Umfassende Evaluation: Validierung über drei Aufgabenbereiche mit überlegener Leistung gegenüber sechs State-of-the-Art-Baselines.

4. Ergebnisse und Evaluation

Die Experimente wurden auf dem Modell Llama-3-8B durchgeführt und umfassten drei Szenarien:

Unterdrückung schädlichen Wissens (WMDP-Bio).
Korrektur von Fehlinformationen (MMLU).
Löschung persönlicher Daten (synthetische Biografien).

Wichtige Metriken:

Vergessensleistung (Forget Score): STAMP und STAMP-LR erreichten nahezu perfekte Werte ( $Acc_f = 0.00$ , $F-RL = 0.00$), was bedeutet, dass das Modell die Informationen vollständig nicht mehr abrufen kann.
Erhalt der Nützlichkeit (Utility): Im Gegensatz zu trainingsbasierten Methoden (wie GA oder NPO), die die Modellleistung drastisch verschlechterten, behielt STAMP die Nützlichkeit bei ( $Acc_r$ bis zu 84,47, Perplexity ähnlich dem Oracle-Modell).
Effizienz: Da keine Backpropagation nötig ist, ist STAMP-LR bis zu 3-mal schneller als trainingsbasierte Baselines (z. B. 4,01 Minuten vs. 10+ Minuten für persönliche Datenlöschung).
Single-Sample-Fähigkeit: Während alle trainingsbasierten Baselines bei nur einem zu vergessenden Datensatz versagten ( $Acc_f = 100$ ), gelang es STAMP, das einzelne Beispiel effektiv zu löschen ( $Acc_f = 0.00$ ).

Qualitative Ergebnisse:
Das System erkennt die Absicht des Nutzers korrekt, generiert gültigen Reparaturcode und führt das Modell in einen Zustand über, in dem es auf die spezifische Anfrage konsistent mit einer Verweigerung antwortet, während es auf andere Fragen weiterhin korrekt reagiert.

5. Bedeutung und Ausblick

RePAIR stellt einen Paradigmenwechsel dar: Es verschiebt die Kontrolle über das „Vergessen" von den Modell-Anbietern zurück zu den Endnutzern.

Datenschutz: Es ermöglicht die direkte Umsetzung des „Rechts auf Vergessenwerden" (DSGVO/CCPA) durch den Nutzer selbst.
Praktikabilität: Durch die Trainingsfreiheit und die Effizienz von STAMP-LR wird On-Device-Unlearning realistisch, was für private und lokale Anwendungen entscheidend ist.
Zukunft: Die Autoren sehen Potenzial für die Erweiterung auf multimodale Grundmodelle, sehen aber noch Herausforderungen im Umgang mit Retain-Daten auf Endgeräten (GDPR-Konformität) und Ressourcenbeschränkungen.

Zusammenfassend bietet RePAIR einen effektiven, schnellen und nutzerkontrollierten Mechanismus, um unerwünschte oder schädliche Informationen aus LLMs zu entfernen, ohne die Integrität des restlichen Wissens zu gefährden.