💻 computer science

CURE:Circuit-Aware Unlearning for LLM-based Recommendation

Die Arbeit stellt CURE vor, einen circuit-bewussten Unlearning-Rahmen für LLM-basierte Empfehlungssysteme, der durch die Zerlegung des Modells in funktionale Teilschaltungen und deren selektive Aktualisierung Gradientenkonflikte auflöst, um sowohl einen effektiven Datenschutz als auch die Beibehaltung der Modellnützlichkeit zu gewährleisten.

Ursprüngliche Autoren: Ziheng Chen, Jiali Cheng, Zezhong Fan, Hadi Amiri, Yunzhi Yao, Xiangguo Sun, Yang Zhang

Veröffentlicht 2026-04-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ziheng Chen, Jiali Cheng, Zezhong Fan, Hadi Amiri, Yunzhi Yao, Xiangguo Sun, Yang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Vergessens-Dilemma" bei KI-Empfehlungen

Stell dir vor, du hast einen sehr klugen, aber etwas sturen Butler (eine KI), der dir jeden Tag Filme oder Bücher empfiehlt. Er kennt deine Vorlieben perfekt, weil er sich all deine bisherigen Klicks und Käufe gemerkt hat.

Aber plötzlich möchtest du, dass er einen bestimmten Film (oder eine bestimmte Person) komplett vergisst. Vielleicht warst du in einer schlechten Stimmung, als du ihn gekauft hast, oder du hast Angst um deine Privatsphäre.

Das Problem ist: Wenn du dem Butler sagst: „Vergiss diesen Film!", passiert oft eines von zwei Dingen:

Er vergisst es nicht richtig: Er empfiehlt dir den Film trotzdem weiter, weil er zu tief in seinem Gedächtnis verankert ist.
Er vergisst zu viel: In seinem Versuch, den einen Film zu löschen, vergisst er plötzlich auch, dass du andere Filme magst. Er wird verwirrt und empfiehlt dir Dinge, die du gar nicht magst.

Bisherige Methoden waren wie ein „Gießkannen-Prinzip": Sie haben versucht, das gesamte Gehirn des Butlers gleichzeitig zu beschneiden. Das führt zu Konflikten im Gehirn der KI (sogenannte „Gradienten-Konflikte"), bei denen die Befehle „Vergiss das!" und „Behalte das!" gegeneinander arbeiten. Das Ergebnis ist ein instabiler Butler.

Die Lösung: CURE – Der „Chirurgische" Ansatz

Die Forscher haben eine neue Methode namens CURE entwickelt. Das Besondere daran ist, dass sie nicht mehr blindlings das ganze Gehirn der KI bearbeiten, sondern genau wissen, welche Nervenbahnen für welche Aufgabe zuständig sind.

Stell dir die KI nicht als einen großen, undurchsichtigen Block vor, sondern als eine riesige Stadt mit vielen verschiedenen Straßen (Schaltkreisen).

1. Die Landkarte zeichnen (Circuit Discovery)

Bevor CURE etwas löscht, macht es eine detaillierte Landkarte der KI. Es fragt sich: „Welche spezifischen Straßen in dieser Stadt werden benutzt, wenn der Butler über den Film X spricht?" und „Welche Straßen werden benutzt, wenn er über Film Y spricht?"

Die Analogie: Stell dir vor, du möchtest den Verkehr auf einer bestimmten Straße (den Film X) stoppen. Früher hätte man die ganze Stadt gesperrt. CURE schaut sich aber genau an: „Ah, nur die Straße A und die Brücke B führen zu diesem Ziel. Die Straße C ist für ganz andere Ziele da."

2. Die Entmischung (Disentangling)

CURE teilt die Straßen der KI in drei Gruppen ein:

Die „Vergessens-Straßen": Diese werden nur benutzt, um den Film X zu empfehlen. Diese werden jetzt gezielt „gesperrt" oder umgebaut.
Die „Behaltens-Straßen": Diese sind wichtig für deine anderen Lieblingsfilme. Diese werden gar nicht angefasst, damit der Butler seine anderen Fähigkeiten behält.
Die „Gemeinsamen Straßen": Diese werden für beides benutzt. Hier ist es tricky. CURE nutzt eine clevere Technik (wie einen Verkehrsregler), um sicherzustellen, dass die Arbeiten an den „Vergessens-Straßen" nicht die „Behaltens-Straßen" blockieren.

3. Die Operation (Selective Updating)

Anstatt das ganze Gehirn der KI neu zu trainieren (was ewig dauert und teuer ist), führt CURE eine chirurgische Operation durch. Es ändert nur die Parameter (die Einstellungen) in den spezifischen Teilen der KI, die für den zu vergessenden Film zuständig sind.

Warum ist das so gut? (Die Vorteile)

Präzision: Es ist wie das Entfernen eines einzelnen Flecks von einem weißen T-Shirt, ohne das ganze T-Shirt in Bleichmittel zu tauchen. Der Rest bleibt sauber und weiß.
Geschwindigkeit: Weil die KI nicht komplett neu lernen muss, ist der Prozess 3,5-mal schneller als die bisherigen besten Methoden.
Transparenz: Man kann genau sehen, was geändert wurde. Es ist kein „Zaubern" mehr im Dunkeln, sondern eine nachvollziehbare Reparatur.

Zusammenfassung in einem Satz

CURE ist wie ein hochspezialisiertes Team von KI-Chirurgen, das statt den ganzen Patienten zu betäuben und neu zu formen, nur die winzigen, schuldigen Nervenenden findet und repariert, damit die KI ein bestimmtes Geheimnis vergisst, ohne dabei ihre Intelligenz zu verlieren.

Das Ergebnis: Eine KI, die deine Privatsphäre respektiert, aber trotzdem super gute Empfehlungen gibt – und das alles viel schneller als bisher möglich war.

1. Problemstellung

Die Integration von Large Language Models (LLMs) in Empfehlungssysteme (LLMRec) bietet zwar verbesserte semantische Verständnisfähigkeiten, wirft jedoch erhebliche Datenschutzbedenken auf. Wenn sensible Benutzerdaten (z. B. Kaufhistorie) in ein vortrainiertes Modell integriert werden, ist deren spätere Entfernung („Unlearning") aufgrund strenger Datenschutzvorschriften (wie der DSGVO) zwingend erforderlich.

Bestehende Unlearning-Methoden für LLMRec leiden unter zwei Hauptproblemen:

Gradientenkonflikte: Die meisten Ansätze formulieren das Unlearning als gewichtete Summe aus einem „Vergessens"-Ziel (Entfernung der Daten) und einem „Behaltens"-Ziel (Erhalt der Modellnützlichkeit). Da diese Ziele oft entgegengesetzte Gradientenrichtungen aufweisen, kommt es zu instabiler Optimierung. Das Ergebnis ist entweder unzureichendes Vergessen oder ein drastischer Verlust der Modellleistung.
Black-Box-Charakter: Herkömmliche Methoden aktualisieren Modellparameter global und ohne Transparenz darüber, welche internen Module (z. B. Attention-Heads oder MLPs) für die zu vergessenden Informationen verantwortlich sind. Dies untergräbt die Nachvollziehbarkeit und das Vertrauen in den Prozess.

2. Methodik: CURE Framework

CURE (Circuit-Aware Unlearning) ist ein zweistufiges Framework, das mechanistische Interpretierbarkeit nutzt, um das Modell in funktional unterschiedliche Teilmengen zu zerlegen und diese selektiv zu aktualisieren. Ein „Circuit" (Schaltung) wird hier als ein berechnender Subgraph definiert, der kausal für spezifische Verhaltensweisen des Modells verantwortlich ist.

Schritt 1: Lokalisierung von Circuits (Circuit Extraction)
Ziel ist es, die internen Rechenpfade zu identifizieren, die für die Vorhersage von vergessenen (Forget) und behaltenden (Retain) Datensätzen verantwortlich sind.

Modellierung: Das LLM wird als gerichteter azyklischer Graph (DAG) dargestellt, wobei Attention-Heads und MLP-Module Knoten sind.
Methoden zur Identifikation:
- Activation Intervention: Eine effiziente, grobe Schätzung durch Maskierung von Nachrichten zwischen Knoten (unter Verwendung von Taylor-Approximation).
- Activation Patching: Eine präzisere Methode, die kontrastierende Eingaben nutzt. Um korrupte Eingaben ( $x^*$ ) für LLMRec zu erstellen (eine Herausforderung aufgrund langer Eingabehistorie), nutzt CURE den Benutzer-Item-Graphen. Es identifiziert den einflussreichsten Item in der Historie mittels Personalized PageRank (PPR) und ersetzt diesen durch einen schwach verwandten Item, um einen Gegenbeispiel-Eingabesatz zu erzeugen.
Ergebnis: Es werden spezifische Circuits ( $C_f$ für Forget, $C_r$ für Retain) extrahiert.

Schritt 2: Selektive Circuit-Aktualisierung (Selective Updating)
Basierend auf den extrahierten Circuits werden die Neuronen in drei funktionale Gruppen kategorisiert und mit spezifischen Update-Regeln behandelt, um Gradientenkonflikte zu minimieren:

Forget-Spezifische Neuronen ( $\Theta_f$ ): Neuronen, die nur im Forget-Circuit vorkommen ( $C_f \cap C_r^c$ ). Sie werden nur basierend auf der Verlustfunktion für das Vergessen ( $L_F$ ) aktualisiert.
Retain-spezifische Neuronen ( $\Theta_r$ ): Neuronen, die nur im Retain-Circuit vorkommen ( $C_r \cap C_f^c$ ). Sie werden nur basierend auf der Verlustfunktion für das Behalten ( $L_R$ ) aktualisiert.
Gemeinsame Neuronen ( $\Theta_{sh}$ ): Neuronen, die in beiden Circuits vorkommen ( $C_f \cap C_r$ ). Hier werden Gradientenkonflikte durch eine projektionsbasierte Strategie gelöst. Wenn die Gradienten der beiden Ziele entgegengesetzt sind, wird der Gradient des einen Ziels auf den Normalraum des anderen projiziert, um destruktive Komponenten zu entfernen.

Der Unlearning-Prozess nutzt eine Teacher-Student-Architektur, wobei der Teacher (Originalmodell) eingefroren ist und nur der Student (Unlearned Model) aktualisiert wird.

3. Hauptbeiträge

Motivation & Perspektive: Einführung einer „circuit-aware"-Perspektive, die Gradientenkonflikte durch die Entflechtung von Schaltungen transparent macht.
Neue Methode: Entwicklung eines rahmengebenden Ansatzes, der Circuits identifiziert und Module basierend auf ihrer Funktion selektiv aktualisiert. Der Ansatz ist modellagnostisch und auf verschiedene LLM-Backbones anwendbar.
Theoretische Analyse: Ein Beweis, dass ein einzelner Gradienten-Schritt von CURE zu einem niedrigeren Gesamtverlust führt als herkömmliches Gradientenabstiegsverfahren, unter der Annahme kleiner Lernraten.
Leistung: Deutliche Verbesserungen gegenüber dem State-of-the-Art (SOTA).

4. Ergebnisse

Die Methode wurde auf den Datensätzen MovieLens-1M und GoodReads mit den Backbones GPT-2 und Llama-2 (7B) evaluiert.

Effektivität des Unlearnings: CURE erreicht die niedrigste Divergenz (Jensen-Shannon Divergence, JSD) im Vergleich zu einem neu trainierten Modell (Gold-Standard), was bedeutet, dass die Daten effektiver entfernt wurden als bei anderen Methoden (z. B. E2URec, ROME, WISE).
Erhalt der Nützlichkeit (Utility): CURE behält die Empfehlungsgenauigkeit (AUC, Accuracy) fast auf dem Niveau eines vollständig neu trainierten Modells bei, während andere Methoden oft starke Einbußen erleiden.
Effizienz: CURE ist signifikant schneller als retraining-basierte Ansätze. Im Vergleich zum Baseline E2URec ist CURE-AI 3,5-mal schneller.
Gradientenkonflikte: Die Analyse zeigt, dass CURE die Anzahl stark konfliktärer Gradientenpaare um mindestens 55 % bis zu 76 % reduziert, was zu einer stabileren Optimierung führt.

5. Bedeutung und Fazit

CURE adressiert das fundamentale Dilemma des Unlearnings in LLM-basierten Empfehlungssystemen: den Zielkonflikt zwischen Datenschutz und Modellleistung. Durch den Wechsel von einem „Black-Box"-Ansatz zu einer transparenten, schaltungsbasierten Intervention ermöglicht CURE:

Präzises Entfernen sensibler Daten ohne die Notwendigkeit eines kompletten Neutraining.
Erhöhte Transparenz und Vertrauen, da genau nachvollziehbar ist, welche Teile des Modells angepasst werden.
Praktische Anwendbarkeit durch hohe Geschwindigkeit und Skalierbarkeit.

Das Paper demonstriert, dass mechanistische Interpretierbarkeit nicht nur ein Analysetool ist, sondern ein entscheidender Hebel für die Entwicklung robusterer und datenschutzkonformer KI-Systeme im Bereich der Empfehlung.