🤖 machine learning

When Unlearning Fails: Reliable Data Deletion under Post-Training in Agent Networks

Dieses Paper stellt MUTE vor, eine Methode zur zuverlässigen Datenlöschung in selbstverbessernden föderierten Agentennetzwerken, die effektiv das anhaltende „Einflussecho“ vergessener Daten mildert, indem sie die nachgelagerten Auswirkungen abschätzt, hochriskante zurückgehaltene Trajektorien unter Quarantäne stellt und das Verhalten auditiert, um eine Regeneration des Einflusses zu verhindern und gleichzeitig den Aufgaben-Nutzen zu bewahren.

Ursprüngliche Autoren: Zihao Ding, Jun Huang, Liang Dong

Veröffentlicht 2026-08-03

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zihao Ding, Jun Huang, Liang Dong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Schwarm winziger, hilfreicher Roboter vor, die gemeinsam lernen, Aufgaben zu erledigen. Anstatt eines riesigen Gehirns in der Cloud lernt jeder Roboter aus seinen eigenen Erfahrungen und teilt das Gelernte mit den anderen. Dies wird als Föderiertes Lernen bezeichnet. Es ist wie eine Gruppe von Freunden, die für eine Prüfung lernen: Jeder liest andere Bücher, schreibt seine eigenen Notizen auf und tauscht dann Zusammenfassungen aus, um klüger zu werden, ohne jemals ihre privaten, unordentlichen Notizbücher dem Lehrer zeigen zu müssen.

Stellen Sie sich nun vor, diese Roboter seien „selbstverbessernd“. Sie hören nicht einfach nach der Prüfung auf zu lernen; sie arbeiten weiter, sammeln neue Geschichten darüber, was funktioniert hat und was nicht, und speisen diese Geschichten zurück in die Gruppe ein, um noch besser zu werden. Dies ist das Selbstverbessernde Netzwerk. Aber hier kommt der knifflige Teil: Was ist, wenn einer der Freunde sagt: „Hey, ich möchte vergessen werden! Bitte lösche alle meine Notizen und stelle sicher, dass ich die endgültige Antwort der Gruppe nie beeinflusst habe“? In einem normalen Klassenzimmer würden Sie einfach die Seiten herausreißen. Aber in diesem Roboter-Schwarm könnten die alten Notizen des Freundes die anderen Roboter bereits dazu gebracht haben, ihre neuen Notizen auf eine bestimmte Weise zu sammeln. Wenn man nur die Notizen des Freundes löscht, aber die neuen Notizen behält, die von ihm inspiriert wurden, könnte der „Geist“ dieses Freundes das Gehirn der Gruppe immer noch heimsuchen. Dieses Paper untersucht, wie man diesen Geist wirklich tilgt, ohne das gesamte System zu beschädigen.

Das Problem: Das Echo, das nicht stirbt

Die Forscher entdeckten ein tückisches Problem beim Löschen von Daten in diesen intelligenten Roboternetzwerken. Normalerweise versucht ein System, wenn jemand darum bittet, vergessen zu werden, das „Verlernen“ durch ein erneutes Training des Modells ohne die Daten dieser Person zu vollziehen. Die Autoren nennen dies den „Retraining“-Ansatz (Neutraining).

Doch in einem selbstverbessernden Netzwerk versagt diese einfache Lösung. Hier ist der Grund: Das Verhalten des Roboters ist wie ein Kräuseln in einem Teich. Wenn ein spezifischer Roboter (nennen wir ihn „Rover“) auf eine bestimmte Weise handelt, verändert dies, was die anderen Roboter als Nächstes sehen und lernen. Wenn Rover gelöscht wird, nachdem er bereits die Gruppe beeinflusst hat, könnten die anderen Roboter bereits neue Daten basierend auf Rovers alten Handlungen gesammelt haben.

Das Paper nennt dies das „Influence Echo“ (Einfluss-Echo). Selbst wenn man die ursprünglichen Daten von Rover löscht, lebt das „Echo“ von Rovers Verhalten in den neuen Daten weiter, die von den anderen Robotern gesammelt wurden. Wenn man das Modell einfach mit den verbleibenden Daten neu trainiert, lernt das Modell versehentlich trotzdem von Rovers Echo. Das vergessene Verhalten kehrt zurück, wie ein Zombie, der nicht tot bleiben will. Die Autoren zeigten durch Simulationen, dass das Echo umso stärker wird, je mehr die anderen Roboter von Rover lernten, bevor die Löschung erfolgte, und desto wahrscheinlicher ist es, dass das „Zombie“-Verhalten zurückkehrt.

Die Lösung: MUTE (Muting Unlearned Trajectories' Echoes)

Um dies zu beheben, schlug das Team eine neue Methode namens MUTE vor. Betrachten Sie MUTE nicht als einfachen Radiergummi, sondern als Detektiv, Quarantänestation und Sicherheitswächter in einem.

1. Der Detektiv (Dem Echo auf die Spur kommen):
Zuer Sie muss MUTE wissen, wo das Echo sich versteckt. Da die Roboter nicht alle ihre privaten Daten an einen zentralen Server senden können (das würde die Privatsphäre verletzen), führt der Server ein leichtgewichtiges „Hauptbuch“ – ein einfaches Protokoll darüber, welcher Roboter zu welcher Zeit welche Version des Gehirns ausführte. Wenn eine Löschungsanfrage eingeht, spielt der Server dieses Protokoll nach, um einen „Influence Score“ (Einflusswert) für jedes Stück der Daten zu berechnen, die die anderen Roboter gesammelt haben. Es ist wie die Frage: „Wie sehr hing diese neue Notiz von Rovers alten Notizen ab?“ Wenn eine neue Notiz stark von Rover beeinflusst wurde, erhält sie einen hohen Score.

2. Die Quarantäne (Das Echo verstummen lassen):
Sobald die Daten mit hohem Score identifiziert sind, löscht MUTE sie nicht einfach (was die Fähigkeit der Roboter beeinträchtigen könnte, ihre Aufgaben zu erfüllen). Stattdessen nutzt es einen zweigleisigen Angriff:

Modell-Reinigung: Der Roboter, dem die Daten ursprünglich gehörten, aktualisiert seinen eigenen „Adapter“ (einen kleinen, effizienten Teil seines Gehirns), um gezielt das unerwünschte Verhalten zu vergessen, unter Verwendung einer Technik namens Negative Preference Optimization. Das ist so, als würde man dem Roboter sagen: „Mach diese spezifische Bewegung nicht mehr.“
Daten-Quarantäne: Die anderen Roboter schauen sich ihre eigenen Daten an. Wenn sie Notizen mit einem hohen „Influence Score“ haben (was bedeutet, dass sie stark durch den gelöschten Roboter geformt wurden), stellt MUTE diese Notizen unter Quarantäne. Sie werden nicht gelöscht, aber sie werden bei zukünftigen Trainings ignoriert. Einige werden sogar geringer gewichtet, so als würde man dem Lehrer sagen: „Lies diese Notiz, aber lass sie nicht so viel zählen wie die anderen.“

3. Der Sicherheitswächter (Auditierung und Planung):
Die Arbeit ist nach einer Bereinigung nicht getan. Das Netzwerk lernt ständig weiter, also könnte das Echo versuchen, sich wieder einzuschleichen. MUTE fungt als Sicherheitswächter, der das System ständig auditiert. Er prüft, ob das „Zombie“-Verhalten zurückkehrt (gemessen an etwas, das Influence Regeneration Rate genannt wird). Wenn der Wächter sieht, dass das Verhalten wieder auftaucht, plant er weitere Reinigungsmaßnahmen, tut dies jedoch sorgfältig, um innerhalb eines „Kommunikationsbudgets“ zu bleiben – damit die Roboter nicht durch zu viel Datenverkehr überlastet werden.

Was sie fanden

Das Team testete MUTE mit einem Benchmark namens LIBERO, bei dem Roboter lernen, Objekte basierend auf Sprachbefehlen zu manipulieren. Sie verwendeten zwei verschiedene Roboter-„Gehirne“ (MiniVLA und $\pi_0$ ) und testeten drei Ebenen der Löschung: das Entfernen eines einzelnen Pfades (Trajektorie), das Entfernen der Daten eines ganzen Roboters (Client) oder das Entfernen eines gesamten Aufgabentyps (Task).

Die Ergebnisse waren vielversprechend. In ihren Simulationen und auf einem physischen Testbed mit Jetson-Computern (die wie leistungsstarke Mini-Computer für Roboter sind) gelang es MUTE erfolgreich, das „Zombie“-Verhalten am Wiederauftreten zu hindern.

Geringe Leckage (Low Leakage): Die Fähigkeit des Systems, die gelöchten Daten zu „erinnern“, sank auf ein Niveau nahe dem Zufall (ein Score nahe 0,5), was bedeutet, dass die Daten effektiv vergessen wurden.
Keine Regeneration: Im Gegensatz zur einfachen Retraining-Methode, bei der das vergessene Verhalten zurückkehrte, hielt MUTE die Influence Regeneration Rate (IRR) sehr niedrig. In einem Test mit dem MiniVLA-Gehirn betrug die Regenerationsrate mit MUTE beispielsweise nur 0,085, im Vergleich zu 0,178 bei der Standard-Retraining-Methode.
Effizienz: MUTE war in Bezug auf die Kommunikation viel kostengünstiger. Während die Standard-Retraining-Methode enorme Mengen an Daten hochladen musste (etwa 234,6 Einheiten Traffic für MiniVLA), benötigte MUTE nur etwa 53,39 Einheiten. Dies wurde erreicht, indem nur kleine, gezielte Updates gesendet wurden, anstatt das gesamte System von Grund auf neu zu trainieren.

Das Paper legt nahe, dass, obwohl einfaches Retraining in diesen selbstverbessernden Netzwerken fehlschlägt, MUTE eine zuverlässige Methode bietet, um Daten wirklich zu löschen. Es beweist, dass man das „Echo“ vergessener Daten entfernen kann, ohne die Fähigkeit des Netzwerks zu beeinträchtigen, neue Dinge zu lernen, und das alles bei weitaus geringerem Bandbreitenverbrauch als ein kompletter Neustart. Die Autoren merken an, dass dies ein Simulations- und physisches Testbed-Ergebnis ist, das zeigt, dass die Methode in der Praxis funktioniert, aber es bleibt eine spezialisierte Lösung für diese spezifischen Arten von selbstverbessernden Roboternetzwerken.

Technisches Resümee: Wenn Vergessen scheitert: Zuverlässige Datenlöschung unter Post-Training in Agenten-Netzwerken

1. Problemstellung

Das Paper adressiert eine kritische Lücke im Federated Unlearning (FU) innerhalb selbstverbessernder föderierter Agenten-Netzwerke. Im Gegensatz zum traditionellen Federated Learning, bei dem der Trainingsdatensatz statisch ist, operieren selbstverbessernde Netzwerke in einem geschlossenen Kreislauf: Agenten setzen eine aktuelle Policy ein, interagieren mit der Umgebung, um neue verifizierte Trajektorien zu sammeln, und speisen diese Trajektorien in nachfolgende Trainingsrunden zurück.

Das Kernproblem ist das „Einfluss-Echo“ (Influence Echo). Wenn ein Dateneigentümer die Löschung spezifischer Daten (das Forget Set, $D_f$ ) anfordert, aktualisieren Standardmethoden des Unlearnings das Modell, um den direkten Einfluss von $D_f$ zu entfernen. Da die durch $D_f$ vor der Löschung geformte Policy jedoch bereits die Sammlung zukünftiger Daten (das Retain Set, $D_r$ ) beeinflusst hat, operiert das System in einem geschlossenen Kreislauf. Infolgedessen:

Scheitern des Retrainings: Ein Retraining auf den verbliebenen Daten $D_r$ eliminiert das gelöschte Verhalten nicht, da $D_r$ selbst kausale Spuren von $D_f$ enthält.
Regeneration: Während das Netzwerk weiter operiert und aus $D_r$ lernt, erlangt das gelöschte Verhalten wieder Sichtbarkeit (gemessen an einer steigenden Influence Regeneration Rate, IRR).
Rückverfolgbarkeit: Dieser Einfluss ist im Feature-Raum nicht immer separierbar, kann aber über serverseitige Aufzeichnungen der Modellbereitstellung und Datensammlung zurückverfolgt werden.

Bestehende FU-Methoden setzen ein festes Retain-Set voraus und berücksichtigen keine policy-gesteuerte Datensammlung, was dazu führt, dass die Löschung lediglich eine einmalige Reparatur statt einer dauerhaften Verteidigung ist.

2. Methodik: MUTE

Die Autoren schlagen MUTE (Muting Unlearned Trajectories' Echoes) vor, ein Framework, das darauf ausgelegt ist, die Gültigkeit der Löschung aufrechtzuerhalten, während das Netzwerk weiter lernt. MUTE operiert durch drei integrierte Module:

A. Einfluss-Provenienz (Tracing)

Anstatt Rohdaten von den Clients zu fordern (was die Privatsphäre verletzen würde), führt der Server ein leichtgewichtiges Ledger ( $L$ ), das deponierte Modellversionen, Aggregationsgewichte und Erfassungszeitfenster aufzeichnet.

Mechanismus: Bei einer Löschungsanforderung spielt der Server das Ledger nach, um zu schätzen, wie sich der Einfluss über die Aggregationskante (lokale Updates zu globalen Modellen) und die Erfassungskante (globale Modelle, die die zukünftige Datensammlung prägen) ausgebreitet hat.
Scoring: Jede erhaltene Trajektorie wird basierend auf der Version des Modells, unter der sie gesammelt wurde, einem Einflusswert $\gamma(x)$ zugewiesen. Dies ermöglicht es dem System, „hoch-influente“ erhaltene Daten zu identifizieren, ohne Roh-Trajektorien vom Client abzuheben.

B. Einfluss-bewusste Erasure (Löschung)

MUTE führt eine zweiseitige Erasure durch, um sowohl aktuelle Rückstände als auch zukünftige Risiken zu entfernen:

Modell-seitige Erasure: Der Client, der $D_f$ hält, aktualisiert seinen Adapter mittels eines Forget-Retain-Objektivs. Dies verwendet Negative Preference Optimization (NPO), um das Verhalten auf $D_f$ zu unterdrücken, während die Nützlichkeit auf $D_r$ bewahrt wird. Um ein Wiedererlernen zu verhindern, werden nachfolgende Updates aus dem dominanten Forget-Gradienten-Subraum heraus projiziert.
Daten-seitige Begrenzung (Containment): Clients bewerten ihre lokalen Trajektorien nach dem Einflusswert.
- Quarantäne: Hoch-influente Trajektorien ( $\gamma(x) \ge \tau_q$ ) werden aus dem Trainingsstrom entfernt.
- Abwertung: Mittel-influente Trajektorien werden abgewertet.
- Ersetzung: Clients können nach Möglichkeit Ersatz-Trajektorien unter dem gelöschten Modell neu sammeln.

C. Verhaltens-Audit und Scheduling

Da die Löschung dauerhaft sein muss, beinhaltet MUTE einen Scheduling-Mechanismus, um Ressourcen unter einem Uplink-Budget zu verwalten.

Auditing: Das System überwacht den Behavioral Leakage Index (BLI) (aktuelles Leckage über Membership Inference) und die IRR (zukünftige Regeneration).
Scheduling: Der Server entscheidet über die Client-Aktionen (normales Training, Unlearning, Containment oder Auditing), um sicherzustellen, dass die geschlossene-Kreislauf-Transitionsmatrix eine Stabilitätsbedingung erfüllt ( $\rho(M_\infty) < 1$ ), was garantiert, dass der Einfluss über die Zeit abnimmt, anstatt zu regenerieren.

3. Zentrale Beiträge

Problemformulierung: Das Paper definiert formal die zuverlässige Löschung in selbstverbessernden föderierten Netzwerken und hebt hervor, dass das Retain-Set kausal nachgeschaltet (downstream) vom Forget-Set ist, was Standard-Retraining unzureichend macht.
Empirische Beobachtungen: Durch Vorab-Experimente demonstrieren die Autoren:
- Retraining scheitert daran, das Einfluss-Echo zu verstummen; gelöschtes Verhalten kehrt zurück, während das Netzwerk operiert.
- Die Regenerationsrate skaliert linear mit dem Anteil der durch die Forget-Policy geformten erhaltenen Daten.
- Einfluss ist über serverseitige Aufzeichnungen rückverfolgbar, selbst wenn die Separation im Feature-Raum fehlschlägt.
MUTE-Framework: Der Vorschlag einer vereinheitlichten Methode, die Provenienz-Tracing (zur Identifizierung des Echos), zweiseitige Erasure (Modell und Daten) und ressourcenbeschränktes Scheduling kombiniert.
Validierung: Umfangreiche Evaluierung auf dem LIBERO Benchmark unter Verwendung von zwei Vision-Language-Action (VLA) Backbones (MiniVLA und $\pi_0$ ) sowie einem physischen Jetson-basierten Edge-Testbed.

4. Experimentelle Ergebnisse

Die Evaluierung vergleicht MUTE mit einem Baseline-Retrain-Ansatz (vollständiges Retraining auf den verbliebenen Daten) über drei Löschungs-Granularitäten: Trajektorie, Client und Task.

Influence Regeneration (IRR): MUTE unterdrückt die IRR signifikant im Vergleich zu Retrain. Beispielsweise zeigte Retrain beim MiniVLA-Backbone IRR-Werte um 0,178–0,338, während MUTE diese je nach Granularität auf 0,085–0,248 reduzierte.
Behavioral Leakage (BLI): MUTE hält den BLI nahe am Zufallsniveau (0,5), was auf eine erfolgreiche Entfernung von Membership-Signalen hindeutet, während Retrain oft eine höhere Leckage aufwies.
Task Utility (SR): MUTE hält die Erfolgsraten der Aufgaben (SR) innerhalb einer engen Marge (z. B. innerhalb von 0,04) zur Baseline vor der Löschungsanfrage, was zeigt, dass die Löschung die Performance nicht schwerwiegend beeinträchtigt.
Kommunikationskosten: MUTE ist hocheffizient. Es reduziert den Uplink-Verkehr um etwa 75–80 % im Vergleich zum vollständigen Retraining. Beispielsweise sank die Kommunikation bei MiniVLA von ~234,6 MB (Retrain) auf ~54 MB (MUTE).
Physisches Testbed: Die Validierung auf Jetson-Hardware bestätigte, dass die Trends von MUTE in Bezug auf Latenz, Bandbreite und Verhaltens-Rekurrenz auch in realen Edge-Umgebungen Bestand haben.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass zuverlässige Datenlöschung in operierenden Netzwerken kein einmaliges Ereignis, sondern eine dauerhafte Verteidigung sein muss.

Limitierung aktueller Methoden: Die Autoren stellen fest, dass bestehende FU-Methoden für selbstverbessernde Systeme unzureichend sind, da sie den Feedback-Loop ignorieren, in dem Policies zukünftige Daten formen.
Notwendigkeit von MUTE: MUTE wird als notwendige Evolution präsentiert, die Provenienz-Tracing (um das Echo zu finden), Containment (um die Ausbreitung des Echos zu stohen) und Scheduling (um die Verteidigung aufrechtzuerhalten) kombiniert.
Moderater Umfang: Das Paper beansprucht nicht, alle Datenschutzprobleme der KI zu lösen, sondern zielt spezifisch auf das „Einfluss-Echo“ in selbstverbessernden föderierten Agenten-Netzwerken ab. Es betont, dass eine perfekte kontrafaktische Löschung (die Rekonstruktion einer Welt, in der $D_f$ nie existierte) in einem Live-Netzwerk unmöglich ist, MUTE jedoch die Leckage auf Zufallsniveau drückt und die Regeneration innerhalb der Ressourcenbeschränkungen verhindert.

Das Werk kommt zu dem Schluss, dass ohne Mechanismen wie MUTE das „Recht auf Vergessenwerden“ in selbstverbessernden Netzwerken effektiv nicht durchsetzbar ist, da der Lernzyklus des Netzwerks das gelöschte Daten-Einfluss-Erbe unweigerlich wieder auferstehen lässt.