💻 computer science

Amnesia: A Stealthy Replay Attack on Continual Learning Dreams

Dieses Paper führt Amnesia ein, einen unauffälligen Replay-Angriff auf Continual-Learning-Systeme, bei dem ein Insider mit begrenzten Berechtigungen lediglich die Auswahl der Replay-Proben manipuliert, um die Leistungsdegradation zu maximieren und dabei innerhalb auditierbarer statistischer Grenzwerte zu bleiben, wodurch eine praktische Bedrohungsoberfläche in indexgesteuerten Lern-Pipelines offengelegt wird.

Ursprüngliche Autoren: Ahmed Sharshar, Naveen Kumar Kummari, Mohsen Guizani

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ahmed Sharshar, Naveen Kumar Kummari, Mohsen Guizani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein Roboter, der vergisst

Stellen Sie sich einen Roboter vor, der lernt, Aufgaben nacheinander zu erledigen. Zuerst lernt er, rote Blöcke zu sortieren. Dann lernt er, blaue Blöcke zu sortieren. Schließlich lernt er, grüne Blöcke zu sortieren.

Das Problem ist das Kontinuierliche Lernen (Continual Learning): Wenn der Roboter lernt, grüne Blöcke zu sortieren, überschreibt er oft versehentlich seine Erinnerung daran, wie man rote und blaue Blöcke sortiert. Dies wird als katastrophales Vergessen (Catastrophic Forgetting) bezeichnet.

Um dies zu beheben, nutzen Ingenieure den Trick des Experience Replay. Der Roboter führt ein kleines „Notizbuch“ (einen Puffer) mit Beispielen aus seinen vergangenen Aufgaben. Jedes Mal, wenn er etwas Neues lernt, blättert er auch in ein paar Seiten seines alten Notizbuchs, um sich an die Vergangenheit zu erinnern. Dies hält die alten Erinnerungen lebendig.

Der Angriff: Der „Traum“-Saboteur

Die Arbeit stellt eine neue Art von Angriff vor, der Amnesia genannt wird.

Das Setup:
Stellen Sie sich vor, der Notizbuch des Roboters wird von einem Bibliothekar verwaltet. Die Aufgabe des Bibliothekars ist es, auszuwählen, welche Seiten (Beispiele) dem Roboter während seiner „Wiederholungseinheiten“ gezeigt werden.

Der Angreifer: Ein „Grey-Box Insider“ (jemand mit begrenztem Zugriff), der den Bibliothekar kontrolliert.
Die Einschränkung: Der Angreifer kann nicht die Bilder im Notizbuch ändern, kann nicht das Gehirn des Roboters (die Gewichte) ändern und kann nicht die aktuelle Lektion des Roboters ändern. Er kann nur entscheiden, welche Seiten der Bibliothekar hervorholt, um sie dem Roboter zu zeigen.

Das Ziel:
Der Angreifer möchte, dass der Roboter seine alten Aufgaben (rote und blaue Blöcke) so stark wie möglich vergisst, während es gleichzeitig so aussieht, als wäre alles normal.

Wie es funktioniert: Die „Tilt and Project“-Strategie

Der Angreifer nutzt einen zweistufigen Prozess, um das Gedächtnis des Roboters zu manipulieren, ohne vom Chef (dem Auditor) entdeckt zu werden.

1. Der „Tilt“ (Das Gift auswählen)

Der Angreifer schaut in das Notizbuch und berechnet, welche vergangenen Beispiele am gefährlichsten für das Gedächtnis des Roboters sind.

Analogie: Stellen Sie sich vor, der Roboter lernt das Autofahren. Der Angreifer bemerkt, dass der Roboter vergisst, wie man „auf der Autobahn fährt“, wenn er zu viel „Parken“ übt. Also entscheidet der Angreifer, die Auswahl in Richtung „Parken“-Beispielen zu neigen (Tilt).
Die Mathematik: Er weist jeder Klasse von Daten einen „Schadenswert“ zu. Er möchte dem Roboter mehr von den „schädlichen“ Klassen zeigen und weniger von den „sicheren“ Klassen.

2. Das „Project“ (Die Tarnmaske)

Hier ist der knifflige Teil. Wenn der Angreifer dem Roboter nur Park-Beispiele zeigt, würde der Chef (Auditor) sofort bemerken: „Hey, das Notizbuch enthält normalerweise eine Mischung aus Fahren, Parken und Abbiegen. Warum ist heute alles nur Parken?“

Um unentdeckt zu bleiben, muss der Angreifer innerhalb strenger Auditierbarer Budgets (Auditable Budgets) bleiben:

Das Mengen-Budget (Mass Budget): Die Gesamtzahl der gezeigten Seiten muss gleich bleiben.
Das Sichtbarkeits-Budget (Visibility Budget): Die Mischung der Seiten muss statistisch gesehen der normalen Mischung ähnlich sehen. Wenn die normale Mischung 50 % Fahren und 50 % Parken ist, darf der Angriff die Mischung nicht auf 90 % Parken und 10 % Fahren ändern. Er kann sie nur leicht verschieben, etwa auf 55 % Parken und 45 % Fahren.

Die Lösung:
Der Angreifer nutzt einen mathematischen „Projektor“, um seinen schädlichen Plan zu nehmen und ihn zurück in die „sichere Zone“ zu stauchen.

Er berechnet die perfekte, leicht gefährliche Mischung, die gerade eben nah genug an der normalen Mischung liegt, um den Auditor in seinen Protokollen zu täuschen.
Er verwendet zwei Methoden:
- KL (Kullback-Leibler): Eine sanfte, behutsame Verschiebung. Sie ist sehr schwer zu entdecken, aber etwas weniger schädlich.
- TV (Total Variation): Eine schärfere, aggressivere Verschiebung. Sie verursacht mehr Schaden, ist aber leichter vom Auditor zu entdecken, wenn dieser genau hinsieht.

Das Ergebnis: „Amnesia“

Wenn der Roboter mit dieser manipulierten Auswahl trainiert:

Übt er die „schädlichen“ Beispiele gerade so viel, dass es sein Gedächtnis an die alten Aufgaben verwirrt.
Übt er die „sicheren“ Beispiele gerade so viel, dass er die Prüfung des Auditors besteht.
Das Ergebnis: Der Roboter erleidet schließlich Amnesia. Er vergisst die alten Aufgaben (wie das Sortieren roter Blöcke) viel schneller als üblich, obwohl die Protokolle des Auditors zeigen, dass die „Mischung der Seiten“ völlig normal aussah.

Warum das wichtig ist

Die Arbeit beweist, dass man nicht das Gehirn des Roboters hacken oder die Datendateien vergiften muss, um ein Lernsystem zu brechen. Man muss lediglich kontrollieren, welche alten Erinnerungen zur Wiederholung aufgerufen werden.

Realweltliche Analogie: Stellen Sie sich einen Studenten vor, der für eine Geschichtsprüfung lernt. Der Lehrer (das System) gibt ihm eine Liste von Themen zur Wiederholung. Wenn ein Saboteur (der Angreifer) die Liste subtil ändert, sodass der Student „Zweiter Weltkrieg“ 10 % häufiger und „Die Renaissance“ 10 % seltener wiederholt, wird der Student später im Bereich der Renaissance versagen. Wenn der Saboteur die Gesamtzahl der Wiederholungsthemen gleich hält und die Liste weitgehend normal aussieht, wird der Lehrer die Sabotage nicht bemerken, bis der Student die Prüfung nicht besteht.

Wichtige Erkenntnisse aus den Experimenten

Es funktioniert: Der Angriff führte erfolgreich dazu, dass Roboter über viele verschiedene Datensätze hinweg (wie CIFAR-10, CORe50 und Tiny-ImageNet) alte Aufgaben vergaßen.
Es ist unauffällig: Die „KL“-Version des Angriffs war so subtil, dass Standardprüfungen (die Untersuchung der Protokolle darüber, was wiederholt wurde) den Angriff nicht entdeckten.
Es ist schnell: Der Angriff fügt dem Trainingsprozess fast keine zusätzliche Zeit hinzu.
Der Kompromiss: Je mehr Schaden der Angreifer anrichten will, desto schwieriger ist es, unentdeckt zu bleiben. Die „TV“-Methode verursachte mehr Schaden, war aber wahrscheinlicher durch einen Alarm zu entdecken.

Zusammenfassung

Amnesia ist ein „heimlicher Bibliothekar“-Angriff. Indem der Angreifer sorgfältig auswählt, welche vergangenen Erinnerungen wiederholt werden – gerade genug, um das Gehirn des Roboters zu schwächen, aber nicht genug, um verdächtig zu wirken –, kann er ein Lernsystem dazu bringen, seine Vergangenheit zu vergessen, während er gleichzeitig innerhalb der Regeln der Audit-Protokolle bleibt.

Technisches Resümee: Amnesia – Ein heimlicher Replay-Angriff auf Continual Learning

Problemstellung

Continual Learning (CL)-Systeme verlassen sich auf Experience Replay, um katastrophales Vergessen (Catastrophic Forgetting) zu mildern, indem sie üblicherweise ein kleines Gedächtnis vergangener Beispiele mit aktuellen Daten mischen. Während sich die bestehende Sicherheitsforschung im Bereich CL auf Poisoning (Modifizierung von Eingaben zur Verschlechterung der Leistung) und Backdoors (Einbettung von Triggern für gezielte Ausfälle) konzentriert hat, mangelt es diesen Ansätzen oft an den expliziten, prüfbaren Einschränkungen, die in überwachten Produktionsumgebungen vorhanden sind.

In eingesetzten CL-Pipelines sind Replay-Sampler oft für Compliance-Zwecke instrumentiert, wobei Telemetriedaten wie Replay-Index-Sets, Label-Anzahlen pro Batch und Replay-Raten protokolliert werden. Diese Protokolle ermöglichen „prüfbare Budgets“, bei denen Monitore verifizieren, dass das realisierte Replay-Klassen-Histogramm nahe an einer nominalen Baseline bleibt und die Replay-Rate unverändert ist. Das Paper identifiziert eine kritische Robustheitslücke: die Anfälligkeit von CL-Systemen gegenüber einem Privilegierten Insider mit begrenzten Rechten, der lediglich die Auswahl der Replay-Indizes (die „Dreaming“-Phase) kontrolliert, ohne Zugriff auf Modellparameter, Pixeldaten oder Labels zu haben. Dieser Angreifer zielt darauf ab, das Vergessen vergangener Aufgaben zu maximieren, während er sich strikt an diese auditierbaren Sichtbarkeits- und Massenbeschränkungen hält – eine Bedrohungslage, die unter solch strengen Randbedingungen bisher unentdeckt blieb.

Methodik: Der Amnesia-Angriff

Die Autoren führen Amnesia ein, einen Replay-Kompositionsangriff auf Sampler-Ebene, der die Auswahl der Indizes aus dem Replay-Buffer verzerrt. Der Angriff operiert unter zwei expliziten Beschränkungen:

Sichtbarkeitsbudget ( $\delta$ ): Die Divergenz (Total Variation oder Kullback-Leibler) zwischen dem angegriffenen Replay-Histogramm und einer nominalen Baseline ( $p_0$ ) darf einen Schwellenwert nicht überschreiten.
Massenbudget ( $f$ ): Die gesamte Replay-Rate (Einschlussanteil) bleibt fixiert.

Der Angriff folgt einem zweistufigen „Tilt-then-Project“-Verfahren:

1. Präferenz (Tilt)

Der Angreifer nutzt leichtgewichtige, für den Sampler lesbare Nutzen-Signale (z. B. den exponentiell gleitenden Durchschnitt (EMA) des Cross-Entropy-Loss oder als Metadaten protokollierte Konfidenzwerte), um „schädliche“ Klassen zu identifizieren – solche, deren Überrepräsentation das Vergessen maximiert. Diese Nutzenwerte ( $u$ ) werden verwendet, um das nominale Klassen-Histogramm $p_0$ in Richtung einer Zielverteilung $\tilde{p}$ zu „tilten“, die schädliche (hoch-nutzen-) Klassen bevorzugt.

2. Projektion (Stealth)

Die getiltete Verteilung $\tilde{p}$ wird zurück in die auditable „Stealth-Kugel“ projiziert, die durch die Divergenz-Beschränkung $\delta$ definiert ist. Das Paper liefert effiziente Optimierer für zwei Divergenztypen:

KL-Divergenz: Verwendet einen einparametrigen exponentiellen Tilt ( $p^*(c) \propto p_0(c) \exp(\alpha u_c)$ ) mit einer monotonen 1-D-Wurzelsuche, um den Multiplikator $\alpha$ zu finden, der das Budget ausschöpft. Dies bewahrt die positive Masse über alle Klassen hinweg, was zu einer glatteren Diskretisierung führt.
Total Variation (TV) Divergenz: Verwendet einen gierigen (greedy) zweiseitigen „Water-Filling“-Algorithmus, der Wahrscheinlichkeitsmasse von Klassen mit geringem Nutzen zu Klassen mit hohem Nutzen überträgt, bis das $\ell_1$ -Budget erschöpft ist. Dies kann Klassen mit geringem Nutzen gegen Null drücken, was zu sparsameren (sparseren) Verteilungen führt.

3. Realisierung und Scheduling

Die kontinuierliche optimale Verteilung $p^*$ wird in ganzzahlige Quoten ( $q$ ) für die Batch-Größe $m$ umgewandelt. Das System verwendet einen fensterbasierten Scheduler unter Verwendung eines Ringpuffers, um ein verschärftes pro-Schritt-Budget ( $\delta_t$ ) durchzusetzen, wodurch sichergestellt wird, dass die durchschnittliche Divergenz über ein rollendes Fenster $W$ innerhalb des globalen Limits $\delta$ bleibt. Dies handhabt das Diskretisierungsrauschen, das durch das Runden der Quoten auf ganze Zahlen entsteht.

Zentrale Beiträge

Amnesia-Angriff: Der erste Replay-Kompositionsangriff auf Sampler-Ebene, der die Indexselektion manipuliert, um das Vergessen zu maximieren, während er gleichzeitig gegenüber auf Protokollierung basierenden Audits (Rate und Histogramm-Checks) unauffällig bleibt. Er lässt Pixel, Verlustberechnungen und Modellparameter unberührt.
Prinzipielle Formulierung: Ein formaler Optimierungsrahmen, der den Schaden ( $\langle u, p \rangle$ ) unter Berücksichtigung auditierbarer Beschränkungen ( $Div(p \| p_0) \le \delta$ und feste Masse $m$ ) maximiert. Die Autoren beweisen, dass ihr Projektionsschritt die exakte Best-Response-Klassenkomposition ist und jede andere mögliche Sampler-Ebene-Angriffsklasse unter äquivalenten Beschränkungen schwach dominiert.
Audit-Realisierung: Eine praktische Pipeline zur Umwandlung theoretischer Verteilungen in ganzzahlige Quoten mit „Audit-and-Fix“-Mechanismen und einem fensterbasierten Scheduler, um die Einhaltung sowohl der pro-Batch- alsich als auch der rollenden Fenster-Audits zu garantieren.
Umfassende Evaluierung: Systematische Analyse des Trade-offs zwischen Auswirkung (Vergessen), Sichtbarkeit (Divergenz) und Budget über mehrere Datensätze (Split CIFAR-10/100, CORe50, Tiny-ImageNet) und starke Replay-Baselines (ER, ER-ACE, SCR, DER++) hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten Amnesia auf vier CL-Benchmarks gegen starke Replay-Baselines:

Auswirkung: Amnesia senkt die finale Genauigkeit (ACC) konsistent und verschlechtert den Backward Transfer (erhöht $-BWT$) signifikant. Beispielsweise reduzierte der Angriff auf Split CIFAR-10 die ACC von 50,4 % auf 29,3 %, während das Vergessen ($-BWT$) von 55,1 auf 82,7 stieg.
Stealth vs. Impact Trade-off:
- Die KL-Variante erzielt eine hohe Auswirkung bei gleichzeitiger weitgehender Unauffälligkeit gegenüber Audits, mit geringer Tail-Divergenz ( $r_{batch@95}$ ) und null Fenster-Verletzungen. Ihr exponentieller Tilt verteilt die Masse glatter, wodurch die „Chunkiness“ vermieden wird, die Audit-Flags auslösen könnte.
- Die TV-Variante ist oft schädlicher (höheres Vergessen), aber leichter zu entdecken, insbesondere unter engen pro-Klassen-Beschränkungen, da sie dazu neigt, spärliche, extreme Allokationen zu erzeugen, die unter ganzzahligen Quoten schwer zu realisieren sind.
Vergleich mit Poisoning: Trotz des Betriebs unter strengen audit-bewussten Beschränkungen und ohne Zugriff auf interne Modellstrukturen oder Datenpixel erreicht Amnesia vergleichbare oder überlegene Vergessensraten gegenüber Data-Poisoning-Baselines wie BrainWash und PACOL. Dies unterstreicht die Kontrolle über Indizes allein als potenziell gefährliche Angriffsfläche.
Robustheit: Der Angriff bleibt über verschiedene Backbone-Architekturen (ResNet-18, ViT-Tiny, ConvNeXt-Base) und Replay-Methoden hinweg effektiv, wobei Methoden wie ER-ACE eine etwas höhere Robustheit zeigen.
Overhead: Der Angriff verursacht einen minimalen Rechenaufwand (ca. 3,5 % für KL und 7,1 % für TV) im Vergleich zur Baseline-Trainingszeit.

Bedeutung und Ansprüche

Das Paper behauptet, die Index-basierte Replay-Kontrolle als praktische und gefährliche Bedrohungslage in Continial Learning-Systemen aufzuzeigen. Durch die Formalisierung des Trade-offs zwischen Auswirkung und Sichtbarkeit unter auditierbaren Budgets demonstrieren die Autoren, dass ein Insider mit begrenzten Privilegien (nur Sampler-Zugriff) die Modellleistung erheblich verschlechtern kann, ohne die Standard-Compliance-Checks auszulösen.

Die Arbeit etabliert einen prinzipisierten Impact-Visibility-Budget-Trade-off und zeigt, dass die Maximierung des Schadens unter strengen Divergenz-Beschränkungen ein exaktes Optimierungsproblem und kein Heuristik ist. Die Autoren argumentieren, dass aktuelle CL-Verteidigungen gegen solche „stealthy“ Kompositionsangriffe unzureichend sind, da sie oft davon ausgehen, dass Bedrohungen die Datenkorruption oder Parametermanipulation betreffen, und dabei die subtile Manipulation von Sampling-Verteilungen übersehen. Die Ergebnisse legen nahe, dass die Überwachung von Replay-Statistiken allein nicht ausreicht, um raffinierte, divergenz-beschränkte Angriffe zu erkennen, was neue Verteidigungsmechanismen erforderlich macht, die die strategische Manipulation von Replay-Indizes berücksichtigen.