Technische Samenvatting: Amnesia – Een sluipende Replay Attack op Continual Learning

Probleemstelling

Continual Learning (CL) systemen vertrouwen op experience replay om catastrofaal vergeten te beperken, meestal door een kleine herinnering van voorgaande voorbeelden te mengen met huidige data. Bestaand beveiligingsonderzoek in CL richt zich vaak op poisoning (het aanpassen van inputs om prestaties te verslechteren) en backdoors (het inbedden van triggers voor gerichte fouten), maar deze benaderingen missen vaak de expliciete, controleerbare beperkingen die in gemonitorde productieomgevingen worden gevonden.

In uitgerolde CL-pipelines zijn replay-samplers vaak geïnstrumenteerd voor compliance, waarbij telemetrie zoals replay-indexsets, per-batch labelaantallen en replay-rates worden gelogd. Deze logs maken "controleerbare budgetten" mogelijk waarbij monitors verifiëren dat het gerealiseerde replay-klasse-histogram dicht bij een nominaal baseline blijft en dat de replay-rate ongewijzigd is. Het artikel identificeert een kritieke robuustheidskloof: de kwetsbaarheid van CL-systemen voor een beperkte insider die alleen controle heeft over de selectie van de replay-index (de "dreaming" fase) zonder toegang tot modelparameters, pixeldata of labels. Deze aanvaller beoogt het vergeten van taken te maximaliseren terwijl strikt wordt voldaan aan deze auditeerbare zichtbaarheids- en massabudgetten, een dreigingsveld dat onder dergelijke strikte beperkingen voorheen niet is verkend.

Methodologie: De Amnesia Attack

De auteurs introduceren Amnesia, een sampler-niveau replay compositie-aanval die de bias beïnvloedt van welke indices uit de replay-buffer worden getrokken. De aanval opereert onder twee expliciete beperkingen:

1. Zichtbaarheidsbudget ($\delta$): De divergentie (Total Variation of Kullback-Leibler) tussen het aangevallen replay-histogram en een nominale baseline ($p_0$) mag een drempelwaarde niet overschrijden.
2. Massabudget ($f$): De totale replay-rate (keep fraction) blijft constant.

De aanval volgt een tweestaps "tilt-then-project" procedure:

1. Preference (Tilt)

De aanvaller maakt gebruik van lichtgewicht, door de sampler leesbare nutssignalen (bijv. Exponential Moving Average (EMA) van cross-entropy loss of confidence scores gelogd als metadata) om "schadelijke" klassen te identificeren—die klassen wier oververtegenwoordiging het vergeten maximaliseert. Deze utilities ($u$) worden gebruikt om de nominale klasse-histogram $p_0$ te "tilten" naar een doelverdeling $\tilde{p}$ die gunstig is voor de hoog-utility (schadelijke) klassen.

2. Projection (Stealth)

De getilde verdeling $\tilde{p}$ wordt geprojecteerd terug naar de auditeerbare "stealth ball" gedefinieerd door de divergentie-beperking $\delta$. Het artikel biedt exacte, efficiënte optimizers voor twee divergentietypen:

• KL Divergentie: Gebruikt een single-parameter exponentiële tilt ($p^*(c) \propto p_0(c) \exp(\alpha u_c)$) met een monotone 1-D root search om de multiplier $\alpha$ te vinden die het budget verzadigt. Dit behoudt positieve massa over alle klassen, wat resulteert in een gladdere discretisatie.
• Total Variation (TV) Divergentie: Gebruikt een greedy two-sided water-filling algoritme dat waarschijnlijkheidss massa van laag-utility naar hoog-utility klassen verplaatst totdat het $\ell_1$ budget is uitgeput. Dit kan laag-utility klassen richting nul duwen, wat resulteert in hechtere (sparser) verdelingen.

3. Realization en Scheduling

De continue optimale verdeling $p^*$ wordt omgezet in integer quota ($q$) voor de batch grootte $m$. Het systeem gebruikt een windowed scheduler met een ringbuffer om een aangescherpt per-stap budget ($\delta_t$) af te dwingen, waardoor gegarandeerd wordt dat de gemiddelde divergentie over een rollend venster $W$ binnen de globale limiet $\delta$ blijft. Dit vangt de discretisatieruis op die wordt geïntroduceerd door het afronden van quota naar integers.

Belangrijkste Bijdragen

• Amnesia Attack: De eerste sampler-niveau replay compositie-aanval die de indexselectie manipuleert om vergeten te maximaliseren terwijl er voldaan blijft aan de logging-gebaseerde audits (rate en histogram checks). Het laat pixels, loss-berekeningen en modelparameters ongemoeid.
• Geprincipeerde Formulering: Een formeel optimalisatiekader dat schade maximaliseert ($\langle u, p \rangle$) onder de voorbehoud van auditeerbare beperkingen ($Div(p \| p_0) \le \delta$ en vaste massa $m$). De auteurs bewijzen dat hun projectiestap de exacte best-response klasse compositie is, die elke andere haalbare sampler-niveau aanval onder equivalente beperkingen zwak domineert.
• Audit Realisatie: Een praktische pipeline die theoretische verdelingen omzet in integer quota met "audit-and-fix" mechanismen en een windowed scheduler om naleving van zowel per-batch als rolling-window audit checks te garanderen.
• Uitgebreide Evaluatie: Systematische analyse van de trade-off tussen impact (vergeten), zichtbaarheid (divergentie) en budget over meerdere datasets (Split CIFAR-10/100, CORe50, Tiny-ImageNet) en sterke replay baselines (ER, ER-ACE, SCR, DER++).

Experimentele Resultaten

De auteurs evalueerden Amnesia op vier CL benchmarks tegen sterke replay baselines:

• Impact: Amnesia vermindert consequent de uiteindelijke accuratesse (ACC) en verslechtert backward transfer (verhoogt $-BWT$) aanzienlijk. Bijvoorbeeld, op Split CIFAR-10 met ER, verminderde de aanval de ACC van 50.4% naar 29.3% terwijl de forgetting ($-BWT$) steeg van 55.1 naar 82.7.
• Stealth vs. Impact Trade-off:
  • De KL variant bereikt een hoge impact terwijl het grotendeels onopgemerkt blijft door audits, met een lage tail divergence ($r_{batch@95}$) en nul window violations. De exponentiële tilt verdeelt de massa gladder, waardoor de "chunkiness" wordt vermeden die audit-flags triggert.
  • De TV variant is vaak schadelijker (hogere forgetting) maar gemakkelijker te detecteren, vooral onder strikte per-klasse beperkingen, vanwege de neiging om sparse, extreme allocaties te creëren die moeilijker te realiseren zijn onder integer quota.
• Vergelijking met Poisoning: Ondanks dat het werkt onder strikte audit-bewuste beperkingen en geen toegang heeft tot modelinternals of data-pixels, bereikt Amnesia vergelijkbare of superieure forgetting-niveaus vergeleken met data-poisoning baselines zoals BrainWash en PACOL, wat de effectiviteit van index-only controle als een potentieel dreigingsveld benadrukt.
• Robuustheid: De aanval blijft effectief over verschillende backbone architecturen (ResNet-18, ViT-Tiny, ConvNeXt-Base) en replay methoden, hoewel methoden zoals ER-ACE een iets hogere robuustheid vertonen.
• Overhead: De aanval introduceert minimale computationele overhead (ongeveer 3.5% voor KL en 7.1% voor TV) ten opzichte van de baseline trainingstijd.

Betekenis en Claims

Het artikel beweert index-only replay control te hebben blootgelegd als een praktisch en gevaarlijk dreigingsveld in Continual Learning systemen. Door de trade-off tussen impact en zichtbaarheid onder auditeerbare budgetten te formaliseren, laten de auteurs zien dat een insider met beperkte privileges (alleen sampler toegang) de modelprestaties aanzienlijk kan degraderen zonder standaard compliance checks te triggeren.

Het werk vestigt een geprincipeerde impact-zichtbaarheid-budget trade-off, waarbij wordt aangetoond dat het maximaliseren van schade onder strikte divergentie-beperkingen een exacte optimalisatieprobleem is in plaats van een heuristiek. De auteurs stellen dat huidige CL-verdedigingen onvoldoende zijn tegen dergelijke "stealthy" compositie-aanvallen, omdat ze vaak uitgaan van data-corruptie of parameter-manipulatie, en de subtiele manipulatie van sampling-verdelingen over het hoofd zien. De resultaten suggereren dat het monitoren van replay statistieken alleen niet voldoende kan zijn om geavanceerde, divergentie-beperkte aanvallen te detecteren, wat nieuwe defensiemechanismen noodzakelijk maakt die rekening houden met de strategische manipulatie van replay indices.