Resumo Técnico: Amnesia – Um Ataque de Replay Sigiloso em Aprendizado Contínuo

Declaração do Problema

Sistemas de Aprendizado Contínuo (CL - Continual Learning) dependem de replay de experiência para mitigar o esquecimento catastrófico, tipicamente intercalando uma pequena memória de exemplos passados com dados atuais. Embora a pesquisa de segurança existente em CL tenha se concentrado em envenenamento (modificação de entradas para degradar o desempenho) e backdoors (incorporação de gatilhos para falhas direcionadas), essas abordagens carecem de restrições explícitas e auditáveis encontradas em ambientes de produção monitorados.

Em pipelines de CL implantados, os amostradores de replay são frequentemente instrumentados para conformidade, registrando telemetria como conjuntos de índices de replay, contagens de rótulos por lote e taxas de replay. Esses logs permitem "orçamentos auditáveis" onde monitores verificam se o histograma de classes de replay realizado permanece próximo de uma linha de base nominal e se a taxa de replay não foi alterada. O artigo identifica uma lacuna crítica de robustez: a vulnerabilidade de sistemas de CL a um insider de privilégio limitado que controla apenas a seleção do índice de replay (a etapa de "sonhar") sem acesso aos parâmetros do modelo, dados de pixels ou rótulos. Este atacante visa maximizar o esquecimento de tarefas passadas enquanto adere estritamente a essas restrições de visibilidade e massa auditáveis, uma superfície de ameaça anteriormente inexplorada sob restrições tão rigorosas.

Metodologia: O Ataque Amnesia

Os autores introduzem o Amnesia, um ataque de composição de replay ao nível do amostrador que enviesa quais índices são extraídos do buffer de replay. O ataque opera sob duas restrições explícitas:

1. Orçamento de Visibilidade ($\delta$): A divergência (Variação Total ou Divergência de Kullback-Leibler) entre o histograma de replay atacado e uma linha de base nominal ($p_0$) deve não exceder um limiar.
2. Orçamento de Massa ($f$): A taxa total de replay (fração de manutenção) permanece fixa.

O ataque segue um procedimento de dois passos "inclinar-e-projetar" (tilt-then-project):

1. Preferência (Inclinação / Tilt)

O atacante utiliza sinais de utilidade leves e legíveis pelo amostrador (ex: Média Móvel Exponencial da perda de entropia cruzada ou pontuações de confiança registradas como metadados) para identificar classes "prejudiciais" — aquelas cuja sobre-representação maximiza o esquecimento. Essas utilidades ($u$) são usadas para inclinar o histograma de classes nominal $p_0$ em direção a uma distribuição alvo $\tilde{p}$ que favorece classes de alta utilidade (prejudiciais).

2. Projeção (Sigilo / Stealth)

A distribuição inclinada $\tilde{p}$ é projetada de volta para a "bola de sigilo" auditável definida pela restrição de divergência $\delta$. O artigo fornece otimizadores exatos e eficientes para dois tipos de divergência:

• Divergência KL: Utiliza uma inclinação exponencial de parâmetro único ($p^*(c) \propto p_0(c) \exp(\alpha u_c)$) com uma busca de raiz unidimensional monotônica para encontrar o multiplicador $\alpha$ que satura o orçamento. Isso preserva a massa positiva em todas as classes, resultando em uma discretização mais suave.
• Divergência de Variação Total (TV): Utiliza um algoritmo de preenchimento de água (water-filling) de dois lados ganancioso que transfere massa de probabilidade de classes de baixa utilidade para classes de alta utilidade até que o orçamento de $\ell_1$ seja esgotado. Isso pode empurrar classes de baixa utilidade para zero, criando distribuições mais esparsas.

3. Realização e Escalonamento

A distribuição contínua ótima $p^*$ é convertida em cotas inteiras ($q$) para o tamanho do lote $m$. O sistema emprega um escalonador de janela usando um buffer circular para impor um orçamento por passo reduzido ($\delta_t$), garantindo que a divergência média sobre qualquer janela deslizante $W$ permaneça dentro do limite global $\delta$. Isso lida com o ruído de discretização introduzido pelo arredondamento das cotas para inteiros.

Principais Contribuições

• Ataque Amnesia: O primeiro ataque de composição de replay ao nível do amostrador que manipula a seleção de índices para maximizar o esquecimento enquanto permanece em conformidade com auditorias baseadas em logs (taxa e histograma). Ele não altera pixels, computações de perda ou parâmetros do modelo.
• Formulação Principiada: Um framework de otimização formal que maximiza o dano ($\langle u, p \rangle$) sujeito a restrições auditáveis ($Div(p \| p_0) \le \delta$ e massa fixa $m$). Os autores provam que seu passo de projeção é a classe de melhor resposta de composição de classe, dominando fracamente qualquer outro ataque de amostrador viável sob as mesmas restrições.
• Realização de Auditoria: Um pipeline prático que converte distribuições teóricas em cotas inteiras com mecanismos de "auditar-e-corrigir" e um escalonador de janela para garantir a conformidade tanto com os limites por lote quanto com os de janela deslizante.
• Avaliação Abrangente: Análise sistemática do compromisso entre impacto (esquecimento), visibilidade (divergência) e orçamento através de múltiplos datasets (Split CIFAR-10/100, CORe50, Tiny-ImageNet) e fortes baselines de replay (ER, ER-ACE, SCR, DER++).

Resultados Experimentais

Os autores avaliaram o Amnesia em quatro benchmarks de CL contra fortes baselines de replay:

• Impacto: O Amnesia consistentemente reduz a acurácia final (ACC) e piora significativamente a transferência reversa (aumenta o $-BWT$). Por exemplo, no Split CIFAR-10 com ER, o ataque reduziu a ACC de 50,4% para 29,3%, enquanto aumentou o esquecimento ($-BWT$) de 55,1 para 82,7.
• Compromisso entre Sigilo e Impacto:
  • A variante KL alcança alto impacto enquanto permanece amplamente indetectável por auditorias, com baixa divergência de cauda ($r_{batch@95}$) e zero violações de janela. Sua inclinação exponencial distribui a massa de forma mais suave, evitando a "fragmentação" que dispara alertas de auditoria.
  • A variante TV é frequentemente mais danosa (maior esquecimento), mas mais facilmente detectada, particularmente sob restrições rigorosas por classe, devido à sua tendência de criar alocações extremas e esparsas que são difíceis de realizar sob cotas inteiras.
• Comparação com Envenenamento: Apesar de operar sob restrições rigorosas de consciência de auditoria e não ter acesso aos internos do modelo ou pixels de dados, o Amnesia atinge níveis de esquecimento comparáveis ou superiores aos baselines de envenenamento de dados como BrainWash e PACOL, destacando o controle de apenas índices como uma superfície de ameaça potente.
• Robustez: O ataque permanece eficaz em diferentes arquiteturas de backbone (ResNet-18, ViT-Tiny, ConvNeXt-Base) e métodos de replay, embora métodos como ER-ACE mostrem uma robustez ligeiramente maior.
• Sobrecarga (Overhead): O ataque introduz uma sobrecarga computacional mínima (aprox. 3,5% para KL e 7,1% para TV) em relação ao tempo de treinamento baseline.

Significância e Alegações

O artigo afirma expor o controle de replay apenas por índice como uma superfície de ameaça prática e perigosa em sistemas de Aprendizado Contínuo. Ao formalizar o compromisso entre impacto e visibilidade sob orçamentos de divergência, os autores demonstram que um insider com privilégios limitados (acesso apenas ao amostrador) pode degradar significativamente o desempenho do modelo sem disparar as verificações de conformidade padrão.

O trabalho estabelece um compromisso princípio de impacto-visibilidade-orçamento, mostrando que maximizar o dano sob restrições de divergência é um problema de otimização exata, e não um heurístico. Os autores argumentam que as defesas atuais de CL são insuficientes contra tais ataques de composição sigilosos, pois frequentemente assumem que as ameaças envolvem corrupção de dados ou manipulação de parâmetros, negligenciando a manipulação sutil de distribuições de amostragem. Os resultados sugerem que monitorar estatísticas de replay isoladamente pode não ser suficiente para detectar ataques de composição sofisticados e limitados por divergência, necessitando de novos mecanismos de defesa que considerem a manipulação estratégica de índices de replay.