Resumo Técnico: Teoria da Aprendizagem Contínua Contra Ataques de Envenenamento de Dados

Declaração do Problema

A Aprendizagem Contínua (CL - Continual Learning) permite que modelos aprendam sequencialmente a partir de um fluxo de tarefas de dados, abordando o compromisso entre estabilidade e plasticidade para evitar o esquecimento catastrófico. Embora avanços teóricos recentes tenham estabelecido limites de generalização rigorosos para a CL baseada em regularização, esses frameworks negligenciam amplamente as ameaças de segurança. Especificamente, os modelos de CL são vulneráveis a ataques de envenenamento de dados, nos quais um adversário injeta perturbações maliciosas nos dados de treinamento para desencadear a divergência do aprendizado, induzir o esquecimento catastrófico ou degradar o desempenho da generalização.

Diferente do aprendizado em lote (batch learning) padrão, a CL apresenta uma vulnerabilidade única: um adversário pode manipular persistentemente o modelo através de múltiplas tarefas ao longo do tempo, enviesando sequencialmente a trajetória do modelo em direção a um objetivo adversarial. Estudos empíricos existentes demonstraram essas vulnerabilidades, mas carece-se atualmente de uma base teórica principiológica que caracterize os limites da defesa e a dinâmica das interações adversariais na CL.

Metodologia

O artigo formula a interação entre um adversário e um defensor na CL baseada em regularização como um jogo de soma zero online. O adversário visa maximizar o excesso de risco cumulativo, enquanto o defensor projeta termos de regularização para minimizar esse risco sob ataque.

1. Caracterização do Ataque

Os autores definem as capacidades do adversário ao longo de três dimensões:

• Frequência: Se os ataques ocorrem frequentemente (escalando linearmente com o número de tarefas $T$) ou infrequentes (um número finito de ataques).
• Magnitude: Se o orçamento de envenenamento por ataque é limitado (sublinear em $T$) ou ilimitado (linear ou superlinear em $T$).
• Padrão: Se o ataque induz um deslocamento de distribuição (distributional shift / deslocado) ou apenas adiciona ruído sem deslocar a média (não deslocado).

2. Estrutura Teórica

A estrutura de defesa é fundamentada na CL baseada em regularização, especificamente utilizando uma regra de atualização de regularização $\ell_2$ generalizada. Os autores derivam um substituto tratável para o objetivo adversarial aproximando o excesso de risco usando expansões de Taylor e matrizes Hessianas. Isso permite a análise de estratégias de defesa ótimas contra perturbações de pior caso.

O artigo analisa dois regimes de defesa distintos baseados nas características do ataque:

Regime A: Ataques Infrequentes, Ilimitados e Deslocados

Para cenários onde os ataques são raros, mas potencialmente massivos e deslocam a distribuição dos dados, os autores propõem uma Defesa de Verificação Tarefa-a-Tarefa (T2T - Task-to-Task).

• Mecanismo: O sistema computa um escore de detecção dinâmico $d_t$ baseado na diferença entre atualizações consecutivas de parâmetros ($w_t - w_{t-1}$ e $w_{t-1} - w_{t-2}$).
• Resolução do Dilema de Atribuição: Ao projetar as atualizações no subespaço comum das características das tarefas atuais e anteriores e remover a influência do estado histórico ($w_{t-2}$), o mecanismo isola desvios causados especificamente pelas duas últimas tarefas.
• Ação: Se o escore de detecção exceder um limiar teoricamente derivado, o sistema descarta as atualizações do modelo atual e da anterior, efetivamente retornando a um estado limpo.

Regime B: Ataques Frequentes, Limitados e Não Deslocados

Para cenários onde os ataques são onipresentes, mas limitados e não deslocam a distribuição (injeção estratégica de ruído), a estratégia de rejeição T2T falha porque rejeitar cada tarefa interromperia o aprendizado. Em vez disso, os autores propõam uma Defesa de Características Robusta.

• Mecanismo: O defensor otimiza a matriz de regularização $H_t$ para minimizar a sensibilidade do modelo às características envenenadas. Isso envolve resolver o problema de maximização interna do jogo de soma zero para encontrar a força de regularização ótima para cada direção própria (eigen-direction) da Hessiana.
• Estratégia: A defesa identifica um "Conjunto Protegido" de direções próprias sensíveis onde o adversário concentra seu orçamento e adapta os parâmetros de regularização para suprimir a sensibilidade nessas direções específicas, mitigando assim o impacto de pior caso.

Principais Contribuições

1. Limites de Desempenho Fundamentais: O artigo estabelece que não existe garantia de convergência provável para a CL baseada em regularização se um adversário envenenar uma fração linear das tarefas usando ruído ilimitado ou deslocamentos de distribuição. Isso define a fronteira dos regimes indefensáveis.
2. Verificação Tarefa-a-Tarefa (T2T): Um novo mecanismo de defesa para ataques ilimitados e infrequentes que desacopla atualizações históricas do estado atual para detectar e descartar tarefas envenenadas, fornecendo garantias de convergência prováveis (excesso de risco de $O(K^2/T)$) mesmo com deslocamentos ilimitados.
3. Defesa de Características Robusta: Uma estratégia de regularização ótima para ataques frequentes, limitados e não deslocados. Ao resolver o problema minimax, os autores derivam parâmetros de regularização em forma fechada que aceleram as taxas de convergência em comparação com métodos padrão, mitigando efetivamente o impacto do ruído estratégico.
4. Estrutura Teórica Unificada: O trabalho fornece a primeira análise formal da resiliência adversarial na CL, unindo a lacuna entre defesas heurísticas e garantias teóricas rigorosas.

Resultados Experimentais

Os autores validam seus achados teóricos em conjuntos de dados realistas (CIFAR-10 e CIFAR-100) usando tanto modelos lineares (cabeça linear de ViT pré-treinado) quanto modelos não lineares (CNNs treinadas do zero).

• Ataques Deslocados Infrequentes: A defesa T2T detecta com sucesso os ataques (indicado por picos no escore de detecção $d_t$) e mantém a precisão de teste comparável à linha de base sem ataque após descartar as tarefas envenenadas. Em contraste, as linhas de base padrão como EWC e iCaRL sofrem degradação significativa de precisão.
• Ataques Não Deslocados Frequentes: A defesa de característica robusta acelera a convergência do excesso de risco e mantém uma precisão de teste superior em comparação com o EWC padrão e o iCaRL baseado em memorização. Notavelmente, enquanto o iCaRL performa bem contra ataques infrequentes devido ao seu buffer de replay, ele tem desempenho inferior sob ataques estratégicos frequentes porque carece da estrutura de regularização específica para combater a injeção de ruído direcionada.
• Validação Sintética: Experimentos em tarefas de regressão linear sintética confirmam as taxas de convergência teórica, mostrando que a defesa robusta proposta supera o regularizador EWC padrão na presença de ruído estratégico.

Significância e Alegações

O artigo afirma estabelecer a primeira fundação teórica para compreender e defender a CL baseada em regularização contra o envenenamento de dados. Ao modelar a interação como um jogo de soma zero online, os autores demonstram que:

• Existem limites fundamentais para a defensibilidade; especificamente, ataques frequentes com ruído ilimitado ou deslocamentos são provadamente indefensáveis.
• Dentro de regimes viáveis, mecanismos específicos (verificação T2T e otimização de característica robusta) podem fornecer garantias de desempenho prováveis e acelerar a convergência.
• As defesas propostas oferecem uma alternativa rigorosa às abordagens heurísticas, oferecendo uma estrutura analítica unificada que une os limites teóricos e a resiliência prática contra o envenenamento de dados adversarial.

Os autores observam que seu trabalho foca em paradigmas baseados em regularização, pois métodos baseados em memorização são frequentemente heurísticos e analiticamente difíceis de unificar sob uma única estrutura teórica, embora sirvam como benchmarks empíricos nos experimentos. Sugere-se que trabalhos futuros estendam essas teorias para redes neurais de larga escala e outros frameworks de CL, como métodos baseados em replay.