Resumo Técnico: Retenção de Atenção para Aprendizado Contínuo com Vision Transformers

Declaração do Problema

O Aprendizado Contínuo (CL - Continual Learning) visa permitir que sistemas de IA adquiram conhecimento progressivamente a partir de fluxos de dados não estacionários. No entanto, o esquecimento catastrófico continua sendo uma barreira crítica, onde o aprendizado de novas tarefas degrada o desempenho nas tarefas aprendidas anteriormente. Embora existam várias estratégias (reprodução, expansão, regularização), este artigo identifica um mecanismo específico de esquecimento em Vision Transformers (ViTs): a deriva de atenção (attention drift).

Os autores observam que, à medida que os ViTs aprendem novas tarefas, seus mecanismos de atenção deslocam-se significativamente das características discriminativas de conceitos visuais previamente aprendidos. Ao contrário dos sistemas visuais humanos, que mantêm a atenção seletiva em características fundamentais mesmo conforme novos conceitos são adquiridos, os ViTs perdem essa estabilidade, levando à erosão do conhecimento aprendido. Métodos existentes frequentemente falham em abordar esse drift específico no mecanismo de atenção dos ViTs, particularmente em configurações sem reprodução (replay-free), onde o armazenamento de dados de tarefas anteriores é proibido.

Metodologia: ARCL-ViT

O framework proposto, ARCL-ViT (Attention-Retaining Continual Learning with Vision Transformers), aborda a deriva de atenção ao restringir explicitamente as atualizações de gradiente durante o aprendizado de novas tarefas. O método opera sem armazenar dados de tarefas anteriores e consiste em duas etapas primárias:

1. Geração de Máscara Adaptativa

Após concluir uma tarefa $T_{t-1}$, o modelo gera uma máscara binária para identificar regiões de atenção críticas.

• Rollout por Camada: Em vez de usar mapas de atenção brutos de uma única camada, o método emprega um mecanismo de layer-wise rollout. Ele agrega matrizes de atenção ativadas através de todas as camadas ($L$) para computar um mapa de atenção abrangente $\hat{S}^l_{t-1}$. Isso envolve multiplicar matrizes de atenção transformadas ($\tilde{S} = I + S$) para capturar o fluxo de informação desde a entrada até o token de classe.
• Limiar Adaptativo por Instância: Para lidar com tamanhos variados de regiões discriminativas entre imagens, evita-se um limiar fixo. O método ordena os valores de atenção e identifica um ponto de inflexão (via derivada de segunda ordem) onde os valores transitam de regiões de fundo para regiões salientes. Isso determina um limiar adaptativo $\tau$, gerando uma máscara binária $M$ onde regiões de alta atenção são marcadas como 0 (a serem preservadas) e regiões de baixa atenção como 1.

2. Mascaramento de Gradiente e Adaptação do Otimizador

Durante o treinamento da tarefa atual $T_t$, a máscara gerada é usada para suprimir atualizações que alterariam os padrões de atenção de tarefas anteriores.

• Zerar Gradientes: A máscara é aplicada elemento a elemento aos gradientes das projeções de Query ($Q$), Key ($K$) e Value ($V$) dos pesos ($W_q, W_k, W_v$). Especificamente, os gradientes correspondentes às regiões de alta atenção da tarefa anterior são zerados. Isso impede que o processo de otimização desloque o foco do modelo para longe dos conceitos aprendidos anteriormente.
• Compatibilidade do Otimizador: Simplesmente zerar gradientes pode interromper otimizadores modernos (ex: Adam) que dependem de estatísticas de momentum e variância, potencialmente causando atualizações instáveis. Para mitigar isso, os autores propõem um mecanismo de escala. A atualização de parâmetro $\Delta W'$ é escalonada proporcionalmente à razão entre o gradiente mascarado e o gradiente original. Isso garante que a magnitude relativa das atualizações seja mantida, permitindo que o otimizador funcione corretamente enquanto ainda respeita as restrições de atenção.

Principais Contribuições

1. Identificação da Deriva de Atenção: O artigo estabelece a deriva de atenção em ViTs como uma fonte primária de esquecimento catastrófico no aprendizado contínuo, destacando a necessidade de preservar a atenção seletiva para conceitos visuais anteriores.
2. Framework Inovador (ARCL-ViT): Um framework baseado em gradiente é introduzido para restringir a deriva de atenção sem exigir reprodução de dados. Ele utiliza um layer-wise rollout para extração robusta de mapas de atenção e uma estratégia de limiar adaptativo para geração precisa de máscaras.
3. Mascaramento de Gradiente Consciente do Otimizador: O método introduz uma técnica de escala para garantir que o mascaramento de gradiente seja compatível com otimizadores adaptativos, prevenindo instabilidade de otimização enquanto preserva efetivamente os padrões de atenção aprendidos.
4. Desempenho de Estado da Arte: A abordagem alcança resultados superiores em diversos benchmarks e esquemas de pré-treinamento, demonstrando generalização robusta.

Resultados Experimentais

O método foi avaliado em quatro benchmarks de aprendizado incremental de classes: 10-split e 20-split ImageNet-R, 10-split CIFAR-100 e 10-split DomainNet.

• Desempenho: O ARCL-ViT alcançou desempenho de estado da arte (SOTA), superando métodos recentes (ex: VPT-CPG, SD-LoRA, BiLoRA) em uma média de 1,8% a 3,7% em acurácia nos benchmarks.
• Redução do Esquecimento: O método reduziu significativamente o esquecimento catastrófico. Por exemplo, no 10-split ImageNet-R, alcançou 81,17% de acurácia com 4,84% de esquecimento, comparado à linha de base de ajuste fino sequencial (Seq-FT), que sofreu 44,31% de esquecimento e apenas 4 de 49,43% de acurácia.
• Estudos de Ablação:
  • Construção da Máscara: A combinação de layer-wise rollout e limiar adaptativo produziu os melhores resultados, superando a atenção bruta ou limiares fixos.
  • Regiões Mascaradas: Provaram-se essenciais o mascaramento das regiões de atenção específicas de tarefas anteriores; mascarar regiões aleatórias ou regiões de não-atenção resultou em esquecimento significativamente maior.
• Generalização:
  • Pesos de Pré-treinamento: O método generalizou bem entre diferentes pesos pré-treinados (DINO-1k e iBOT-1k), superando consistentemente os baselines em ~37% de ganho de acurácia sobre o Seq-FT.
  • CL de Longa Sequência: Em configurações desafiadoras de longa sequência (50 e 100 splits), o ARCL-ViT manteve acurácia superior e alcançou um melhor equilíbrio entre plasticidade e estabilidade comparado aos métodos SOTA existentes.
• Visualização: A análise quantitativa da deriva de atenção mostrou que o ARCL-ViT manteve a menor deriva (6,0%) comparado ao Seq-FT (25,9%), confirmando visualmente a preservação da atenção em conceitos visuais chave.

Significância e Alegações

O artigo afirma que, ao alinhar o mecanismo de atenção do ViT com princípios biológicos de atenção seletiva, é possível mitigar o esquecimento catastrófico de forma eficaz sem o custo de armazenamento de métodos baseados em reprodução. Os autores posicionam seu trabalho como um passo significativo para construir sistemas de aprendizado contínuo que se assemelham à inteligência biológica, especificamente ao estabilizar os "recursos neurais" (atenção) dedicados a conceitos visuais aprendidos anteriormente. O método é apresentado como uma solução robusta, livre de dados (data-free), compatível com técnicas de otimização modernas e que generaliza através de diversas estratégias de pré-treinamento e cenários de aprendizado de longo prazo.