Soft-TransFormers for Continual Learning

1. Declaração do Problema

Aprendizado Contínuo (CL) visa treinar modelos em uma sequência de tarefas ao longo do tempo sem esquecer o conhecimento previamente aprendido. Um grande desafio no CL é o Esquecimento Catastrófico (CF), onde atualizações para novas tarefas sobrescrevem parâmetros essenciais para tarefas antigas.

Embora o Aprendizado Contínuo Baseado em Prompts (e.g., L2P, DualPrompt) tenha surgido como uma solução eficiente em parâmetros, congelando o backbone e aprendendo prompts leves, ele enfrenta limitações significativas:

• Expressividade Limitada: Prompts modificam representações apenas implicitamente através da condicionamento de entrada, carecendo do controle fino do ajuste fino completo.
• Problemas de Escalabilidade: Gerenciar grandes pools de prompts torna-se trabalhoso à medida que o número de tarefas cresce.
• Interferência de Tarefas: Prompts lutam para capturar variações em sequências de tarefas altamente heterogêneas ou não correlacionadas.

Métodos existentes de Ajuste Fino Eficiente em Parâmetros (PEFT) como Adapters e LoRA oferecem melhor adaptação, mas frequentemente acumulam módulos específicos de tarefa ou sofrem de interferência quando a similaridade entre tarefas é baixa.

2. Metodologia: Soft-TransFormer (Soft-TF)

Os autores propõem o Soft-TransFormer (Soft-TF), um framework que combina a estabilidade de backbones congelados com a flexibilidade da adaptação completa de parâmetros, fundamentado na Hipótese do Bilhete de Loteria Bem-Inicializado (WLTH).

Hipótese Central: Hipótese do Bilhete de Loteria Bem-Inicializado (WLTH)

A hipótese postula que uma rede neural densa bem-inicializada contém:

1. Soluções globalmente estáveis que preservam o conhecimento de tarefas anteriores.
2. Subespaços locais (sub-redes suaves, de valores reais) que podem ser adaptados seletivamente para novas tarefas sem sobrescrever as informações do backbone congelado.

Arquitetura e Mecanismo

O Soft-TF opera sobre um Transformer pré-treinado congelado (e.g., ViT) e introduz dois componentes principais:

1. Máscaras Multiplicativas Suaves (Soft-Subnetworks):

   • Em vez de adicionar novas camadas (como Adapters) ou matrizes de baixo posto (como LoRA), o Soft-TF aprende máscaras multiplicativas de valores reais ($m_t$) aplicadas diretamente às projeções de Chave ($K$), Consulta ($Q$), Valor ($V$) e Saída ($O$) dentro das camadas de auto-atenção.
   • Inicialização: As máscaras são inicializadas em 1.0. Isso garante que, no início do treinamento, o cálculo seja idêntico ao do modelo pré-treinado, preservando a estrutura global.
   • Operação: Para uma tarefa $t$, o peso efetivo torna-se $\theta \odot m_t$. Isso permite que o modelo "suavemente" gateie ou module caminhos específicos dentro dos pesos congelados, permitindo adaptação específica à tarefa enquanto mantém o backbone fixo.

2. Mecanismo de Dual-Prompt:

   • O Soft-TF integra um sistema leve de Dual-Prompt consistindo em:
     • Prompts Gerais (G-Prompts): Compartilhados entre todas as tarefas para manter o contexto global.
     • Prompts Especialistas (E-Prompts): Prompts específicos de tarefa inseridos em camadas específicas.
   • Esta combinação garante forte separação e estabilidade de tarefas sem exigir IDs de tarefa explícitos durante a inferência (via mecanismos de inferência de tarefa).

Otimização e Inferência

• Treinamento: Apenas os prompts, máscaras suaves, chaves de tarefa e um classificador leve são atualizados. O backbone permanece congelado.
• Inferência de Tarefa: No momento do teste, o modelo infere a identidade da tarefa usando:
  • ID de Prompt: Correspondendo a consulta de entrada às chaves de tarefa aprendidas via similaridade cosseno.
  • ID de Gradiente: Um método de inferência one-shot que atribui pesos às sub-redes e seleciona a tarefa que minimiza a entropia.

3. Principais Contribuições

1. Framework Inovador: Introdução do Soft-TF, um paradigma de CL eficiente em parâmetros que aprende sub-redes suaves compactas e específicas de tarefa (máscaras) dentro de Transformers congelados, inspirado na WLTH.
2. Fundação Teórica: Fornece uma análise teórica mostrando que inicializar máscaras em 1.0 e otimizar em um espaço de parâmetros suaves de baixa dimensionalidade limita o desvio de parâmetros, garantindo convergência e estabilidade.
3. Desempenho de Estado da Arte: Demonstra que o Soft-TF supera as bases baseadas em prompts (L2P, DualPrompt, NoRGa), baseadas em adapters e baseadas em LoRA em múltiplos benchmarks.
4. Superioridade sobre Treinamento Conjunto: Remarkavelmente, o Soft-TF alcança desempenho que supera o "Limite Superior Conjunto" (treinar todas as tarefas simultaneamente com uma solução compartilhada), provando sua capacidade de isolar e otimizar subespaços distintos para cada tarefa.

4. Resultados Experimentais

O método foi avaliado em benchmarks de Aprendizado Incremental de Classes (CIL) usando Vision Transformers (ViT).

• Conjuntos de Dados: 10/20-Split-CIFAR100, 10-Split-TinyImageNet, 10-Split-ImageNet-R e 5-Split-CUB200.
• Métricas de Desempenho:
  • Acurácia: O Soft-TF consistentemente alcançou a maior acurácia. Por exemplo, no 10-Split-CIFAR100, o Soft-TF alcançou 92,35% de acurácia (vs. 86,50% para DualPrompt e 94,48% para NoRGa, mas com esquecimento significativamente menor).
  • Esquecimento: Reduziu drasticamente o esquecimento catastrófico. No 10-Split-CIFAR100, o esquecimento foi reduzido para 2,98% (comparado a 5,77% para DualPrompt e 1,44% para NoRGa, mas com acurácia absoluta muito maior).
  • Eficiência: Apesar de usar ~6,93M de parâmetros treináveis (comparável a LoRA/Adapter), manteve baixa latência de inferência.
• Estudos de Ablação:
  • Inicialização: A inicialização uniforme (definindo máscaras para 1.0) produziu os melhores resultados, validando a WLTH.
  • Backbones: O desempenho escalou com o tamanho do modelo (ViT-Ti a ViT-L), com ViT-L/16 alcançando 78,86% de acurácia no ImageNet-R com esquecimento mínimo.
  • Seleção de Camadas: Aplicar o Soft-TF a camadas superiores (e.g., 10-12) em configurações DualPrompt produziu resultados ótimos.

5. Significado

Este artigo aborda uma lacuna crítica no Aprendizado Contínuo ao ir além das limitações do condicionamento apenas por prompts.

• Ponte da Lacuna: Conecta com sucesso a lacuna entre a estabilidade de backbones congelados e a expressividade do ajuste fino completo.
• Mudança de Mecanismo: Ao mudar de "adicionar" parâmetros (Adapters/LoRA) ou "condicionar" entradas (Prompts) para modular pesos existentes via máscaras suaves, oferece uma maneira mais direta e eficiente de adaptar modelos pré-treinados.
• Impacto Prático: O Soft-TF fornece uma solução robusta para cenários do mundo real onde modelos devem aprender continuamente de fluxos de dados diversos sem esquecer, alcançando especialização quase ótima para cada tarefa enquanto mantém uma única estrutura de modelo compacta.

Em resumo, o Soft-TransFormer representa um avanço significativo no PEFT para Aprendizado Contínuo, demonstrando que sub-redes suaves bem-inicializadas podem desbloquear todo o potencial de Transformers congelados para aprendizado ao longo da vida.