Resumo Técnico: Little by Little: Continual Learning via Incremental Mixture of Rank-1 Associative Memory Experts

1. Definição do Problema

O Aprendizado Contínuo (CL - Continual Learning) visa permitir que modelos adquiram novos conhecimentos incrementalmente de um fluxo de tarefas sem o esquecimento catastrófico. Embora os métodos de Ajuste Fino de Parâmetros Eficientes (PEFT - Parameter-Efficient Fine-Tuning) como a Adaptação de Baixo Rank (LoRA) sejam populares para adaptar Grandes Modelos Pré-treinados (PTMs), o LoRA padrão aplica atualizações densas que inevitavelmente perturbam os espaços de representação de tarefas anteriores, levando à interferência e ao esquecimento.

Abordagens recentes adotaram estruturas de Mistura de Especialistas (MoE - Mixture-of-Experts) com adaptadores LoRA (MoE-LoRA) para isolar a interferência de tarefas congelando especialistas antigos e adicionando novos. No entanto, o artigo identifica que esses métodos existentes de MoE-LoRA operam em uma granularidade grosseira. Ao tratar adaptadores LoRA de múltiplos ranks como unidades de especialista únicas e indivisíveis, eles sofrem de três problemas críticos:

1. Interferência: Especialistas grosseiros codificam informações de baixa especialidade, forçando a ativação de subespaços irrelevantes para entradas específicas.
2. Redundância: Novos especialistas não podem reutilizar seletivamente "átomos" específicos de conhecimento de especialistas antigos, levando a um uso ineficiente de capacidade e à necessidade de reaprender blocos inteiros.
3. Colapso de Roteamento/Recuperação: À medida que o número de especialistas grosseiros cresce, roteadores externos lutam para indexar de forma confiável o pool em expansão, levando à ambiguidade de roteamento, deriva (drift) e ao eventual colapso do desempenho dos especialistas antigos.

2. Metodologia: MoRAM

Os autores propõem o MoRAM (Mixture of Rank-1 Associative Memory), um framework que redefine o aprendizado contínuo como a expansão incremental de um sistema de memória paramétrica composto por unidades atômicas de rank-1.

Mudança Conceitual Central

Fundamentado na visão de que matrizes de pesos atuam como Memórias Associativas Lineares (Kohonen, 1972), o MoRAM trata a matriz de pesos $W$ não como um bloco monolítico, mas como uma coleção de $m$ pares chave-valor atômicos $\{(k_i, v_i)\}$.

• Formulação Chave-Valor: Uma atualização de rank-$r$ é decomposta em $r$ pares atômicos de rank-1. Cada par consiste em uma Chave ($A_{:,i}$) e um Valor ($B_{:,i}$).
• Recuperação Endereçável por Conteúdo: Em vez de um roteador externo aprendendo para onde enviar os dados, a entrada $x$ aciona automaticamente átomos de memória relevantes via uma pontuação de relevância intrínseca: $s_i = A_{:,i}x$. A saída é uma soma ponderada de valores baseada nessas pontuações.

Componentes Principais

1. Especialistas de Rank-1 de Granularidade Fina:
   Em vez de adicionar um adaptador de rank-$r$ completo por tarefa, o MoRAM introduz $r$ novos pares atômicos de rank-1 por tarefa. Esses átomos atuam como especialistas MoE de granularidade fina. O modelo congela átomos anteriores e adiciona novos incrementalmente ("pouco a pouco").

2. Mecanismo de Autoativação:
   O MoRAM elimina a necessidade de uma rede de roteamento externa treinável.

   • Pontuação de Relevância: A relevância do $i$-ésimo átomo de memória para uma entrada $x$ é computada diretamente via o produto escalar da entrada e o vetor Chave do átomo ($A_{:,i}$).
   • Normalização: As pontuações são $\ell_2$-normalizadas através de todo o ensemble de memória para estabilidade.
   • Benefício: Isso remove a instabilidade de otimização e o esquecimento associados ao treinamento de redes de roteamento auxiliares.

3. Roteamento Esparso e Especialização:
   Para evitar interferência e sobrecarga computacional, o MoRAM emprega uma estratégia de seleção esparsa:

   • Mascaramento Top-$k$: Apenas os $k$ átomos com as maiores pontuações de ativação são retidos para uma determinada entrada.
   • Escalonamento de Temperatura: Um hiperparâmetro de temperatura $\tau_{MoRAM}$ é aplicado ao softmax para aguçar a distribuição, concentrando os gradientes nos átomos "especialistas" mais relevantes e acelerando sua adaptação.
   • Poda Baseada em Limiar: Na inferência, átomos com pontuações de ativação abaixo de um limiar $\delta$ são podados para reduzir ainda mais o ruído e o custo computacional.

4. Expansão Incremental:
   Para cada nova tarefa, o modelo introduz um conjunto de novos pares de rank-1, congela todos os átomos anteriores e permite que o mecanismo de autoativação realize o roteamento através da união das memórias antigas e novas. Isso permite que o modelo reutilize semânticas compartilhadas (ex: "céu azul") enquanto especializa novos átomos para conceitos específicos da tarefa (ex: "avião").

3. Principais Contribuições

1. Framework MoRAM: Um novo framework de CL que trata o aprendizado como a expansão de uma memória paramétrica de unidades associativas de rank-1 e a inferência como recuperação de memória em tempo de teste. Isso permite a reutilização de conhecimento de granularidade fina com interferência mínima.
2. Roteamento Esparso Autoativado: Ao decompor as atualizações em átomos de memória de rank-1, o modelo forma naturalmente um MoE de granularidade fina. O mecanismo de autoativação proposto elimina roteadores externos, permitindo uma recuperação esparsa e baseada em conteúdo que evita o colapso de roteamento.
3. Superioridade Empírica: Avaliações extensas em benchmarks de visão-linguagem (CLIP) e modelos de linguagem de grande escala (LLM) demonstram que o MoRAM supera significativamente os métodos de estado da arte, alcançando melhores equilíbrios entre plasticidade e estabilidade e preservando as capacidades de generalização pré-treinadas.

4. Resultados Experimentais

O artigo avalia o MoRAM em vários benchmarks, incluindo X-TAIL (para CLIP), TRACE (para LLMs) e tarefas padrão de classificação de linguagem.

• Visão-Linguagem (CLIP): No benchmark X-TAIL, o MoRAM atinge o estado da arte nas métricas de precisão "Média" (Average) e "Última" (Last), superando métodos como MoE-Adapter, CoDyRA e RAIL-Primal. Ele melhora efetivamente a representação sem exigir IDs de domínio externos ou bancos de características.
• Grandes Modelos de Linguagem (LLMs): No benchmark TRACE usando modelos LLaMA e Gemma, o MoRAM demonstra um desempenho robusto com pontuações de Transferência Retroativa (BWT - Backward Transfer) significativamente menores (indicando menos esquecimento) em comparação com SeqLoRA, O-LoRA e TreeLoRA.
• Generalização vs. Esquecimento: No ajuste fino de geração de código (CodeAlpaca), as atualizações densas de LoRA padrão degradam o desempenho em tópicos semanticamente distantes (ex: Religiões Mundiais). O MoRAM, ao isolar o novo conhecimento em átomos de rank-1 independentes, preserva a generalização fora do domínio enquanto melhora o desempenho dentro do domínio de código.
• Eficiência: O MoRAM atinge desempenho superior usando aproximadamente um terço dos parâmetros ativos exigidos por um LoRA padrão de rank-32. Ele também mantém baixo uso de memória GPU e latência de inferência comparável aos métodos PEFT existentes.

5. Significância e Alegações

O artigo afirma que um aprendizado contínuo de alto desempenho não requer roteadores externos complexos ou expansões estruturais rígidas. Em vez disso, argumenta por uma mudança de paradigma em direção à recuperação precisa e endereçável por conteúdo de memórias atômicas de baixo rank.

• Mitigação do Esquecimento Catastrófico: Ao tratar as atualizações como átomos de memória independentes em vez de blocos emaranhados, o MoRAM evita a sobreposição de conceitos não relacionados.
• Escalabilidade: O mecanismo de mistura autoativado e esparso permite que o modelo escale para muitas tarefas sem a ambiguidade de roteamento que assola o MoE-LoRA de granularidade grosseira.
• Eficiência: O método reduz os requisitos de computação e memória, tornando a adaptação contínua de grandes modelos viável para ambientes com restrição de recursos.

Os autores concluem que o MoRAM oferece uma abordagem de expansão de memória "pouco a pouco", equilibrando plasticidade e estabilidade de forma eficaz enquanto preserva o conhecimento generalizado do modelo pré-treinado. Sugere-se que trabalhos futuros explorem configurações de temperatura adaptativas baseadas na distribuição de dados e estendam a aplicabilidade para uma gama mais ampla de PTMs.