Attractor Patch Networks: Reducing Catastrophic Forgetting with Routed Low-Rank Patch Experts

Resumo Técnico: Attractor Patch Networks (APN)

O artigo propõe uma nova arquitetura para substituir as redes feed-forward (FFN) tradicionais em modelos Transformer, visando resolver dois problemas críticos: a ineficiência computacional de processar todos os tokens da mesma forma e o fenômeno do esquecimento catastrófico (catastrophic forgetting) durante o aprendizado contínuo.

---

1. O Problema

Os modelos Transformer atuais utilizam FFNs densas e globalmente compartilhadas. Isso gera duas tensões principais:

• Falta de Especialização: As FFNs aplicam o mesmo cálculo para todos os tokens, independentemente do contexto, desperdiçando capacidade computacional em estruturas de linguagem que poderiam ser tratadas de forma especializada.
• Interferência no Aprendizado Contínuo: Ao atualizar o modelo com novos dados (fluxo de dados), as atualizações de pesos afetam a rede inteira. Como os pesos são compartilhados, o aprendizado de um novo padrão frequentemente sobrescreve e destrói o conhecimento de padrões anteriores.

2. Metodologia: Attractor Patch Networks (APN)

A proposta é substituir a FFN por um banco de "patch experts" (especialistas em fragmentos) que operam de forma condicional e esparsa. A arquitetura funciona através de três componentes principais:

• Roteamento por Similaridade (Similarity Router): O modelo mantém um conjunto de $K$ protótipos aprendidos. Para cada token, um roteador calcula a similaridade entre a representação do token e esses protótipos, selecionando apenas os $k$ melhores (os "patches" mais relevantes).
• Código Compacto e Especialização: O token é projetado em um código de baixa dimensão ($r \ll d$). Cada patch selecionado utiliza esse código para gerar uma atualização residual através de uma transformação de baixo posto (low-rank).
• Atualizações Residuais de Baixo Posto: Em vez de transformar o token completamente, cada patch emite uma atualização $\Delta$ que é somada à representação original. Isso permite que o modelo aprenda transformações não lineares altamente especializadas para regiões específicas do espaço de representação.

3. Principais Contribuições

• Formulação de APN: Uma substituição plug-and-play para as FFNs de Transformers, mantendo a mesma interface de entrada e saída.
• Análise de Classe de Função: O artigo formaliza o APN como um operador residual de baixo posto por partes (piecewise low-rank residual operator), o que explica sua capacidade de especialização.
• Racional de Aprendizado Contínuo: Introduz o conceito de sobreposição de patches (patch overlap) como uma métrica de interferência. Se dois contextos utilizam conjuntos de patches diferentes, a atualização de um não afetará o outro, mitigando o esquecimento.
• Protocolo de Adaptação Localizada: Propõe que, durante o aprendizado contínuo, apenas os parâmetros dos patches ativos sejam atualizados, protegendo o restante da rede.

4. Resultados Experimentais

Os testes foram realizados em um modelo de linguagem de nível de caractere (baseado em Shakespeare):

• Desempenho em Modelagem de Linguagem: O APN obteve uma perplexidade (PPL) competitiva de 4.57 (comparado a 4.32 do modelo denso), apesar de ter um número maior de parâmetros, devido à sua natureza esparsa e especializada.
• Aprendizado Contínuo (O grande diferencial): Ao adaptar o modelo de um domínio A para um domínio B:
  • Retenção (Memória do Domínio A): O APN foi 2.6× melhor que o modelo denso (PPL de 11.12 vs 29.44).
  • Adaptação (Aprendizado do Domínio B): O APN foi 2.8× melhor que o modelo denso (PPL de 6.38 vs 17.78).

5. Significância e Conclusão

A importância deste trabalho reside na mudança de paradigma: em vez de tentar tornar as redes densas mais estáveis, o autor propõe uma arquitetura estruturalmente preparada para a mudança.

O APN demonstra que é possível criar modelos que são, simultaneamente, especialistas em contextos específicos e resilientes à perda de conhecimento antigo. Isso abre caminho para modelos de linguagem que podem ser atualizados continuamente em dispositivos de borda ou em fluxos de dados em tempo real sem a necessidade de retreinamento completo, resolvendo um dos maiores gargalos da inteligência artificial moderna.