Resumo Técnico: SamatNext v0.2-B

Declaração do Problema

O artigo aborda o esquecimento catastrófico em decodificadores Transformer autorregressivos quando submetidos ao ajuste fino sequencial em distribuições de dados variáveis (aprendizado de currículo). Em arquiteturas padrão, a otimização para uma nova distribuição de tarefas frequentemente sobrescreve o conhecimento previamente adquirido, particularmente a sintaxe fundamental e conceitos semânticos intermediários. Embora existam algoritmos explícitos de aprendizado contínuo (ex: replay, EWC), este estudo investiga se apenas os vieses indutivos de misturadores de sequência (sequence-mixer) podem alterar o equilíbrio entre retenção/plasticidade sem tais mecanismos externos. Os autores utilizam a geração de código como plataforma de pesquisa devido às suas métricas de avaliação determinísticas e baseadas em execução, que permitem a medição precisa da retenção sintática e semântica.

Metodologia

O estudo introduz o SamatNext v0.2-B, um decodificador de sequência híbrido experimental de 356 milhões de parâmetros, projetado para ser equivalente em número de parâmetros a um baseline Transformer padrão.

Arquitetura

O SamatNext v0.2-B consiste em 16 blocos de decodificação que alternam entre dois mecanismos distintos de mistura de sequência:

1. Camadas do tipo Atenção Diferencial (índices ímpares): Inspiradas na atenção diferencial, estas camadas computam dois caminhos de atenção causal usando projeções de query/key separadas. A saída final é uma soma ponderada de um caminho de atenção base e um caminho diferencial, escalonada por um parâmetro aprendível $\alpha$ (inicializado em 0.0). Embeddings de Posição Rotativa (RoPE) são aplicados a ambos os caminhos.
2. Misturadores de Estado Linear inspirados em DeltaNet (índices pares): Estas camadas utilizam mecanismos de estado linear recorrentes simplificados. Elas projetam as entradas em chaves (keys) e queries não negativas (via ReLU) e valores. O modelo mantém acumuladores de estado elemento a elemento ($S_t$ e $K_t$) através de somas cumulativas sobre a sequência. A saída é computada via divisão elemento a elemento, seguida de Normalização RMS e um parâmetro de Calibração de Escala de Saída ($s=0.25$).

Ambas as arquiteturas compartilam uma estrutura feed-forward SwiGLU e Normalização RMS. O baseline Transformer utiliza Multi-Head Attention (MHA) padrão com a contagem de parâmetros igualada ao SamatNext através do ajuste da dimensão intermediária do feed-forward.

Configuração Experimental

Os modelos foram treinados sequencialmente através de um currículo estruturado de Python:

• Estágio 2A: Fundação sintática (controle de fluxo, variáveis).
• Estágio 3: Semântica de instrução (parafraseamento, compreensão de conceitos).
• Estágio 5: Tarefas de codificação causal especializada (conclusão de função final).
• Avaliação: O desempenho foi medido no Estágio 5 (capacidade atual), Estágio 3 (retenção semântica adjacente) e Estágio 2E (holdout sintático adversário de estágio inicial).

O treinamento utilizou AdamW com um cronograma de decaimento de cosseno. A comparação principal envolveu um caminho de aprendizado de currículo padrão (taxa de aprendizado $3 \times 10^{-6}$) e uma tentativa de "resgate" para o baseline usando uma taxa de aprendizado mais alta ($1 \times 10^{-5}$).

Resultados Principais

Os resultados empíricos, apresentados na Tabela 1 do artigo, destacam uma divergência significativa nas capacidades de retenção:

• Equilíbrio Retenção/Plasticidade: O SamatNext v0.2-B alcançou uma taxa de aprovação perfeita de 100.0% na tarefa final do Estágio 5, enquanto reteve 98.8% de suas capacidades semânticas do Estágio 3. Em contraste, o baseline Transformer ou falhou em dominar o Estágio 5 (49.4% de taxa de aprovação) ou, quando forçado a aprender via uma taxa de aprendizado mais alta (97.6% de desempenho no Estágio 5), sofreu quase total esquecimento catastrófico do Estágio 3 (6.0% de retenção).
• Sintaxe de Longo Horizonte: Ambos os modelos exibiram baixa retenção no conjunto de dados sintático adversário de estágio inicial (Estágio 2E). Embora o SamatNext tenha melhorado isso para 12.0% (comparado a 0.0–3.0% para o baseline), os autores observam que isso permanece relativamente baixo, indicando que os vieses de misturador de sequência sozinhos não resolvem totalmente o esquecimento de longo horizonte.
• Fora da Distribuição (Out-of-Distribution): Em um subconjunto de HumanEval descontaminado, o SamatNext alcançou uma taxa pass@1 de 12.0% contra 8.0% do baseline, sugerindo uma leve vantagem em coerência de código geral, apesar da pequena escala do modelo.

Alegações e Significância

O artigo posiciona-se como um relatório técnico sóbrio e um estudo exploratório, evitando explicitamente alegações de resolução do esquecimento catastrófico ou estabelecimento de um novo estado da arte para modelos de código.

• Alegação Primária: A arquitetura híbrida do SamatNext v0.2-B, especificamente a combinação de Atenção Diferencial e misturadores de estado linear inspirados em DeltaNet com calibração de escala, altera o equilíbrio de retenção/plasticidade. Ela permite que o modelo se adapte a novas tarefas especializadas enquanto preserva distribuições semânticas adjacentes significativamente melhor do que um Transformer padrão com número de parâmetros equivalente.
• Hipótese do Mecanismo: Os autores sugerem que a representação de estado de tamanho fixo nos misturadores de estado linear atua como um gargalo de regularização, impedindo a sobrescrita completa dos mapeamentos de características que ocorre em camadas de atenção densas padrão.
• Limitações Reconhecidas:
  • O estudo não resolve o problema mais amplo do esquecimento catastrófico em horizontes de treinamento longos (evidenciado pela fraca retenção no Estágio 2E).
  • O currículo é sintético e limitado ao Python; os resultados podem não se generalizar para pré-treinamento de larga escala ou raciocínio complexo.
  • O estudo carece de comparações com algoritmos dedicados de aprendizado contínuo (ex: EWC, adaptadores) e ablações arquiteturais completas (ex: misturadores homogêneos).
  • A sensibilidade da taxa de aprendizado do SamatNext não foi totalmente varrida, limitando a generalizabilidade das conclusões sobre hiperparâmetros.

Em conclusão, o artigo demonstra que vieses indutivos específicos na mistura de sequência podem melhorar a estabilidade do ajuste fino sequencial em pequenos modelos de código, oferecendo uma direção promissora para pesquisas futuras em aprendizado contínuo sem mecanismos de replay explícitos.