Resumo Técnico: Sobre Arquiteturas Subquadráticas: Das Aplicações aos Princípios

Problema

Os Transformers dominam atualmente a modelagem de sequências, mas sofrem com custos de atenção quadráticos, o que motiva o desenvolvimento de alternativas subquadráticas baseadas em mecanismos recorrentes, de espaço de estados e de atenção linear. Embora modelos de fundação híbridos substituam cada vez mais as camadas de atenção por operadores subquadráticos (ex: Samba, Nemotron Nano, Kimi Linear), permanece incerto quais designs arquiteturais específicos produzem os modelos de sequência mais eficazes para tarefas complexas. Comparações anteriores foram amplamente limitadas a benchmarks padrão de modelagem de linguagem e raciocínio de senso comum, onde as diferenças de desempenho são frequentemente marginais. O artigo aborda a falta de comparações diretas (head-to-head) em domínios de dados com dependências estruturadas de longo alcance, especificamente código e séries temporais, onde se hipotetiza que os vieses indutivos arquiteturais divergem significamente.

Metodologia

Os autores empregam uma metodologia de três frentes: avaliação empírica em domínios complexos, uma formulação teórica unificada e experimentos sintéticos controlados.

1. Avaliação Empírica em Domínios Complexos

O estudo compara três arquiteturas subquadráticas líderes: xLSTM (Beck et al., 2024), Mamba-2 (Dao e Gu, 2024) e Gated DeltaNet (Yang et al., 2024b). As avaliações são conduzidas em três configurações:

• Pré-treinamento Focado em Código: Modelos híbricos intercamadas de 400 milhões de parâmetros são pré-treinados em corpora de código (Nemotron-CC-Code-v1). O desempenho é medido via HumanEval pass@k e benchmarks de raciocínio (HellaSwag, PIQA, etc.).
• Destilação Focada em Código: Estudantes subquadráticos são destilados de um professor Transformer forte (Qwen3-4B-Instruct) usando um pipeline de linearização. O estudo compara substituições de matriz-estado plug-in (xLSTM [1:0] vs. Gated DeltaNet) sob idênticas receitas de inicialização e otimização.
• Pré-treinamento de Modelo de Fundação de Séries Temporais (TSFM): Os modelos são treinados em um benchmark de previsão heterogêneo (GIFT-Eval) através de cinco escalas de parâmetros (1M a 80M), isolando o backbone de mistura de sequência enquanto mantém o pipeline de previsão fixo.

2. Formulação Teórica Unificada

Para explicar as diferenças empíricas, os autores derivam um framework unificado expressando todas as três arquiteturas em termos de atenção linear com mecanismos de gating. Esta formulação padroniza a notação para escrita, esquecimento, sobrescrita e leitura do estado. A análise foca em duas capacidades primitivas:

• Acumulação: A capacidade de somar ou contar ao longo de comprimentos ilimitados.
• Rastreamento de Estado (State Tracking): A capacidade de realizar atualizações de estado finito ordenadas (ex: paridade, composição de permutação).

3. Experimentos Sintéticos Controlados

Os autores testam a hipótesidade de que as diferenças arquiteturais derivam das capacidades de acumulação e rastreamento de estado usando tarefas de generalização de comprimento. Os modelos são treinados no comprimento de sequência 128 e avaliados em 128, 512 e 2048.

• Tarefas de Acumulação: Contagem de maioria, AnBn, AnBnCn.
• Tarefas de Rastreamento de Estado: Paridade, Aritmética Modular (Z5) e problemas de palavras do grupo simétrico (S3).

Principais Resultados

Desempenho Empírico

• Pré-treinamento de Código: O xLSTM [7:1] supera consistentemente o Mamba-2 e o Gated DeltaNet em todas as configurações de treinamento (20B e 100B tokens) e orçamentos de amostragem (pass@k). A margem é mais pronunciada na geração de código (HumanEval), com o xLSTM melhorando sobre o próximo melhor backbone em até 1,81 pontos.
• Destilação de Código: Na configuração de destilação, o xLSTM [1:0] (mLSTM) alcança o maior pass@1 médio através de quatro benchmarks de código, superando tanto o Gated DeltaNet padrão quanto sua variante de autovalor negativo.
• Pré-treinamento de Séries Temporais: O xLSTM [3:1] demonstra desempenho superior em previsão zero-shot (MASE e CRPS) de 1M a 40M de parâmetros. Em 80M de parâmetros, a lacuna diminui, com o Mamba-2 liderando ligeiramente em CRPS, mas o xLSTM permanece competitivo.

Achados Teóricos e Sintéticos

• Análise Unificada: Os autores identificam que o Mamba-2 vincula seus portões de entrada e de esquecimento (semelhante a um GRU), limitando sua expressividade. O Gated DeltaNet explicitamente sobrescreve valores antigos, o que auxilia na recuperação, mas dificulta a acumulação. O xLSTM separa a atenção de matriz-estado da atualização recorrente, permitindo uma correção de memória flexível via um portão de entrada exponencial.
• Tarefas Sintéticas:
  • Mamba-2: Falha em generalizar tanto em tarefas de acumulação quanto de rastreamento de estado além do comprimento de treinamento.
  • Gated DeltaNet: A variante padrão falha no rastreamento de estado; a variante de autovalor negativo [−1, 1] resolve o rastreamento de estado in-distribution, mas falha ao generalizar para sequências mais longas (ex: a precisão de Paridade cai de 1,00 para 0,47 no comprimento 2048).
  • xLSTM: O xLSTM [1:0] destaca-se na acumulação (contagem), mas falha no rastreamento de estado. O híbrido xLSTM [1:1] combina com sucesso ambos, alcançando rastreamento de estado perfeito e forte extrapolação de contagem.

Significância e Alegações

O artigo alega que a vantagem do xLSTM em tarefas de sequência complexas decorre de sua capacidade de combinar um rastreamento de estado robusto com uma acumulação do tipo contagem.

• Mecanismo Arquitetural: Os autores argumentam que o esquema de gating do xLSTM permite uma correção de memória mais flexível e estável comparado aos portões vinculados do Mamba-2 ou à sobrescrita explícita do Gated DeltaNet.
• Princípio de Design: Os resultados sugerem que, para domínios complexos como código e séries temporais, a arquitetura ideal é um híbrido que retém blocos de acumulação eficientes (atenção linear) como o componente dominante, enquanto incorpora um número menor de camadas recorrentes para suportar o rastreamento de estado. Isso explica o sucesso de configurações como xLSTM [7:1] e xLSTM [3:1].
• Escopo: Os achados são apresentados como a primeira comparação direta destes operadores específicos através dos domínios de código e séries temporais, indo além dos benchmarks padrão de modelagem de linguagem para revelar separações arquiteturais mais claras.

Os autores mantêm-se modestos quanto às limitações, observando que seus experimentos de código estão na escala de 400 milhões de parâmetros e que os experimentos de séries temporais são os únicos que incluem um varredura completa de escala (scaling sweep). Eles sugerem que estender estas comparações para escalas maiores e domínios de dados adicionais é um próximo passo necessário.