Resumo Técnico: O que Importa na Linearização de Modelos de Linguagem?

Declaração do Problema

A linearização emergiu como uma estratégia primária para o desenvolvimento de modelos de linguagem (LMs) eficientes, substituindo o mecanismo de autoatenção $O(L^2)$ dos Transformers por misturadores de tokens subquadráticos (ex: atenção linear, recorrências com portão/gating). Embora essa abordagem vise reter o desempenho de Transformers de larga escala oferecendo inferência de tempo linear e overhead de memória constante, lacunas significativas permanecem no entendimento do campo.

A literatura atual sofre de condições de avaliação heterogêneas, variando em tamanho de modelo, orçamentos de treinamento e objetivos de destilação. Consequentemente, não está claro quais vieses indutivos específicos (como gating, decaimento ou regras de atualização delta) são mais adequados para herdar as capacidades de um Transformer. Além disso, o comportamento de escala desses modelos linearizados em relação à contagem de parâmetros e ao orçamento de tokens, bem como sua viabilidade para tarefas subsequentes como ajuste de instrução (instruction tuning) e recuperação de contexto longo, permanece uma área de investigação aberta.

Metodologia

Para abordar essas lacunas, os autores propõem um framework empírico unificado para comparar sete arquiteturas subquadráticas representativas: xLSTM, GLA, Gated DeltaNet, DeltaNet, RetNet, Kimi (KDA) e Linear Attention.

Configuração Experimental

O estudo isola o misturador de tokens como a variável primária, empregando um pipeline de destilação de três estágios que alinha os modelos estudantes com um professor Transformer pré-treinado (família SmolLM2), mantendo o professor, a distribuição de dados e a receita de treinamento constantes.

1. Alinhamento do Misturador de Tokens (Saída de Atenção): O misturador de tokens do estudante é alinhado com a saída de atenção do professor usando perda de Erro Quadrático Médio (MSE). Isso fornece um sinal de supervisão denso através de todo o caminho de mistura.
2. Alinhamento do Estado Oculto: Representações ocultas intermediárias do professor e do estudante são alinhadas via perda MSE.
3. Destilação de Conhecimento de Ponta a Ponta: O estudante é treinado de ponta a ponta usando destilação de conhecimento padrão (Previsão do Próximo Token + Divergência KL).

Dimensões de Avaliação

O estudo avalia os modelos através de três eixos experimentais distintos:

1. Leis de Escala (Scaling Laws): Os modelos são treinados em três escalas de parâmetros (140M, 360M e 1.7B) com um orçamento fixo de 3B de tokens para observar hierarquias de desempenho.
2. Maturidade Assintótica: Os modelos são fixados em ~1.7B de parâmetros e treinados com um orçamento estendido de 10B de tokens para determinar se as lacunas de desempenho se devem ao subtreinamento ou a limites arquiteturais fundamentais.
3. Adaptação de Tarefas Subsequentes (Downstream): Os estudantes destilados passam por ajuste de instrução (Pós-Treinamento SFT) e destilação consciente de instrução para avaliar sua capacidade de seguir instruções e realizar tarefas de recuperação de contexto longo (tarefas de Needle-In-A-Haystack).

Principais Contribuições e Resultados

1. Estabilidade das Hierarquias de Desempenho e Expoentes de Escala

O estudo descobre que as hierarquias de desempenho entre as arquiteturas permanecem notavelmente estáveis através das escalas (140M a 1.7B).

• Arquiteturas com Gating: Modelos com mecanismos de gating (xLSTM, Gated DeltaNet) superam consistentemente as bases sem gating (Linear Attention, RetNet).
• O Ponto de Cruzamento (Crossover): Uma descoberta crítica é um "cruzamento" na escala de 1.7B. Embora o xLSTM lidere em escalas menores, o Gated DeltaNet emerge como o melhor desempenho em 1.7B (94,2% de recuperação do desempenho do professor). Isso sugere que regras de atualização de correção de erro (regra Delta) possuem expoentes de escala superiores em comparação com alternativas puramente aditivas conforme a capacidade do modelo aumenta.
• Deficiências Intrínsecas: A lacuna de desempenho entre a Atenção Linear e os modelos com gating aumenta com a escala (de ~14% em 140M para ~20% em 1.7B), indicando que as deficiências da atenção linear aditiva são intrínsecas à arquitetura e não podem ser superadas apenas aumentando a contagem de parâmetros.

2. Resolução de Estado como um Gargalo Fundamental

Estender o treinamento para 10B de tokens revela que as lacunas relativas de desempenho são estabelecidas precocemente e persistem mesmo quando os modelos se aproximam dos limites assintóticos.

• Maturidade: O desempenho estabiliza para modelos com gating após 6–7B de tokens, enquanto modelos sem gating saturam mais cedo em níveis inferiores. Isso confirma que as lacunas não se devem ao subtreinamento, mas representam limites fundamentais de como diferentes misturadores comprimem a informação.
• Capacidades de Recuperação: Em tarefas de Needle-In-A-Haystack (NIAH), a maioria das arquiteturas sofre um colapso na resolução de estado conforme o comprimento da sequência aumenta. A Atenção Linear e o RetNet falham quase totalmente além de 512 tokens.
• Superioridade do Gated Delta-Rule: O Gated DeltaNet é a única arquitetura que mantém precisão de recuperação significativa em contextos estendidos (ex: 81,8% de precisão em 2k tokens), demonstrando que a regra delta com portão (gated delta-rule) fornece um mecanismo mais eficaz para atualizações de estado direcionadas e para evitar a saturação do estado.

3. Adaptação de Instrução e Destilação

O estudo avalia se o ajuste de instrução pode compensar fraquezas arquiteturais.

• Amplificação de Diferenças: O ajuste de instrução pós-treinamento melhora o desempenho em todas as arquiteturas, mas amplifica as diferenças existentes. Modelos mais fortes (Gated DeltaNet, xLSTM) beneficiam-se substancialmente, enquanto modelos mais fracos mostram ganhos limitados.
• Limitações da Destilação: A destilação consciente de instrução (treinando com um professor ajustado por instrução) não fornece uma vantagem consistente sobre o ajuste de instrução padrão e, em alguns casos, degrada o desempenho de recuperação de contexto longo.
• Conclusão sobre Adaptação: A adaptação de instrução não altera as restrições arquiteturais fundamentais impostas durante a linearização. A capacidade de reter e sobrescrever informações seletivamente continua sendo o fator dominante que governa o desempenho subsequente.

Significância e Alegações

O artigo argumenta que, para uma linearização bem-sucedida, os vieses indutivos arquiteturais são a principal restrição que não pode ser superada simplesmente escalando o computação de treinamento ou aumentando o orçamento de tokens de destilação.

• Hierarquia de Design: O estudo estabelece uma hierarquia clara para o design subquadrático, identificando que regras de atualização de correção de erro (regra Delta) combinadas com gating (especificamente gating por cabeça ou escalar) são mais decisivas para o sucesso do que a acumulação aditiva ou o gating por canal.
• Resolução de Estado: A pesquisa postula que a resolução de estado é um gargalo mais fundamental do que o orçamento de destilação. Modelos que não conseguem gerenciar a precisão de seu estado interno (evitando a saturação) falham em escalar efetivamente ou lidar com contextos longos, independentemente da duração do treinamento.
• Reprodutibilidade: Para facilitar pesquisas futuras, os autores liberam publicamente todos os modelos base, ajustados por instrução e destilados por instrução, garantindo a reprodutibilidade de suas descobertas.

Os autores concluem que, embora modelos subquadráticos possam ser treinados de forma estável, a escolha do misturador de tokens dita o teto de desempenho, sendo que as formulações de gated delta-rule oferecem atualmente o caminho mais robusto para modelos de linguagem eficientes e capazes de contexto longo.