Resumo Técnico: Gated DeltaNet-2

Declaração do Problema

Mecanismos de atenção linear oferecem uma alternativa convincente à atenção softmax padrão ao substituir o cache ilimitado por um estado recorrente de tamanho fixo, reduzindo assim a mistura de sequências a tempo linear e a decodificação a memória constante. No entanto, um gargalo fundamental permanece nos modelos de regra delta (como DeltaNet, Gated DeltaNet e Kimi Delta Attention/KDA). Embora esses modelos melhorem o gerenciamento de memória permitindo sobrescritas direcionadas de associações, eles dependem de um portão escalar ($\beta_t$) para controlar simultaneamente duas operações distintas:

1. Apagamento: Decidir quanto do conteúdo antigo (lido do lado da chave) deve ser removido.
2. Escrita: Decidir quanto do novo conteúdo (do lado do valor) deve ser comprometido.

O artigo argumenta que tratar essas operações como uma única decisão escalar é uma restrição de modelagem. O apagamento atua no eixo da chave (determinando quais coordenadas da leitura antiga remover), enquanto a escrita atua no eixo do valor (determinando quais coordenadas do valor entrante comprometer). O acoplamento dessas decisões limita a capacidade do modelo de editar seletivamente a memória comprimida sem embaralhar associações existentes, particularmente em cenários de contexto longo onde muitas associações competem pelo mesmo espaço de estado finito.

Metodologia: Gated DeltaNet-2

Os autores propõem o Gated DeltaNet-2, uma camada de atenção recorrente que desacopla as operações de apagamento e escrita dentro da regra delta.

1. Regra Delta Portão-2

A inovação central é a separação do portão escalar em dois portões independentes, por canal:

• Portão de Apagamento ($b_t \in [0, 1]^{d_k}$): Um vetor por canal aplicado à dimensão da chave. Ele pondera as coordenadas da leitura atual ($e_t = b_t \odot k_t$) para determinar quais partes do estado antigo são apagadas.
• Portão de Escrita ($w_t \in [0, 1]^{d_v}$): Um vetor por canal aplicado à dimensão do valor. Ele pondera as coordenadas do valor entrante ($z_t = w_t \odot v_t$) para determinar quais partes do novo valor são comprometidas.

A equação de atualização do estado torna-se:
$$S_t = (I - k_t(b_t \odot k_t)^\top) D_t S_{t-1} + k_t(w_t \odot v_t)^\top$$
Onde $D_t = \text{Diag}(\alpha_t)$ representa o decaimento por canal herdado do KDA.

Esta formulação generaliza modelos anteriores:

• Se $b_t$ e $w_t$ estiverem vinculados ao mesmo escalar $\beta_t$, recupera-se o KDA.
• Se o decaimento $\alpha_t$ também estiver vinculado a um escalar, recupera-se o Gated DeltaNet.

2. Perspectiva de Atualização de Pesos Rápidos

Os autores interpretam a atualização como um passo de otimização online em uma perda de regressão local. O modelo minimiza a distância entre o novo estado e uma memória decaída, sujeita a uma edição associativa que corrige o valor lido ($\bar{S}_{t-1}^\top e_t$) em direção ao alvo portão ($z_t$). Essa visão esclarece que a atualização subtrai a leitura antiga portão antes de adicionar o novo valor portão.

3. Treinamento Paralelo Eficiente por Blocos

Para manter a eficiência do treinamento, os autores derivam um algoritmo WY (semelhante ao KDA) que absorve o decaimento cumulativo por canal nos fatores de apagamento de posto um.

• Absorção de Decaimento: O decaimento por canal é normalizado nas matrizes de apagamento ($\bar{E}$) e escrita ($Z$), permitindo que a recorrência seja expressa como uma atualização delta puramente assimétrica.
• Resolução Triangular: O cálculo por blocos envolve resolver um sistema triangular inferior $(I+T)^{-1}$ para calcular matrizes auxiliares $Y$ (lado do apagamento) e $U$ (lado da escrita).
• Passagem de Retropropagação Consciente de Portões: Uma contribuição técnica crítica é a derivação da passagem de retropropagação. Diferentemente de modelos com portão escalar, onde o fator do portão pode ser extraído de produtos internos, o Gated DeltaNet-2 exige que os portões por canal ($b_t$ e $w_t$) sejam incorporados diretamente na acumulação de gradientes para as matrizes auxiliares. Isso garante o fluxo correto de gradientes sem quebrar a estrutura eficiente por blocos.

4. Arquitetura

O modelo é implementado como um misturador de tokens em um bloco no estilo Transformer padrão. Ele suporta configurações apenas recorrentes e híbridas. A variante híbrida intercala o misturador Gated DeltaNet-2 com Atenção de Janela Deslizante (SWA) para lidar com interações locais exatas, enquanto a camada recorrente gerencia dependências de longo alcance.

Principais Resultados

O modelo foi avaliado com 1,3 bilhão de parâmetros treinados em 100 bilhões de tokens FineWeb-Edu, comparado a Mamba-2, Gated DeltaNet, KDA, Mamba-3 (SISO/MIMO) e Transformers.

• Modelagem de Linguagem e Raciocínio: O Gated DeltaNet-2 alcançou os melhores resultados gerais tanto em configurações recorrentes quanto híbridas em perplexidade (WikiText, LAMBADA) e em benchmarks de raciocínio de senso comum zero-shot (PIQA, HellaSwag, etc.).
• Recuperação de Contexto Longo (RULER): Os ganhos mais significativos foram observados nas tarefas Multi-Key Needle-In-A-Haystack (MK-NIAH). Nesses cenários, onde um estado de tamanho fixo deve separar associações concorrentes, o Gated DeltaNet-2 superou todas as linhas de base, particularmente à medida que o comprimento do contexto aumentava (até 8 mil tokens).
• Recuperação do Mundo Real: Em tarefas envolvendo extração e resposta a perguntas (SQuAD, TriviaQA, DROP), o modelo híbrido Gated DeltaNet-2 alcançou a maior precisão média, demonstrando robustez em contextos ruidosos e do mundo real.
• Eficiência: A análise de vazão em GPUs H100 mostrou que o Gated DeltaNet-2 mantém uma escalabilidade quase plana à medida que o comprimento da sequência cresce, com apenas uma sobrecarga constante modesta em comparação ao KDA devido aos portões adicionais por canal.

Significado e Alegações

O artigo alega que desacoplar a edição ativa da memória ataca diretamente o principal ponto de pressão da recorrência de estado fixo: a interferência entre muitas associações comprimidas.

• Flexibilidade de Modelagem: Ao separar apagamento e escrita, o modelo pode limpar um contexto amplo via decaimento, remover associações específicas obsoletas via portão de apagamento e inserir apenas os canais de valor necessários via portão de escrita. Essa flexibilidade permite que o modelo recupere o KDA e o Gated DeltaNet como casos especiais enquanto aprende estruturas de canal mais complexas quando necessário.
• Validação Empírica: Estudos de ablação confirmam que ambos os portões contribuem para o desempenho, com o portão de apagamento por canal ($b_t$) respondendo pela maioria dos ganhos em modelagem de linguagem e recuperação.
• Praticidade: O trabalho demonstra que mecanismos avançados de controle de memória podem ser integrados à atenção linear sem sacrificar a eficiência de treinamento paralela necessária para treinamento em grande escala.

Os autores concluem que o Gated DeltaNet-2 representa um passo à frente na "fronteira da atenção recorrente", oferecendo um mecanismo mais expressivo e eficiente para gerenciar memória comprimida em cenários de contexto longo.