🤖 machine learning

Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences

Este trabalho introduz a Preconditioned DeltaNet, um modelo de recorrência linear que incorpora pré-condicionamento baseado na curvatura da perda de mínimos quadrados online para melhorar o desempenho em tarefas de linguagem e recuperação de contexto longo, superando as limitações de aproximações de primeira ordem existentes.

Autores originais: Neehal Tumma, Noel Loo, Daniela Rus

Publicado 2026-04-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Neehal Tumma, Noel Loo, Daniela Rus

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ler um livro gigante, mas sua memória é muito curta. Você consegue lembrar perfeitamente do que aconteceu na página anterior, mas conforme o livro cresce (para 100 páginas, 1.000 páginas), você começa a esquecer os detalhes importantes do início da história.

No mundo da Inteligência Artificial, os modelos de linguagem (como o que você está usando agora) sofrem com esse mesmo problema. Para lembrar de tudo, eles usam uma técnica chamada "Atenção" (Attention), que é como olhar para todas as páginas anteriores ao mesmo tempo. O problema é que, quanto mais longo o livro, mais difícil e lento fica esse processo, como tentar encontrar uma agulha num palheiro que cresce exponencialmente.

Para resolver isso, cientistas criaram modelos mais rápidos e eficientes, chamados de DeltaNet e seus amigos (GDN, KDA). Eles funcionam como um "caderno de anotações" inteligente: em vez de reler tudo, eles atualizam suas anotações token por token (palavra por palavra). É rápido e eficiente, mas tem um defeito: às vezes, eles atualizam as anotações de forma "bruta", sem considerar a geometria complexa do que estão aprendendo. É como tentar ajustar um rádio sintonizado em uma estação com apenas um botão de volume, sem um botão de sintonia fina.

A Grande Ideia: O "Pré-Condicionador" (Preconditioning)

Os autores deste artigo, Neehal Tumma e Noel Loo, trouxeram uma ideia brilhante da matemática de otimização: Pré-condicionamento.

Pense no pré-condicionamento como colocar um lente de aumento inteligente ou um filtro de áudio no seu sistema de anotações.

O Problema Antigo: Imagine que você está aprendendo a dirigir. O carro (o modelo) tem um volante que gira muito rápido em uma direção (alguns dados são muito fortes) e quase não mexe em outra (outros dados são fracos). Se você tentar virar o volante com a mesma força em todas as situações, vai ter dificuldade em fazer curvas suaves. O modelo antigo tratava todos os "detalhes" (chaves) da mesma forma, sem saber quais eram mais importantes ou quais precisavam de mais cuidado.
A Solução Nova (Pré-Condicionada): Os autores adicionaram um "ajustador automático" que olha para a direção do vento (a curvatura dos dados) antes de fazer a anotação. Se um detalhe é muito "ruidoso" ou "forte", o ajustador o suaviza. Se é muito "fraco", ele o amplifica. Isso permite que o modelo aprenda de forma muito mais precisa e rápida, como se tivesse um piloto experiente ajustando a direção em tempo real.

Como eles fizeram isso na prática?

Eles não queriam um sistema complexo que ficasse lento (como tentar calcular a trajetória de cada gota de chuva). Então, eles criaram uma aproximação diagonal.

A Analogia da Grade: Imagine que o conhecimento do modelo é uma grade de luzes. O método antigo ligava e desligava as luzes de forma aleatória. O novo método olha para cada linha e coluna da grade individualmente e ajusta o brilho de cada uma separadamente. É mais simples do que calcular a interação de todas as luzes entre si, mas ainda muito mais inteligente do que o método original.

O Que Eles Descobriram?

Eles testaram essa nova técnica (chamada de Preconditioned DeltaNet) em dois cenários:

O Teste da Agulha no Palheiro (Recall): Eles deram ao modelo uma história longa e pediram para encontrar uma informação específica no meio dela. O modelo com o "ajustador automático" (Pré-Condicionado) encontrou a informação com muito mais facilidade e precisão do que os modelos antigos.
Escrever Histórias (Modelagem de Linguagem): Eles deixaram o modelo escrever textos. Os textos gerados pelo modelo novo foram mais coerentes e inteligentes, especialmente em textos longos.

Por que isso é importante?

Imagine que você tem um carro de corrida (o modelo de IA). Até agora, ele era rápido, mas em curvas fechadas (contextos longos), ele perdia o controle. Os autores não construíram um novo carro do zero; eles apenas melhoraram o sistema de suspensão e a direção do carro existente.

Resultado: O carro continua sendo rápido (eficiente computacionalmente), mas agora consegue fazer curvas fechadas sem derrapar.
Impacto: Isso significa que podemos ter modelos de IA que lembram de conversas inteiras, documentos longos ou livros inteiros, sem precisar de computadores superpotentes e caros para processar tudo.

Resumo em uma frase:

Os autores pegaram modelos de IA que já eram rápidos e eficientes, mas um pouco "toscos" ao lembrar de coisas, e adicionaram um sistema de ajuste fino inteligente que permite que eles aprendam e lembrem de informações longas com muito mais precisão, sem perder a velocidade. É como dar óculos de grau para um modelo que já tinha boa visão, mas precisava de foco.

Resumo Técnico: Preconditioned DeltaNet

1. O Problema

O escalonamento de Modelos de Linguagem (LLMs) para contextos longos é limitado pelo custo computacional quadrático da atenção softmax. Para contornar isso, foram desenvolvidos operadores recorrentes subquadráticos, como Mamba-2, DeltaNet, Gated DeltaNet (GDN) e Kimi Delta Attention (KDA).

No entanto, uma análise teórica recente através da estrutura de Regressão em Tempo de Teste (Test-Time Regression - TTR) revela que esses modelos recorrentes (baseados na regra delta) podem ser interpretados como passos de descida de gradiente online (SGD) para resolver um problema de mínimos quadrados. A limitação fundamental identificada é que essas atualizações são aproximações de primeira ordem que ignoram a curvatura (geometria) da função de perda de mínimos quadrados. Modelos que tentam resolver isso exatamente (como Mesalayer/MesaNet) sofrem com falta de paralelismo ou instabilidade numérica, enquanto os modelos atuais ignoram completamente a informação de segunda ordem.

2. Metodologia

Os autores propõem a introdução de precondicionamento nas recorrentes lineares para incorporar informações de segunda ordem (curvatura) de forma eficiente e estável.

Fundamentação Teórica (TTR):
- O trabalho demonstra que, sob um precondicionador exato (a inversa da matriz Gram dos keys), a Atenção Linear e o DeltaNet tornam-se equivalentes e recuperam a solução exata de mínimos quadrados.
- Eles definem duas formas de aplicar o precondicionador:
  1. ATQ (Apply-to-Query): Aplicar o precondicionador ao query (equivalente à Atenção Linear pré-condicionada).
  2. ATK (Apply-to-Key): Aplicar o precondicionador ao key de escrita (equivalente ao DeltaNet pré-condicionado).
Aproximação Diagonal Eficiente:
- Calcular a inversa exata da matriz Gram é sequencial e ineficiente. Para manter a eficiência e o paralelismo, os autores propõem uma aproximação diagonal da matriz Gram (acumulando momentos de segunda ordem por dimensão).
- Isso permite a derivação de formas paralelas por blocos (chunkwise), essenciais para o treinamento eficiente em GPUs.
Estabilidade e Parametrização:
- A distribuição empírica dos elementos da matriz de precondicionador é log-normal, o que causa instabilidade.
- Para resolver isso, propõem uma parametrização não-linear que "espreme" (squash) o precondicionador em um intervalo estável $[1/x, x]$ (onde $x \le 2$ ), garantindo que os autovalores da matriz de transição permaneçam dentro do disco unitário (estabilidade).
- Introduzem a distinção entre Key de Leitura ( $k_t$ ) e Key de Escrita ( $\tilde{k}_t$ ), onde este último é o key original pré-condicionado.
Taxonomia DGPS:
- Os autores propõem uma nova taxonomia para recorrentes lineares baseada em quatro eixos ortogonais: Decay (decaimento), Gain (ganho), Preconditioner (precondicionador) e Solve (solução: online vs. offline). Isso unifica e generaliza modelos existentes.

3. Principais Contribuições

Equivalência Teórica: Derivação de que, com precondicionamento exato, Atenção Linear e DeltaNet são realizações do mesmo operador, recuperando a solução exata de mínimos quadrados.
Algoritmos Paralelos: Desenvolvimento de formas paralelas por blocos para Preconditioned DeltaNet (PDN), Preconditioned Gated DeltaNet (PGDN) e Preconditioned KDA (PKDA) usando uma aproximação diagonal estável.
Implementação Eficiente: Criação de kernels customizados (Triton) que adicionam apenas ~10% de overhead em relação aos modelos base (GDN/KDA), sendo significativamente mais rápidos que alternativas exatas como MesaNet.
Taxonomia Unificada: Introdução do framework DGPS para classificar e projetar futuros modelos de recorrentes lineares.

4. Resultados Experimentais

Os modelos foram treinados e avaliados em escalas de 340M e 1B de parâmetros no conjunto de dados SlimPajama.

Desempenho em Tarefas de Sintéticas (MQAR):
- As versões pré-condicionadas (PDN, PGDN) mantiveram ou melhoraram a precisão em tarefas de recuperação associativa em comparação com seus pares não pré-condicionados, especialmente em sequências longas.
Modelagem de Linguagem e Raciocínio:
- Em benchmarks de raciocínio de senso comum (PIQA, HellaSwag, ARC, etc.), as versões pré-condicionadas superaram consistentemente as versões base. Por exemplo, o PGDN foi o melhor modelo na escala de 340M em raciocínio de senso comum.
Recuperação em Contexto (In-Context Retrieval):
- Houve melhorias significativas em tarefas de recuperação, como o benchmark S-NIAH (Needle In A Haystack). O PGDN e PKDA mostraram capacidades superiores de reter informações em contextos longos (até 8K tokens) comparado aos modelos base.
Análise de Dinâmica Recorrente:
- A análise dos autovalores mostrou que o precondicionamento permite que o modelo aprenda dinâmicas de escrita mais expressivas (o produto interno entre o read key e o write key pré-condicionado desvia de 1), o que explica a melhoria na recuperação de longo prazo.

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica entre a teoria de otimização de segunda ordem e a implementação prática de modelos de sequência eficientes.

Eficiência vs. Precisão: Demonstra que é possível incorporar informações de curvatura (segunda ordem) em modelos recorrentes sem sacrificar a eficiência computacional ou a estabilidade numérica, algo que modelos anteriores (como MesaNet) não conseguiam fazer de forma escalável.
Novo Espaço de Design: A taxonomia DGPS oferece um guia claro para o desenvolvimento de futuros modelos, sugerindo que o precondicionador é um "alavanca" fundamental para melhorar a capacidade de memória e recuperação de modelos lineares.
Aplicabilidade Prática: A implementação eficiente e os ganhos de desempenho em modelos de tamanho médio (340M-1B) indicam que essa técnica é viável para produção e pode ser aplicada para melhorar a eficiência de LLMs em contextos longos.

Em resumo, o Preconditioned DeltaNet representa um avanço significativo ao transformar modelos recorrentes lineares de aproximações de primeira ordem em sistemas que capturam a geometria do espaço de características, resultando em modelos mais robustos para tarefas de memória e contexto longo.