🤖 machine learning

Delta Attention Residuals

Este artigo propõe Resíduos de Atenção Delta, uma arquitetura inovadora que substitui estados ocultos cumulativos por representações delta por camada em conexões residuais baseadas em atenção para prevenir o colapso de roteamento e alcançar melhorias significativas na perplexidade em várias escalas de modelo.

Autores originais: Cheng Luo, Zefan Cai, Junjie Hu

Publicado 2026-05-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Cheng Luo, Zefan Cai, Junjie Hu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Consertando uma Biblioteca "Ruidosa"

Imagine um modelo de aprendizado profundo (como um grande modelo de linguagem) como um estudante tentando escrever uma história. Esse estudante lê uma longa série de capítulos (camadas) para entender o contexto.

Em um modelo padrão, o estudante mantém um resumo contínuo de tudo o que leu até o momento. Quando chega ao último capítulo, seu "resumo" é uma pilha enorme e lamacenta de anotações contendo cada frase desde o início. Está tão cheio de informações antigas que é difícil encontrar algo novo ou específico.

Os pesquisadores deste artigo descobriram um problema em uma maneira mais nova e sofisticada de ler chamada Attention Residuals (Resíduos de Atenção). Neste método, o estudante pode voltar e escolher anotações específicas de capítulos anteriores para ajudar a escrever o atual. No entanto, como as anotações das quais estavam escolhendo faziam parte daquela mesma "pilha lamacenta" de resumos contínuos, as anotações pareciam quase idênticas umas às outras.

O Resultado: O estudante ficou confuso. Em vez de escolher a única nota perfeita do Capítulo 3, acabou escolhendo um pouco de tudo de todos os capítulos igualmente. Isso é chamado de "colapso de roteamento". É como tentar escolher o melhor ingrediente de um smoothie onde tudo já está misturado; você não consegue mais provar o morango, então só prova "smoothie".

A Solução: O Método "Delta"

Os autores propõem uma nova maneira chamada Delta Attention Residuals.

Em vez de olhar para o resumo contínuo inteiro (a pilha lamacenta), o estudante olha apenas para o que mudou em cada etapa específica.

A Analogia: O Canteiro de Obras
Imagine um prédio sendo construído andar por andar.

O Jeito Antigo (Estados Cumulativos): Você olha para o prédio inteiro para decidir o que fazer no 10º andar. Mas o 10º andar parece quase exatamente igual ao 9º, que parece igual ao 8º, porque todos são apenas "o prédio". É difícil diferenciá-los.
O Novo Jeito (Delta): Você só olha para a diferença feita pelos trabalhadores em cada andar específico.
- "O que os trabalhadores do 3º andar adicionaram?" (Talvez tenham adicionado uma janela).
- "O que os trabalhadores do 4º andar adicionaram?" (Talvez tenham adicionado uma varanda).

Como uma janela é muito diferente de uma varanda, esses "deltas" (mudanças) são distintos e fáceis de diferenciar.

Como Funciona na Prática

Roteamento Seletivo: Quando o modelo precisa escrever uma frase, ele pergunta: "Qual mudança específica de uma camada anterior me ajuda mais?" Como as mudanças são distintas (como a janela versus a varanda), o modelo pode fazer uma escolha nítida e confiante.
- Método Antigo: A atenção do modelo estava embaçada (como uma câmera com neblina), espalhando seu foco uniformemente por tudo.
- Novo Método: A atenção do modelo é nítida (como um ponteiro laser), focando intensamente na mudança específica de que precisa.
Adicionando, Não Substituindo: O método antigo tentava substituir o pensamento atual por uma mistura de pensamentos antigos, o que às vezes fazia o modelo esquecer o que estava fazendo no momento. O novo método adiciona a mudança útil ao pensamento atual. É como adicionar um tempero a uma sopa em vez de jogar fora a panela inteira e começar com uma sopa diferente. Isso mantém o modelo estável e impede que ele fique confuso.

O Que os Pesquisadores Encontraram

A equipe testou essa ideia em modelos de vários tamanhos, desde pequenos (220 milhões de parâmetros) até muito grandes (7,6 bilhões de parâmetros).

Melhor Desempenho: Em cada teste, os modelos "Delta" entenderam a linguagem melhor (menor "perplexidade", que é uma medida de quão confuso o modelo está) do que os modelos padrão ou os antigos modelos de "Attention Residual".
Sem Mais Confusão: Nas camadas profundas do modelo, o foco do método antigo tornava-se muito fraco (como uma luz fraca). O novo método manteve seu foco brilhante e nítido, mesmo nas partes mais profundas da rede.
Fácil de Atualizar: Uma das descobertas mais legais é que você pode pegar um modelo que já foi treinado (como um prédio pronto) e atualizá-lo para usar este método "Delta" apenas dando a ele um pouco de treinamento extra (ajuste fino). Não é necessário reconstruir todo o modelo do zero.

Resumo

O artigo resolve um problema onde modelos de IA ficam confusos porque tentam lembrar de muito de uma só vez. Ao ensinar o modelo a focar apenas no que mudou em cada etapa (o "delta") em vez de toda a história, o modelo pode tomar decisões muito mais nítidas e inteligentes, levando a um melhor desempenho em todos os tamanhos de modelos de IA.

Resumo Técnico: Resíduos de Atenção Delta

Declaração do Problema

As conexões residuais padrão em transformers profundos acumulam todas as saídas de subcamadas anteriores por meio de coeficientes aditivos fixos ( $h_l = h_{l-1} + f(h_{l-1})$ ). Embora isso forneça rodovias de gradiente, carece de um mecanismo para agregar seletivamente informações através da profundidade. Resíduos de Atenção (Kimi, 2025) propuseram substituir a agregação fixa por atenção softmax aprendida sobre as saídas de camadas anteriores para permitir roteamento seletivo entre camadas.

No entanto, este artigo identifica um modo de falha crítico nos Resíduos de Atenção padrão: colapso de roteamento devido à redundância de fontes. Nos Resíduos de Atenção, as representações de fonte ( $s_i$ ) são estados ocultos cumulativos ( $h_i = \sum v_j$ ). À medida que a profundidade aumenta, estados cumulativos adjacentes compartilham um grande prefixo comum, fazendo com que sua similaridade par a par cresça. Essa redundância reduz o contraste nos candidatos de roteamento, forçando os pesos de atenção softmax em direção a uma distribuição quase uniforme. Empiricamente, o peso de roteamento máximo em camadas profundas degrada-se para aproximadamente 0,2, tornando o mecanismo ineficaz na seleção de estados informativos e efetivamente fazendo uma média sobre todas as fontes.

Metodologia: Resíduos de Atenção Delta

Para abordar a redundância de fontes, os autores propõem Resíduos de Atenção Delta, que roteiam sobre deltas (a mudança introduzida por cada subcamada) em vez de estados cumulativos.

Mecanismo Central

Em vez de rotear sobre $s_i = h_i$ , o método roteia sobre $v_i = h_{i+1} - h_i$ , representando a contribuição específica de uma subcamada. Isso é implementado via uma formulação de roteamento aditivo:
$\hat{h}_l = \tilde{h}_l + \sum_i \alpha_{i \to l} \cdot v_i$
Onde:

$\tilde{h}_l$ é o fluxo residual atual (preservado por padrão).
$v_i$ são as fontes delta (saídas por subcamada).
$\alpha_{i \to l}$ são pesos de atenção aprendidos computados via softmax sobre deltas normalizados.

Variantes de Granularidade

O princípio é aplicado em duas granularidades:

Delta AttnRes: Roteia sobre cada saída individual de subcamada (Atenção e MLP), fornecendo $2L$ fontes para $L$ camadas.
Delta Block: Agrega saídas de subcamadas consecutivas dentro de um bloco em um único delta de bloco ( $\Delta_b$ ), reduzindo o número de fontes para $\approx L/B$ para eficiência.

Vantagens Principais de Design

Diversidade Estrutural: Ao contrário de estados cumulativos que convergem para relações quase lineares, os deltas são estruturalmente diversos porque as saídas de atenção e MLP ocupam subespaços diferentes e capturam diferentes níveis de abstração. Isso mantém alto contraste de roteamento (peso máximo $\approx 0,6$ ).
Preservação Residual: A formulação aditiva preserva o fluxo residual, garantindo que nenhuma informação seja perdida nas fronteiras dos blocos (diferentemente do roteamento de substituição que descarta o fluxo).
Inicialização Segura: Com pesos de consulta inicializados em zero, os pesos de roteamento tornam-se uniformes e a saída de roteamento torna-se uma perturbação limitada. Isso reduz o mecanismo a um mapa identidade na inicialização, permitindo o ajuste fino de modelos pré-treinados sem perturbar o fluxo residual aprendido.

Contribuições Principais

Identificação do Colapso de Roteamento: O artigo demonstra que a redundância de fontes em Resíduos de Atenção de estado cumulativo causa a degradação da nitidez do roteamento para $\sim 0,2$ em camadas profundas, levando a distribuições de atenção quase uniformes.
Resíduos de Atenção Delta: Uma nova arquitetura que roteia sobre deltas em vez de estados cumulativos. Isso mantém roteamento nítido ( $\sim 0,6$ ) e supera consistentemente tanto os resíduos padrão quanto os Resíduos de Atenção em escalas de 220M a 7,6B de parâmetros.
Compatibilidade com Ajuste Fino: A formulação aditiva permite que transformers pré-treinados existentes sejam convertidos em Resíduos de Atenção Delta via ajuste fino padrão, superando o problema do "vale da paisagem de perda" onde os modelos falham em utilizar pesos entre camadas durante o ajuste fino.

Resultados Experimentais

Os autores avaliaram o método em modelos da arquitetura Qwen3 treinados do zero no FineWeb-Edu e ajustados finamente em tarefas downstream.

Treinamento do Zero:
- Desempenho: Os métodos Delta superaram consistentemente as linhas de base. Na escala de 1044M, o Delta AttnRes alcançou uma perplexidade de validação de 29,13 (vs. 29,70 para a linha de base, -1,9% de melhoria). Na escala de 7,6B, o Delta Block alcançou 16,00 PPL (vs. 17,43 para a linha de base, -8,2% de melhoria).
- Falha de Alternativas: Os Resíduos de Atenção padrão (AttnRes) degradaram-se significativamente em escalas maiores (por exemplo, +6,9% pior que a linha de base em 1044M) devido à perda de informação cumulativa decorrente do roteamento de substituição e redefinições periódicas.
- Eficiência: Embora o Delta AttnRes por subcamada ofereça a melhor perplexidade, ele incorre em alta sobrecarga de memória. Delta Block (agrupamento em nível de bloco) oferece um padrão prático, igualando a qualidade do Delta AttnRes com custos de memória e throughput significativamente menores (por exemplo, 26% de sobrecarga de memória vs. 3,5x para Delta AttnRes completo em 1044M).
Ajuste Fino:
- Ao ajustar finamente um modelo Qwen3-0,6B pré-treinado, o Delta Block alcançou 55,6% de precisão média em 8 benchmarks downstream, superando a linha de base padrão (55,0%) e o AttnRes (54,1%).
- Crucialmente, o Delta Block evitou o grande pico de perda observado no AttnRes na inicialização, convergindo suavemente devido às suas propriedades de inicialização segura.
Análise de Roteamento:
- Visualizações confirmam que o Delta Block mantém roteamento nítido (peso máximo $\sim 0,6$ –$1,0$) ao longo da profundidade, enquanto o AttnRes colapsa para $\sim 0,2$ em camadas profundas.
- Camadas profundas em modelos Delta concentram seletivamente pesos em saídas iniciais específicas (incluindo embeddings de tokens), enquanto o AttnRes distribui a atenção difusamente.

Significado e Alegações

O artigo afirma que os Resíduos de Atenção Delta resolvem a questão fundamental da redundância de fontes no roteamento entre camadas. Ao rotear sobre "o que mudou" (deltas) em vez de "o que acumulou" (estados cumulativos), o método permite roteamento seletivo e de alto contraste que escala efetivamente para redes profundas.

Os autores enfatizam que essa abordagem é ortogonal a outras melhorias arquiteturais. Seu significado principal reside em:

Escalabilidade: Permite conexões entre camadas mais profundas e eficazes sem a degradação observada em métodos residuais anteriores baseados em atenção.
Praticidade: A formulação aditiva e a inicialização segura permitem a integração transparente de roteamento entre camadas em checkpoints pré-treinados existentes via ajuste fino, uma capacidade anteriormente prejudicada pela instabilidade na inicialização.
Eficiência: A variante Delta Block fornece uma solução de alto desempenho e baixa sobrecarga adequada para treinamento em grande escala, equilibrando expressividade de roteamento com restrições computacionais.