💬 NLP

Do Value Vectors in Deep Layers Need Context from the Residual Stream?

O artigo propõe o "Bank of Values" (BoV), um novo mecanismo de atenção para camadas profundas de transformer que utiliza vetores de valor específicos de cada token e livres de contexto armazenados em uma tabela de consulta, demonstrando melhor desempenho e eficiência em relação aos vetores de valor dependentes de contexto padrão através de múltiplos tamanhos de modelo e benchmarks.

Autores originais: Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

Publicado 2026-06-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma biblioteca gigante onde cada livro (uma palavra ou "token") tem um conjunto específico de instruções sobre como deve ser compreendido em uma história. Em IA moderna (Large Language Models), esses livros são lidos por uma equipe de bibliotecários (as "camadas de atenção") que decidem quanta atenção dedicar a cada livro com base no contexto da história até o momento.

Normalmente, esses bibliotecários pegam o livro, olham para o contexto atual da história e, então, escrevem um novo conjunto de notas (chamado de "vetor de valor") para esse livro antes de passá-lo adiante. Esse processo é como um bibliotecário reescrevendo o resumo de um livro toda vez que o lê, com base no que aconteceu nas páginas anteriores.

A Grande Descoberta
Os pesquisadores neste artigo descobriram algo surpreendente: para os bibliotecários trabalhando nos quartos dos fundos da biblioteca (as camadas mais profundas da IA), eles não precisam, na verdade, reescrever as notas com base no contexto da história.

Em vez disso, esses bibliotecários das camadas profundas trabalham melhor se apenas pegarem um resumo pré-escrito e perfeito do livro que nunca muda, não importa qual história esteja sendo contada. Acontece que, para essas camadas específicas, a informação "original e livre de contexto" sobre a palavra é mais valiosa do que as notas "dependentes de contexto" que eles costumam criar.

A Solução: O "Banco de Valores" (Bank of Values - BoV)
Com base nisso, os autores criaram um novo sistema chamado Bank of Values (BoV).

O Jeito Antigo (Atenção Padrão): Toda vez que a IA lê uma palavra, ela calcula um novo e complexo conjunto de notas para essa palavra, levando em conta toda a história até o momento. Isso é computacionalmente caro e exige muita memória para armazenar essas notas temporárias.
O Novo Jeito (BoV): Para as camadas profundas, a IA para de calcular essas notas em tempo real. Em vez disso, ela possui um "Banco" gigante e estático (uma tabela de consulta) onde cada palavra possível no vocabulário tem sua nota perfeita e pré-calculada armazenada permanentemente.
- Quando a IA precisa da nota de uma palavra, ela simplesmente a procura no banco.
- É como ter um dicionário onde a definição já está escrita e impressa, em vez de ter uma equipe de escritores sentados compondo uma nova definição toda vez que você pergunta por uma palavra.

Por que isso é melhor?

É Mais Rápido e Barato: Como a IA não precisa fazer a matemática pesada de "reescrever" as notas para as camadas profundas, ela economiza uma quantidade massiva de poder computacional (FLOPs).
Economiza Memória: No jeito antigo, a IA tinha que manter um "cache" (uma área de armazenamento temporário) de todas as notas que havia escrito até agora para a história atual. No novo jeito, como as notas estão permanentemente armazenadas no "Banco", a IA não precisa carregar esse cache pesado. Ela apenas pega o que precisa na prateleira.
Funciona Melhor: Os pesquisadores testaram isso em modelos de IA de diferentes tamanhos. Eles descobriram que usar este método do "Banco" tornou a IA mais inteligente (menores taxas de erro) e mais eficiente, mesmo fazendo menos trabalho.

A Pegadinha (e a Correção)
O artigo observa que você não pode fazer isso para todos os bibliotecários da biblioteca. Os bibliotecários bem na frente (as camadas rasas) ainda precisam olhar para o contexto da história para entender as palavras. Mas para os bibliotecários nas profundezas dos fundos, o método do "Banco" é um divisor de águas.

Em Resumo
O artigo argumenta que, nas partes profundas do cérebro de uma IA, as palavras não precisam ser reinterpretadas com base na história; elas só precisam de sua identidade original e pura. Ao armazenar essas identidades em um "Banco" permanente e procurá-las em vez de calculá-las, a IA torna-se mais rápida, usa menos memória e tem um desempenho melhor.

Resumo Técnico: Bank of Values (BoV)

Definição do Problema
A arquitetura transformer, a espinha dorsal dos modelos de linguagem de grande escala (LLMs) modernos, baseia-se em camadas de atenção onde os vetores de consulta (query), chave (key) e valor (value) são computados a partir do fluxo residual (residual stream). Embora o fluxo residual acumule efetivamente o contexto para as consultas e chaves, a necessidade de contexto para os vetores de valor em camadas profundas permanece subexaminada. A atenção padrão computa os vetores de valor ( $V = x_i W_V$ ) usando o fluxo residual ( $x_i$ ), que mistura a informação original do token com o contexto acumulado. Trabalhos recentes que tentam injetar informações de tokens livres de contexto nos vetores de valor (ex: Value Residual Learning, SVFormer) mostraram resultados mistos, frequentemente falhando em isolar a contribuição específica dos componentes livres de contexto ou aplicando-os de forma ineficiente em todas as camadas. O problema central abordado é se as camadas profundas realmente requerem vetores de valor dependentes de contexto, ou se elas se beneficiariam mais ao preservar a informação original do token, livre de contexto, sem o custo computacional de projetar o fluxo residual.

Metodologia
Os autores propõem uma investigação sistemática sobre a composição dos vetores de valor, seguida por um novo design arquitetural chamado Bank of Values (BoV).

Estudo de Ablação Sistemática:
Utilizando um modelo de 12 camadas e 135 milhões de parâmetros, os autores conduziram experimentos através de quatro eixos para determinar a composição ideal dos vetores de valor em camadas profundas:
- Aditivo vs. Substitutivo: Comparando a substituição total do vetor de valor padrão por uma fonte livre de contexto versus a combinação linear entre eles.
- Coeficientes: Testando coeficientes aprendíveis (ilimitados) contra coeficientes fixos.
- Fonte de Informação Livre de Contexto: Comparando uma projeção da incorporação inicial específica de cada camada ( $x_0 W_V$ ) contra um vetor de valor compartilhado da primeira camada ( $V_1$ ).
- Camadas Alvo: Avaliando o impacto de aplicar essas mudanças a todas as camadas, a cada outra camada, ou apenas ao último terço das camadas.
Principais Descobertas da Ablação:
- As camadas profundas preferem fortemente componentes livres de contexto ( $\tilde{V}$ ) em vez de componentes dependentes de contexto ( $V$ ). Nas variantes aditivas, os coeficientes aprendidos para $\tilde{V}$ foram significativamente maiores (frequentemente >10) do que para $V$ (frequentemente levados a 0).
- Substituir $V$ por $\tilde{V}$ gera ganhos significativos de desempenho apenas no último terço das camadas; aplicar isso em camadas rasas degrada o desempenho.
- Uma vez que as camadas profundas têm acesso a um componente de alta qualidade livre de contexto, adicionar o componente dependente de contexto fornece benefício negligenciável.
- Vetores livres de contexto específicos por camada ( $x_0 W_V$ ) superam vetores compartilhados ( $V_1$ ), pois permitem que cada camada projete o token em um subespaço único.
Arquitetura Bank of Values (BoV):
Baseando-se na descoberta de que as camadas profundas se beneficiam de vetores de valor livres de contexto que são determinísticos e independentes da sequência de entrada, os autores propõem o BoV.
- Mecanismo: No último terço das camadas, a projeção de matriz de valor densa padrão ( $x_i W_V$ ) é substituada por uma tabela de busca esparsa ( $E_V$ ).
- Implementação: Para um token com ID $i$ , o vetor de valor é recuperado diretamente como $v_i = \gamma_v E_V[i]$ , onde $E_V \in \mathbb{R}^{|V| \times d}$ é um parâmetro de tabela aprendível que armazena vetores de valor pré-computados para cada token do vocabulário, e $\gamma_v$ é um coeficiente de escala aprendível.
- Eficiência de Inferência: Ao contrário da atenção padrão, que armazena em cache os vetores de valor para todos os tokens anteriores (exigindo memória de $O(Td)$ por camada), o BoV não armazena valores em cache. Em vez disso, realiza uma operação de coleta (gather) de $O(Td)$ a partir da tabela de parâmetros estática $E_V$ durante o forward pass. A tabela $E_V$ pode ser transferida para a memória do host, com apenas as entradas necessárias sendo pré-buscadas (prefetched).

Principais Contribuições

Insight: O artigo demonstra que os vetores de valor em camadas profundas de transformers beneficiam-se principalmente de informações de tokens originais e livres de contexto, e que o componente dependente de contexto derivado do fluxo residual é amplamente redundante nessas camadas.
Arquitetura: Introdução do Bank of Values (BoV), um método que substitui a computação de vetores de valor em camadas profundas pela busca estática em uma tabela específica do token.
Eficiência: O BoV elimina a necessidade de computar e armazenar em cache vetores de valor para camadas profundas, reduzindo o uso de memória para inferência de contexto longo e diminuindo os FLOPs por token.

Resultados
Os autores avaliaram o BoV em modelos de 135M e 780M de parâmetros, treinados sob orçamentos controlados de computação ( $1,50 \times 10^{18}$ e $3,91 \times 10^{19}$ FLOPs, respectivamente).

Perda de Validação (Validation Loss): O BoV alcançou uma perda de validação menor comparado às linhas de base de atenção padrão em uma divisão de teste do dataset ClimbMix em ambas as escalas de modelo.
Desempenho em Benchmarks: Na escala de 780M, o BoV melhorou a pontuação média nos 21 benchmarks DCLM CORE em comparação com a linha de base de atenção padrão.
Comparação: O BoV igualou ou superou métodos existentes que injetam informações de tokens nos vetores de valor (ex: Value Residual Learning), utilizando menos memória e menos FLOPs. Especificamente, superou métodos que adicionam informações de tokens sobre a computação do fluxo residual, que ainda incorrem no custo de computar e armazenar em cache os valores dependentes de contexto.

Significância
O artigo afirma que o BoV oferece uma alternativa mais eficiente à atenção padrão para camadas profundas, aproveitando o insight de que estas camadas não requerem contexto para computar vetores de valor. Ao persistir os vetores de valor como parâmetros esparsos do modelo em vez de computações dinâmicas, o BoV reduz a pegada de memória para inferência de contexto longo e o custo computacional sem sacrificar (e em alguns casos melhorando) o desempenho do modelo. Isso desafia o paradigma padrão de computar todos os vetores de atenção a partir do fluxo residual e sugere um caminho para arquiteturas transformer mais eficientes.

Resumo Técnico: Bank of Values (BoV)

Mais como este