💬 NLP

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

Este artigo introduz o Engram, um módulo de memória condicional escalável que moderniza os embeddings de $N$ -gramas para busca em O(1), revelando uma lei de alocação de esparsidade em forma de U que otimiza o equilíbrio entre computação neural e memória estática para aumentar significativamente o desempenho em raciocínio, código e recuperação de contexto longo em grandes modelos de linguagem.

Autores originais: Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Z

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Zhang, Yixu Wei, M. Y Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça gigante e complexo. Por muito tempo, os resolvedores de quebra-cabeças mais inteligentes (modelos de IA) foram construídos como fábricas massivas. Eles têm milhares de trabalhadores especializados (chamados de "Mixture-of-Experts" ou MoE) que entram em ação apenas quando necessário para decifrar lógicas complicadas ou novas ideias. Isso é ótimo para pensar, mas é um pouco desajeitado quando se trata de lembrar fatos simples e entediantes.

Pense da seguinte forma: Se você perguntasse a um matemático brilhante: "Qual é a capital da França?", ele não diria apenas "Paris". Ele teria que realizar uma simulação mental completa, rederivando a resposta do zero toda vez, consumindo muita energia cerebral apenas para recordar algo que já sabe há tempos. É como usar um supercomputador para procurar um número de telefone na própria mente.

A Grande Descoberta: Uma "Folha de Cola" para o Cérebro
Os pesquisadores da DeepSeek-AI e da Universidade de Pequim perguntaram: E se déssemos a esses modelos uma "folha de cola" dedicada para as coisas que eles só precisam lembrar?

Eles introduziram uma nova ferramenta chamada Engram. Em vez de forçar a IA a "pensar" o caminho de cada palavra, o Engram atua como uma tabela de consulta super-rápida, O(1) (isso significa que leva o mesmo tempo ínfimo para procurar uma palavra ou um milhão delas). Ele é baseado em uma ideia antiga chamada N-grams (olhar para grupos de palavras juntos), mas eles a atualizaram com tecnologia moderna para fazê-la funcionar perfeitamente dentro de uma IA gigante.

O Segredo em "Formato de U"
A equipe descobriu uma regra fascinante sobre como construir esses modelos, que eles chamam de lei de escala em forma de U.

Imagine que você tem um orçamento fixo de "poder cerebral" (etapas de computação). Você pode gastar tudo nos "trabalhadores de pensamento" (MoE), ou pode gastar tudo na "folha de cola de memória" (Engram).

Se você gastar 100% nos trabalhadores de pensamento, o modelo será bom em lógica, mas ruim em lembrar fatos.
Se você gastar 100% na folha de cola, o modelo lembrará fatos, mas não conseguirá raciocinar bem.
O Ponto Ideal: O artigo descobriu que o melhor desempenho acontece quando você divide o orçamento. Você precisa de ambos. Especificamente, eles descobriram que retirar cerca de 20–25% do orçamento de memória "extra" dos trabalhadores de pensamento e entregá-lo ao módulo de memória Engram torna o sistema inteiro mais inteligente. É como perceber que um gênio precisa de uma boa biblioteca, não apenas de um céreuro rápido.

O Que Realmente Aconteceu? (A Prova)
Eles construíram um modelo chamado Engram-27B e o compararam com um modelo padrão de "apenas pensamento" do mesmo tamanho e velocidade. Os resultados foram surpreendentemente fortes:

Conhecimento: Ele melhorou em conhecimentos gerais e fatos (como pontuar +3.4 a mais no MMLU e +4.0 no CMMLU).
Raciocínio: Mais surpreendente ainda, ele ficou muito melhor em raciocínio geral e enigmas lógicos (pontuando +5.0 a mais no BBH e +3.7 no ARC-Challenge).
Matemática e Código: Também melhorou em programação e matemática (como +3.0 no HumanEval).

O artigo sugere que isso acontece porque o módulo Engram lida com as coisas "entediantes" (como lembrar que "Alexandre, o Grande" é um nome específico), para que o cérebro principal não precise perder tempo reconstruindo-o. Isso libera as camadas profundas da IA para focar em pensamentos complexos e profundos. É como ter um secretário que cuida de toda a agenda para que o CEO possa focar na estratégia.

O Truque da "Memória Longa"
Um dos efeitos colaterais mais legais é o quão bem esses modelos lidam com histórias longas. Como o módulo Engram captura detalhes locais instantaneamente, a IA principal tem mais "atenção" restante para lembrar a história inteira do começo ao fim. Em testes, o modelo Engram conseguiu encontrar uma agulha específica em um palheiro de texto 97,0% das vezes, enquanto o modelo padrão conseguiu apenas 84,2%.

A Magia do Hardware
Finalmente, o artigo argumenta que isso não é apenas um truque de software; é um truque amigável ao hardware. Como a "folha de cola" usa endereços fixos (IDs determinísticos), o computador pode começar a buscar a próxima parte da memória enquanto ainda está fazendo o cálculo para a parte atual. Isso significa que eles podem armazenar uma tabela de 100 bilhões de parâmetros no disco rígido de um computador comum (memória host) e ainda obter resultados quase tão rápidos quanto se estivesse na super-rápida GPU. A penalidade de velocidade foi insignificante, menos de 3%.

O Que Eles Explicitamente Dizem que NÃO É
O artigo é muito claro sobre o que isso não é:

Não é apenas um vocabulário maior. Eles tentaram apenas aumentar o vocabulário (OverEncoding), e não funcionou tão bem quanto o Engram.
Não é um substituto para a parte do "pensamento". Se você remover totalmente os trabalhadores de pensamento (MoE), o modelo falha no raciocínio. A memória é uma ajudante, não uma substituta.
Não é uma solução mágica para tudo. O artigo observa que, embora ajude com fatos e raciocínio, a "espinha dorsal" (a IA principal) ainda é quem faz o trabalho pesado para coisas como compreensão de leitura, que depende mais de contexto do que de memória estática.

O Quão Certo Eles Estão?
Os autores estão muito confiantes em suas medições. Eles não apenas simularam isso; eles treinaram modelos reais com 262 bilhões de tokens de dados e os testaram em benchmarks do mundo real. Eles mostraram que a regra do "formato de U" se mantém através de diferentes tamanhos e que os ganhos de desempenho são reais, mensuráveis e repetíveis. Eles até visualizaram os "portões" (gates) dentro do modelo para mostrar que ele realmente está ativando a memória especificamente para coisas como nomes e frases, exatamente como planejado.

Em suma, o artigo sugere que o futuro da IA não é apenas sobre criar cérebros maiores; é sobre dar a esses cérebros uma maneira melhor, mais rápida e mais inteligente de consultar informações.

Resumo Técnico: Memória Condicional via Busca Escalável (Engram)

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) atuais, particularmente aqueles que utilizam arquiteturas de Mistura de Especialistas (MoE - Mixture-of-Experts), dependem de computação condicional para escalar a capacidade. No entanto, os Transformers padrão carecem de um primitivo nativo para busca de conhecimento (lookup). Consequentemente, os modelos devem simular a recuperação de forma ineficiente através de computação dinâmica.

Os autores argumentam que os sinais linguísticos exibem uma heterogeneidade intrínseca:

Raciocínio Composicional: Requer computação profunda e dinâmica.
Recuperação de Conhecimento: Uma parte substancial do texto (ex: entidades nomeadas, padrões formulaicos) é local, estática e altamente estereotipada.

Os Transformers padrão forçam o modelo a consumir múltiplas camadas iniciais de atenção e redes feed-forward (FFNs) para reconstruir buscas estáticas (ex: resolver "Diana, Princesa de Gales") que poderiam, teoricamente, ser recuperadas via uma simples busca em tabela. Isso desperdiça uma profundidade sequencial valiosa em operações triviais, impedindo que o modelo aloque recursos para o raciocínio de nível superior.

2. Metodologia: O Módulo Engram

Para abordar isso, o artigo introduz a Memória Condicional como um eixo de esparsidade complementar à computação condicional. Isso é instanciado via Engram, um módulo que moderniza os clássicos embeddings de $N$ -gramas para permitir buscas de tempo constante $O(1)$ .

2.1. Arquitetura

O Engram aumenta o backbone do Transformer ao separar estruturalmente o armazenamento de padrões estáticos da computação dinâmica. Ele opera em duas fases:

Busca Esparsa via Hashing de $N$ -gramas:
- Compressão de Tokenizador: Uma função sobrejetora mapeia IDs de tokens brutos para identificadores canônicos (normalizando caixa alta/baixa, pontuação, etc.) para maximizar a densidade semântica e reduzir o vocabulário.
- Multi-Head Hashing: Para lidar com o espaço combinatório de $N$ -gramas, o módulo utiliza $K$ cabeças de hashing distintas por ordem de $N$ -gram. Elas mapeiam contextos comprimidos para índices em tabelas de embeddings via funções determinísticas, recuperando vetores estáticos.
- Concatenação: Os embeddings recuperados de várias ordens de $N$ -gram e cabeças de hashing são concatenados para formar o vetor de memória.
Gating e Fusão Sensíveis ao Contexto:
- Como as memórias estáticas carecem de contexto, um mecanismo de gating modula a memória recuperada usando o estado oculto atual (contexto global agregado) como uma Query.
- Um gate escalar $\alpha_t$ é computado via produto escalar entre o estado oculto normalizado e a Key da memória. Se a memória contradiz o contexto, o gate suprime a memória (redução de ruído).
- Uma convolução causal leve de profundidade (depthwise) expande o campo receptivo antes que a memória com gate seja fundida ao backbone via uma conexão residual.

2.2. Eficiência do Sistema e Co-design de Infraestrutura

Ao contrário do MoE, que requer roteamento dinâmico e comunicação de estado oculto, o Engram utiliza endereçamento determinístico baseado exclusivamente nos IDs dos tokens de entrada.

Prefetching: Os índices são conhecidos antes da passagem direta (forward pass), permitindo o prefetching assíncrono de embeddings da memória hospedeira (CPU/DRAM) via PCIe.
Sobreposição (Overlap): Isso permite que a comunicação se sobreponha à computação dos blocos Transformer precedentes, incorrendo em um overhead negligenciável.
Offloading: Tabelas de embeddings massivas (ex: 100B de parâmetros) podem ser transferidas para a memória hospedeira, contornando as restrições de memória da GPU.

2.3. Alocação de Esparsidade

Os autores formulam o problema de Alocação de Esparsidade: dado um orçamento fixo de parâmetros, como deve a capacidade ser dividida entre especialistas MoE (computação dinâmica) e memória Engram (busca estática)?

Eles definem uma razão de alocação $\rho$ representando a fração de parâmetros inativos atribuídos ao MoE.
Experimentos revelam uma lei de escala em forma de U: MoE puro ( $\rho=100\%$ ) e Engram puro ( $\rho=0\%$ ) são subótimos. O melhor desempenho é alcançado com uma alocação híbrida (ex: $\rho \approx 75\%–80\%$ ), onde aproximadamente 20–25% do orçamento esparso é realocado para o Engram.

3. Resultados Principais

3.1. Desempenho de Pré-treinamento

Os autores treinaram quatro modelos em 262B de tokens, igualando estritamente os parâmetros ativados (3.8B) e os FLOPs de treinamento:

Dense-4B: Baseline.
MoE-27B: Baseline padrão de MoE.
Engram-27B: Iso-parâmetro ao MoE-27B, com 5.7B de parâmetros realocados para o Engram (reduzindo especialistas de 72 para 55).
Engram-40B: Escala a memória Engram para 18.5B de parâmetros (Total 39.5B).

Descobertas:

Superioridade sobre o MoE: O Engram-27B superou o baseline de MoE-27B iso-parâmetro em diversos domínios.
Ganhos de Raciocínio: Contrariando a intuição de que a memória ajuda apenas na recuperação de conhecimento, o Engram mostrou ganhos significativos em raciocínio geral (BBH +5.0, ARC-Challenge +3.7) e código/matemática (HumanEval +3.0, MATH +2.4).
Ganhos de Conhecimento: Melhoria no desempenho em tarefas intensivas de conhecimento (MMLU +3.0, CMMLU +4.0).
Escalabilidade: O Engram-40B reduziu ainda mais a perda, sugerindo que o eixo de memória escala efetivamente sem adicionar computação.

3.2. Capacidades de Longo Contexto

Ao delegar dependências locais para buscas, o Engram libera a capacidade de atenção para o contexto global.

Benchmark RULER: O Engram-27B alcançou 97.0% de precisão no Multi-Query Needle-in-a-Haystack (NIAH) comparado aos 84.2% do baseline MoE.
Eficiência: O Engram-27B igualou o desempenho de LongPPL do baseline com apenas 82% dos FLOPs de pré-treinamento.

3.3. Análise Mecanística

Profundidade Efetiva: Usando LogitLens e CKA (Centered Kernel Alignment), os autores descobriram que as camadas iniciais do Engram produzem representações semanticamente equivalentes a camadas muito mais profundas do baseline MoE. Isso sugere que o Engram "aprofundas" a rede ao evitar que as camadas iniciais precisem reconstruir características estáticas.
Dicotomia Funcional: Estudos de ablação mostraram que os benchmarks de conhecimento factual colapsaram (retendo apenas 29–44% de desempenho) quando o Engram foi desativado, enquanto a compreensão de leitura permaneceu robusta (81–93%), confirmando que o Engram atua como o principal repositório de conhecimento paramétrico.

3.4. Eficiência do Sistema

Throughput: O offloading de uma tabela Engram de 100B de parâmetros para a memória hospedeira resultou em uma penalidade de throughput negligenciável de <3% (2.8% em um backbone de 8B), validando a estratégia de prefetch-and-overlap.

4. Significância e Alegações

O artigo afirma que a Memória Condicional é um primitivo de modelagem indispensável para os próximos modelos esparsos. Sua significância reside em três áreas principais:

Complementaridade Estrutural: Estabelece que a busca estática e a computação dinâmica não são mutuamente exclusivas, mas estruturalmente complementares. Otimizar a alocação entre elas gera uma lei de escala em forma de U que supera o MoE puro.
Eficiência via Desacoplamento: Ao desacoplar o armazenamento de parâmetros da computação através de endereçamento determinístico, o Engram permite que os modelos escalem para contagens massivas de parâmetros (ex: 40B+) sem serem limitados pela memória da GPU ou custos de computação, contornando efetivamente os gargalos de hardware.
Aprofundamento da Rede: A análise mecânica sugere que fornecer busca de conhecimento explícita alivia as camadas iniciais do backbone das tarefas de reconstrução estática. Isso aumenta efetivamente a profundidade disponível da rede para raciocínio complexo, explicando os ganhos inesperados em tarefas de raciocínio e código.

Os autores posicionam o Engram não meramente como um aumento de recuperação (RAG), mas como uma mudança arquitetônica fundamental que moderniza conceitos de $N$ -gramas para a era dos modelos esparsos de larga escala, oferecendo um novo eixo de esparsidade que complementa o paradigma MoE predominante.