🤖 machine learning

LoKiFormer: Locality-aware Attention with Decoupled Knowledge Memory for Efficient Large Language Model Pretraining

O artigo apresenta o LoKiFormer, uma nova arquitetura de modelo de linguagem de grande escala que aumenta a eficiência do pré-treinamento e a velocidade de convergência ao integrar a Atenção de Fusão Local para capturar padrões locais e um Módulo de Memória de Conhecimento desacoplado para a recuperação explícita de conhecimento global.

Autores originais: Qiuwu Chen, Zimo Liu, Yuchen Li, Ying Sun, Yifan Zhang, Zhijie Qiu, Zeng You, Ryan Dong, Simeng Ma, Yaofo Chen, Mingkui Tan

Publicado 2026-08-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qiuwu Chen, Zimo Liu, Yuchen Li, Ying Sun, Yifan Zhang, Zhijie Qiu, Zeng You, Ryan Dong, Simeng Ma, Yaofo Chen, Mingkui Tan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô superinteligente a ler e escrever. Este robô é um "Modelo de Linguagem de Grande Escala" (LLM), um tipo de inteligência artificial que se tornou incrivelmente boa em tudo, desde escrever histórias até resolver problemas matemáticos. Mas há um porém: ensinar esses robôs é como tentar encher uma piscina com uma colher de chá. Isso exige uma quantidade massiva de tempo e poder computacional, e os robôs às vezes ficam confusos sobre o que estão realmente aprendendo.

Para entender o porquê, pense em como um humano lê uma frase. Nós entendemos instantaneamente que palavras próximas umas das outras geralmente estão conectadas (como "quente" e "café"), mas também precisamos lembrar de fatos que aprendemos anos atrás (como "café é um grão"). Os modelos de IA atuais tentam fazer ambas as coisas ao mesmo tempo usando um mecanismo chamado "atenção", que observa cada palavra em uma frase para ver como elas se relacionam. O problema é que isso é como tentar ler um livro encarando cada letra na página ao mesmo tempo; é exaustivo e ineficiente para as conexões locais curtas. Além disso, quando o robô tenta armazenar seu conhecimento geral (como fatos sobre história ou ciência), ele esconde esse conhecimento profundamente dentro de seu cérebro de uma forma bagunçada, tornando difícil agarrar o fato certo quando necessário. Cientistas querem construir um robô que aprenda mais rápido, use menos energia e saiba exatamente onde encontrar sua informação.

Apresentamos o LoKiFormer, um novo design para esses cérebros de IA que atua como um upgrade inteligente para os óculos de leitura e o banco de memória do robô. Os pesquisadores por trás deste artigo, liderados por Qiuwu Chen e Zimo Liu, perceberam que a antiga maneira de fazer as coisas estava desperdiçando energia. Eles propuseram duas novas ferramentas para corrigir o processo de aprendizado do robô: uma para lidar com o que é "local" (palavras próximas umas das outras) e outra para lidar com o que é "global" (grandes fatos do mundo real).

Primeiro, eles abordaram o problema local com algo chamado Local Fusion Attention (LFA). Imagine que você está lendo uma frase. Em vez de o robô tentar descobrir como a palavra "gato" se relaciona com todas as outras palavras do parágrafo imediatamente, a LFA dá ao robô um par especial de "binóculos locais". Esses binóculos focam apenas nas poucas palavras ao lado umas das outras e as misturam primeiro. É como se o robô obtivesse um resumo rápido e fácil do bairro imediato antes de tentar entender a cidade inteira. Isso evita que o robô faça trabalho desnecessário. O artigo mostra que, ao adicionar este passo simples, o robô aprende a entender padrões locais muito mais rápido, permitindo que foque seu poder cerebral nas relações maiores e mais complexas depois.

Segundo, eles corrigiram o problema da memória com o Knowledge Memory Module (KMM). Em modelos antigos, o conhecimento do robô era como uma biblioteca onde os livros estavam colados nas prateleiras e misturados com as instruções de como ler. Se o robô quisesse encontrar um fato sobre "física", ele teria que vasculhar toda a biblioteca bagunçada. O KMM do LoKiFormer é como um arquivo perfeitamente organizado e rotulado que é separado das instruções de leitura. Ele armazena fatos em espaços específicos e endereçáveis. Quando o robô precisa saber algo sobre "química", ele pode ir direto à gaveta de "química" e puxar o arquivo certo sem se distrair. Isso separa o armazenamento do conhecimento do seu uso, tornando o processo muito mais claro e flexível.

Os resultados de unir essas duas ferramentas são impressionantes. Os pesquisadores treinaram seu novo modelo LoKiFormer e descobriram que ele aprendeu 1,33 vez mais rápido do que os modelos padrão. Para colocar em perspectiva, enquanto um modelo padrão precisava ler através de 10.000 etapas de treinamento para atingir um certo nível de compreensão, o LoKiFormer atingiu esse mesmo nível em apenas 7.500 etapas. Isso é uma enorme economia de tempo e energia. Ainda mais emocionante, uma versão menor de seu modelo (com 7 bilhões de parâmetros) teve um desempenho melhor do que modelos famosos muito maiores de outras empresas, superando-os em testes de compreensão de linguagem, raciocínio e até programação.

O artigo sugere que esta nova arquitetura não apenas torna o robô mais rápido; ela o torna mais inteligente ao usar o que sabe. Ao separar a leitura "local" da memória "global", o modelo pode lidar com tarefas complexas de forma mais eficaz. Os pesquisadores também mostraram que o "arquivo" (o KMM) na verdade se organizou durante o treinamento, com diferentes gavetas tornando-se naturalmente especialistas em diferentes assuntos, como história, física ou álgebra. Isso significa que o robô não está apenas memorizando; ele está aprendendo a recuperar informações de uma maneira que se assemelha à forma como os humanos acessam seu próprio conhecimento.

Em suma, o LoKiFormer sugere que não precisamos tornar os modelos de IA maiores e mais caros para torná-los melhores. Em vez disso, ao dar a eles melhores ferramentas para olhar os pequenos detalhes e uma maneira mais limpa de armazenar seus grandes fatos, podemos construir uma IA que aprende mais rápido, custa menos para treinar e entende o mundo de forma mais clara. É um lembrete de que, às vezes, a melhor maneira de construir uma máquina superinteligente é ajudá-la a organizar sua mesa.

Resumo Técnico: LoKiFormer

Declaração do Problema

Apesar dos marcos extraordinários dos Grandes Modelos de Linguagem (LLMs) em diversas aplicações, suas arquiteturas permanecem computacionalmente ineficientes durante o pré-treinamento devido a duas limitações primárias na modelagem de informações em diferentes níveis:

Modelagem Local Ineficiente: Os mecanismos de autoatenção padrão carecem de um viés indutivo explícito para localidade. Eles modelam informações locais internas à sequência (como estruturas sintáticas e dependências de curto alcance) por meio de interações completas de pares redundantes. Isso torna o aprendizado de padrões locais computacionalmente ineficiente, pois o modelo deve computar correlações globais mesmo quando apenas padrões locais são necessários.
Acoplamento Implícito de Conhecimento: Arquiteturas de Mistura de Especialistas (MoE) acoplam implicitamente o armazenamento de conhecimento com os caminhos computacionais. O conhecimento é distribuído através dos pesos das redes de especialistas, tornando a recuperação indireta e dificultando o acesso flexível ao conhecimento global externo à sequência (ex: senso comum e informações fatuais). Esse acoplamento limita a transparência e a eficiência da internalização e recuperação de conhecimento durante o pré-treinamento.

Metodologia

Para abordar essas limitações, os autores propõem o LoKiFormer, uma nova arquitetura de LLM que aumenta o bloco decodificador padrão com dois módulos dedicados, projetados para lidar separadamente com informações locais internas à sequência e informações globais externas à sequência.

1. Atenção de Fusão Local (LFA)

A LFA é projetada para introduzir um viés indutivo local explícito para melhorar a modelagem de dependências de curto alcance.

Mecanismo: Antes do mecanismo de atenção, a LFA aplica uma operação de convolução em grupo que funde representações de tokens adjacentes. Os estados ocultos são divididos em $h$ grupos (correspondentes ao número de cabeças de atenção), e uma convolução 1D causal com tamanho de kernel $k$ agrega informações de $k$ vizinhos imediatos dentro de cada grupo.
Efeito: Esta fusão convolucional captura explicitamente padrões locais, criando representações mais ricas e conscientes do contexto. Consequentemente, o mecanismo de Atenção Latente Multi-Cabeça (MLA) subsequente pode operar em representações mais informativas, permitindo que se concentre em modelar relações contextuais globais mais amplas, em vez de interações locais redundantes.
Eficiência: A LFA é uma modificação leve, introduzindo apenas um aumento marginal de parâmetros (0,41% no modelo de 7B) sem alterar a complexidade total da atenção.

2. Módulo de Memória de Conhecimento (KMM)

O KMM é projetado para desacoplar o armazenamento de conhecimento da computação, permitindo a recuperação explícita e direta de conhecimento global.

Mecanismo: Ao contrário do MoE, que codifica o conhecimento implicitamente nos pesos, o KMM introduz uma estrutura de memória chave-valor paramétrica. Ele recebe a representação latente do módulo MLA como entrada, projeta-a em um espaço de consulta (query space) e a confronta com chaves aprendíveis que codificam campos de conhecimento específicos de domínios.
Estrutura: O módulo armazena o conhecimento em $F$ slots (campos) endereçáveis. Durante o treinamento, esses campos são otimizados de ponta a ponta. Durante a inferência, os tokens consultam diretamente esses campos para recuperar abstrações de conhecimento relevantes.
Integração: A representação de conhecimento recuperada é agregada e adicionada à saída da camada MLA antes de ser processada pela camada MoE. Essa configuração permite que o modelo equilibre a geração de novos padrões (via MoE) com a recuperação eficiente de conhecimento pré-aprendido (via KMM).
Interpretabilidade: Os autores demonstram que, através do treinamento de ponta a ponta, campos de conhecimento individuais evoluem espontaneamente para representar conceitos de domínios específicos (ex: física, história), permitindo uma recuperação de conhecimento direcionada e interpretável.

Principais Contribuições

O artigo descreve três contribuições primárias:

Viés Indutivo Local para Atenção Eficiente: A introdução da LFA, que utiliza fusão convolucional para capturar explicitamente padrões locais antes da atenção. Isso reduz interações locais redundantes e permite que o mecanismo de atenção se concentre em relações globais complexas, abordando a ineficiência da autoatenção na modelagem de dependências de curto alcance.
Memória Paramétrica Desacoplada para Conhecimento Global: A proposta do KMM, que armazena explicitamente abstrações de conhecimento reutilizáveis em slots endereçáveis. Isso desacopla o armazenamento da computação, permitindo a recuperação direta de conhecimento e inferência interpretável, em contraste com a representação de conhecimento implícita e acoplada do MoE padrão.
Melhoria na Eficiência de Pré-treinamento: A integração da LFA e KMM resulta em uma convergência significativamente mais rápida durante o pré-treinamento.

Resultados Experimentais

Os autores avaliaram o LoKiFormer em vários tamanhos de modelo (1B a 60B parâmetros) e benchmarks.

Convergência de Pré-treinamento: O LoKiFormer converge 1,33× mais rápido que os modelos de linha de base (baseline). Especificamente, ele atinge a mesma perplexidade de validação em 7,5K passos comparado aos 10K passos do baseline.
Desempenho em Tarefas (Downstream):
- Modelos de Tamanho Comparável: O LoKiFormer-7B supera os baselines densos e MoE de tamanho comparável (ex: Llama-3.1-8B, Qwen2.5-7B, Mixtral-8×7B) em tarefas de compreensão de linguagem (MMLU, CMMLU, C-Eval), raciocínio (HellaSwag, ARC-Challenge), código (HumanEval) e matemática (GSM8K).
- Modelos de Fronteira: Apesar de possuir apenas 7B de parâmetros totais (3B ativados), o LoKiFormer-7B alcança desempenho de estado da arte em compreensão de linguagem, superando modelos de fronteira de código aberto (ex: Llama-3.1-70B, Qwen2.5-72B) e sistemas de código fechado (ex: Claude-3.5-Sonnet, Gemini-1.5-Pro) em benchmarks como MMLU, CMMLU e C-Eval. No entanto, em tarefas de raciocínio e geração, ele tem um desempenho inferior em comparação com esses modelos de fronteira maiores; especificamente, pontua abaixo do Claude-3.5-Sonnet e Gemini-1.5-Pro em HellaSwag, HumanEval e GSM8K.
Escalabilidade: A arquitetura escala suavemente de 1B a 60B parâmetros, com melhorias consistentes na perplexidade e no desempenho de tarefas downstream conforme a capacidade do modelo aumenta.
Eficiência: O overhead computacional por passo é mínimo (redução de aproximadamente 2,6% no throughput), o que significa que a redução nos passos de treinamento se traduz diretamente em uma redução substancial no tempo total de treinamento (wall-clock time).
Estudos de Ablação: Experimentos confirmam que tanto a LFA quanto o KMM contribuem de forma independente e complementar para os ganhos de desempenho. Ablações sobre o tamanho do kernel, contagem de grupos e o número de campos de conhecimento validam as escolhas de design.

Significância e Alegações

O artigo afirma que o LoKiFormer representa um passo significativo para a eficiência e eficácia do pré-treinamento de LLMs. Ao abordar explicitamente as ineficiências na modelagem de dependências locais e a inflexibilidade do armazenamento implícito de conhecimento, a arquitetura alcança:

Convergência Mais Rápida: Reduzindo o custo computacional e o consumo de energia necessários para treinar grandes modelos.
Capacidade Representacional Aprimorada: Melhorando a habilidade do modelo de integrar padrões locais com conhecimento global, levando a um desempenho mais forte em tarefas de raciocínio complexo e intensivas em conhecimento, particularmente em compreensão de linguagem.
Interpretabilidade: Fornecendo um mecanismo mais transparente para o acesso ao conhecimento através do desacoplamento explícito de armazenamento e computação.

Os autores posicionam o LoKiFormer como uma alternativa superior às arquiteturas existentes, demonstrando que inovações arquiteturais podem gerar ganhos de desempenho comparáveis ou superiores aos de modelos muito maiores em domínios específicos (notadamente compreensão de linguagem), contribuindo assim para o desenvolvimento de sistemas de IA mais eficientes em recursos e sustentáveis. Um trabalho futuro é proposto para estender esta arquitetura para tarefas de raciocínio multimodal.