🤖 AI

MoNe: Modular Neural Memory for Efficient Long Context Inference

O MoNe é um sistema de memória neural leve e modular que se acopla a Transformers congelados para permitir uma inferência de contexto longo eficiente ao desacoplar o custo de inferência do comprimento do contexto, alcançando complexidade de consulta constante e uso de memória significativamente reduzido sem retreinamento.

Autores originais: Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

Publicado 2026-08-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A inteligência artificial moderna atingiu um ponto em que pode ler livros inteiros, analisar anos de registros de chat ou digerir vastos contratos jurídicos de uma só vez. Para fazer isso, esses sistemas dependem de um mecanismo que permite olhar para trás para tudo o que acabaram de processar para entender a pergunta atual. No entanto, essa habilidade vem com um preço alto. À medida que a quantidade de texto cresce, a energia e a memória de computador necessárias para processá-lo não apenas aumentam; elas explodem. Imagine tentar ler uma biblioteca comparando cada única palavra que você está lendo agora com cada única palavra que você leu desde que começou. O esforço necessário cresce tão rápido que rapidamente se torna impossível para computadores padrão, especialmente os menores encontrados em telefones ou laptops, lidar com mais do que alguns milhares de palavras por vez. Essa limitação força os sistemas atuais a esquecer o início de uma longa história ou a depender de ferramentas externas para encontrar fatos específicos, muitas vezes perdendo o panorama geral que conecta detalhes dispersos.

Uma equipe de pesquisadores da Qualcomm AI Research desenvolveu uma nova abordagem chamada MoNe, que permite que esses modelos de inteligência artificial lidem com quantidades massivas de informação sem a necessidade de serem retreinados ou sem sobrecarregar seu hardware. Em vez de forçar o computador a reler constantemente todo o histórico de uma conversa ou documento toda vez que responde a uma pergunta, o MoNe atua como um caderno especializado no qual o modelo escreve enquanto lê. O sistema processa o texto longo em partes pequenas e gerenciáveis. Ao ler cada parte, ele atualiza este caderno interno, destilando a informação essencial em uma forma compacta. Uma vez que todo o texto foi lido e o caderno está cheio, o modelo pode responder perguntas usando apenas o conteúdo desse caderno. Crucialmente, o modelo nunca precisa olhar para o texto longo original novamente. Esse design significa que o custo de responder a uma pergunta permanece o mesmo, não importa se o documento original era um e-mail curto ou um romance de cem mil palavras.

Os pesquisadores testaram este método em um conjunto padrão de desafios projetados para ver se um modelo conseguiria encontrar um fato específico escondido no meio de uma grande pilha de texto, uma tarefa frequentemente chamada de encontrar uma agulha em um palheiro. Eles também testaram sua capacidade de extrair palavras mencionadas com frequência e de resolver problemas que exigiam a conexão de múltiplas peças de informação espalhadas pelo texto. Quando o comprimento do texto permaneceu dentro dos limites originais de treinamento do modelo, o novo método desempenhou quase perfeitamente, superando abordagens padrão que tentam ler tudo de uma vez. Mais impressionante ainda, quando os pesquisadores levaram o sistema ao limite para lidar com comprimentos de texto muito além do que o modelo foi originalmente projetado para suportar — até cento e vinte e oito mil tokens — o novo método continuou a funcionar com alta precisão. Em contraste, a abordagem padrão, que tenta ler todo o texto de uma vez, falhou completamente à medida que o texto crescia, caindo para uma precisão próxima de zero. Um método alternativo comum, que tenta buscar trechos relevantes de texto, também teve dificuldades quando a resposta exigia a junção de muitos fatos diferentes e dispersos.

Os ganhos de eficiência deste novo método são substanciais. No comprimento de texto mais longo testado, os pesquisadores descobriram que sua abordagem reduziu a quantidade de poder de computação necessário em cerca de oitenta por cento em comparação com o método padrão. Também reduziu a memória de pico necessária na mesma margem. Este é um avimento crítico porque significa que o raciocínio de contexto longo e poderoso poderá eventualmente rodar em dispositivos com recursos limitados, em vez de exigir servidores massivos e caros. O sistema alcança isso mantendo a pegada de memória constante; o tamanho do caderno interno não cresce conforme o texto fica mais longo. Os pesquisadores demonstraram que este sistema pode ser anexado a modelos existentes e pré-treinados sem alterar sua estrutura central, adicionando apenas uma pequena quantidade de armazenamento de dados extra. Eles também mostraram que o sistema pode se generalizar para comprimentos de texto trinta e duas vezes maiores do que o que foi treinado, simplesmente processando o texto em segmentos de tamanho fixo e atualizando seu estado interno passo a passo.

Embora os experimentos atuais tenham se concentrado em tarefas de recuperação específicas usando um determinado tamanho de modelo, os resultados sugerem um caminho viável para tornar a inteligência artificial mais capaz de lidar com informações de longo formato do mundo real. O método não exige a construção de tipos inteiramente novos de cérebros computacionais do zero, nem demanda que o modelo seja retreinado em novos conjuntos de dados massivos. Em vez disso, introduz uma adição leve e modular que aprende a comprimir informações sobre a marcha. Isso permite que o sistema mantenha uma memória clara e constante do passado enquanto mantém baixo o custo de pensar no presente. À medida que a demanda por inteligência artificial que possa raciocinar sobre horas de conversa ou milhares de páginas de documentação continua a crescer, esta abordagem oferece uma maneira prática de manter esses sistemas rápidos, eficientes e capazes de compreender o contexto completo do mundo que lhes é solicitado para navegar.

Resumo Técnico: MoNe – Memória Neural Modular para Inferência Eficiente de Longo Contexto

1. Declaração do Problema

O processamento de contexto longo é essencial para aplicações como assistentes personalizados, QA de documentos e sistemas agentes. No entanto, a abordagem dominante, o Aprendizado em Contexto (ICL), escala quadraticamente ( $O(N^2)$ ) em FLOPs e linearmente ( $O(N)$ ) na memória do cache KV com o comprimento do contexto $N$ . Isso torna a inferência de contexto longo proibitivamente cara em hardware com recursos limitados (ex: dispositivos móveis) e faz com que modelos pequenos tenham dificuldade em realizar a extração confiável de informações mesmo dentro de suas janelas de contexto nativas.

Abordagens alternativas enfrentam limitações significativas:

Geração Aumentada por Recuperação (RAG): Embora reduza os custos de atenção, o RAG depende da recuperação baseada em embeddings de fragmentos independentes. Isso falha quando as tarefas exigem a síntese de múltiplos fatos dispersos e interdependentes que são, individualmente, sem importância.
Modelos Recorrentes/Lineares (ex: Mamba, TTT, Titans): Estes alcançam complexidade linear, mas exigem o treinamento de arquiteturas inteiramente novas do zero, impedindo a integração contínua com Transformers pré-treinados existentes sem o retreinamento completo.

2. Metodologia: MoNe

O MoNe (Modular Neural Memory) é um módulo plugin leve projetado para ser anexado a qualquer Transformer pré-treinado congelado, permitindo o raciocínio eficiente de contexto longo sem modificar os pesos do backbone. A arquitetura opera em duas fases distintas:

2.1. Arquitetura

O MoNe anexa uma rede de memória neural de pesos rápidos a cada camada de decodificador $l$ do backbone.

Módulo de Memória: Cada camada utiliza um SwiGLU MLP com parâmetros de pesos rápidos ( $W_{in}, W_{gate}, W_{out}$ ). Diferente de mapas lineares, esta rede não linear aumenta a capacidade expressiva para codificar estruturas associativas mais ricas.
Integração: Durante a inferência, os tokens de consulta são projetados via $W_q$ do backbone congelado e lidos a partir do estado de peso rápido em cache. Os tokens de memória resultantes são projetados no espaço chave-valor usando o $W_k$ e $W_v$ congelados e concatenados com as entradas de atenção padrão.
Eficiência de Parâmetros: O módulo adiciona apenas um pequeno número de parâmetros (sobrecarga de 6,4%) via adaptadores de baixo rank (LoRA) aos pesos congelados.

2.2. Operação em Duas Fases

Fase 1: Aprendizado em Tempo de Teste (Pré-processamento)

O contexto $C$ de $N$ tokens é particionado em segmentos de tamanho fixo de $T=512$ tokens.
Os segmentos são processados sequencialmente. Para cada segmento, os pesos rápidos em cada camada são atualizados via atualizações de gradiente localizadas por camada.
Perda de Memória Associativa: O módulo de memória é otimizado para maximizar o produto interno entre a saída da memória e os valores alvo (derivados de $W_k$ e $W_v$ congelados). Esta associação $k \to v$ é "implantada" nos pesos rápidos sem a necessidade de erro de predição ou retropropagação através de todo o backbone.
Codificação Posicional: O RoPE local de segmento é usado, atribuindo posições locais $p_{local} = j \mod T$ . Isso mantém os índices de posição limitados em $[0, T)$ independentemente do comprimento total do contexto, permitindo a generalização para comprimentos arbitrários sem interpolação.

Fase 2: Inferência

Os tokens de consulta atendem apenas aos tokens de memória gerados a partir do estado de peso rápido atualizado.
Nenhum token de contexto é relido, e nenhum token de contexto é atendido diretamente.
Complexidade: Isso desacopla o custo de inferência do comprimento do contexto, alcançando $O(N)$ no pré-processamento e $O(1)$ no custo de consulta, com o pico de memória da GPU permanecendo constante independentemente de $N$ .

3. Principais Contribuições

Arquitetura Modular: Um plugin que se integra a qualquer Transformer pré-treinado congelado, adicionando apenas 6,4% de sobrecarga de parâmetros sem modificação do backbone.
Procedimento de Aprendizado em Tempo de Teste: Um método usando atualizações de gradiente localizadas por camada para adaptar redes de memória neural de pesos rápidos. Isso permite um pré-processamento de $O(N)$ e um custo de consulta de $O(1)$ , contrastando com o custo de $O(N^2)$ do ICL. Suporta nativamente a extensão incremental de contexto e o reuso de múltiplas consultas.
Generalização: Demonstrou capacidade de generalizar de contextos de treinamento (até 4K tokens) para contextos de avaliação de 128K tokens (uma extrapolação de 32×) sem treinamento adicional ou interpolação posicional.

4. Resultados Experimentais

Experimentos foram conduzidos no benchmark RULER (S-NIAH, MK-NIAH, Frequent Word Extraction) usando um backbone Qwen2.5-0.5B-Instruct.

Desempenho:
- Dentro da Janela Nativa (4K–32K): O MoNe alcançou desempenho quase perfeito (0,99–1,00 Sub-EM), superando significativamente o ICL (0,41–0,98) e o RAG (0,58–0,93).
- Além da Janela Nativa (48K–128K): Enquanto o desempenho do ICL colapsou (ex: caindo para 0,28 no S-NIAH em 128K) e o RAG estagnou (com dificuldades em fatos de múltiplos saltos), o MoNe manteve uma forte precisão (0,96 no S-NIAH, 0,94 no MK-NIAH, 0,96 na Extração de Palavra Frequente em 128K).
Eficiência:
- Em 128K tokens, o MoNe reduziu o total de FLOPs em aproximadamente 81% e o pico de memória da GPU em 80% comparado ao ICL.
- O pico de memória da GPU para o MoNe permaneceu constante em 1,41 GB independentemente do comprimento do contexto, enquanto o ICL exigiu 7,07 GB em 128K.
Estudos de Ablação:
- Cobertura de Camadas: Anexar o MoNe a todas as 24 camadas do decodificador produziu os melhores resultados. Restringir às últimas 8 camadas fez com que o desempenho colapsasse além de 32K.
- Tamanho do Segmento: Um tamanho de segmento de $T=512$ ofereceu o melhor equilíbrio, generalizando efetivamente para 128K, enquanto segmentos menores ( $T=128, 256$ ) degradaram rapidamente após 16K.

5. Significância e Alegações

O artigo afirma que o MoNe oferece uma solução prática para a inferência de contexto longo com recursos limitados ao desacoplar o custo computacional do comprimento do contexto. Sua significância reside em:

Eficiência: Alcançar uma pegada de memória constante e pré-processamento linear, tornando o raciocínio de contexto longo viável em dispositivos de borda onde os custos de cache KV seriam proibitivos de outra forma.
Compatibilidade: Permitir capacidades de contexto longo para modelos existentes congelados sem a necessidade de ajuste fino completo caro ou redesenho arquitetural.
Robustez: Superar tanto o ICL padrão (que degrada com o comprimento) quanto o RAG (que tem dificuldades com raciocínio distribuído) em tarefas que exigem a síntese de informações através de contextos longos.

Os autores observam que, embora a validação atual utilize um backbone de 0,5B e tarefas de recuperação controladas, o design de plugin é destinado a escalar para modelos maiores e cargas de trabalho naturalistas (ex: QA de múltiplos documentos, históricos de conversação) onde as vantagens de eficiência da inferência de memória constante devem se tornar ainda mais pronunciadas.