🤖 machine learning

Proteus: Incremental Memory Activation for Long-Context Sequence Modeling

O artigo apresenta o Proteus, um novo paradigma de ativação incremental de memória que expande progressivamente a capacidade de memória efetiva para mitigar a interferência de tokens precoces e melhorar a retenção, demonstrando ganhos de desempenho consistentes em vários modelos de contexto longo de última geração.

Autores originais: Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No vasto cenário da inteligência artificial, um desafio persistente tem definido, há muito tempo, os limites do que as máquinas podem lembrar. Durante anos, os sistemas mais poderosos basearam-se num mecanismo que tratava cada fragmento de informação encontrado com o mesmo peso, armazenando um registo completo e imutável de tudo o que já tinham lido. Embora esta abordagem permitisse uma precisão incrível na recuperação de detalhes específicos, trazia um custo elevado: quanto mais informação o sistema processava, mais dispendioso se tornava computacionalmente, acabando por abrandar até quase parar quando confrontado com histórias longas ou documentos complexos. Para resolver isto, os investigadores recorreram a uma estratégia diferente, concebendo modelos que comprimem o histórico num resumo único de tamanho fixo. Isto tornou-os rápidos e eficientes, mas introduziu um novo problema. Como o espaço de memória estava sempre totalmente aberto desde o primeiro momento, o sistema tendia a preencher-se com os primeiros detalhes que via, deixando pouco espaço para a nova informação que chegava mais tarde. O resultado era uma máquina que se lembrava perfeitamente do início de uma conversa, mas que tinha dificuldade em reter o fim.

Uma equipa de investigadores propôs agora uma solução para este desequilíbrio, introduzindo um método que chamam de ativação incremental de memória. Em vez de manter todo o banco de memória aberto e disponível desde o início, a sua abordagem desbloqueia gradualmente a memória à medida que a sequência de informação cresce. Imagine uma biblioteca onde as prateleiras estão inicialmente trancadas, forçando o bibliotecário a resumir os primeiros livros num espaço pequeno e apertado. À medida que chegam mais livros, novas prateleiras são desbloqueadas, proporcionando espaço fresco para as histórias posteriores sem apagar os resumos das anteriores. Esta simples mudança no tempo força o sistema a comprimir o contexto inicial de forma eficaz, garantindo ao mesmo tempo que a informação posterior tenha espaço para ser armazenada sem interferir com o que veio antes. Os investigadores testaram esta ideia em vários dos modelos baseados em memória mais avançados atualmente existentes, descobrindo que ela melhorava consistentemente a capacidade de compreender textos longos e de recuperar detalhes específicos no seu interior.

O cerne deste trabalho aborda um modo de falha específico na forma como estas máquinas aprendem. Quando um modelo tem permissão para usar toda a sua capacidade de memória imediatamente, as primeiras peças de informação que encontra não enfrentam competição pelo espaço. Elas podem ocupar uma quantidade desproporcional da atenção do sistema, "poluindo" efetivamente o estado da memória. Quando a informação posterior chega, a memória já está saturada, e os novos detalhes têm de se espremer, muitas vezes sobrepondo-se ou distorcendo os dados anteriores. Os investigadores argumentam que esta abordagem estática é subótima. O seu novo paradigma, chamado Proteus, introduz um cronograma dinâmico onde a capacidade efetiva da memória não é fixa, mas cresce em sintonia com o comprimento do input. No início de uma sequência, o sistema é forçado a trabalhar com um subconjunto restrito da sua memória, agindo como um gargalo que incentiva o sistema a resumir e comprimir o contexto inicial em vez de o memorizar em detalhe. À medida que a sequência continua, blocos adicionais de memória são progressivamente desbloqueados, oferecendo nova capacidade para a nova informação. Isto garante que os tokens posteriores não tenham de lutar por espaço contra os primeiros, reduzindo a interferência e melhorando a retenção do contexto mais recente.

Para testar este conceito, a equipa aplicou o mecanismo Proteus a um conjunto diversificado de modelos de última geração, incluindo arquiteturas conhecidas como SWLA, Comba, Titans e Hope-Attention. Estes modelos foram treinados em conjuntos de dados massivos contendo biliões de palavras, tendo os investigadores comparado o seu desempenho com e sem o novo sistema de portão (gating). Os resultados mostraram um padrão claro e consistente: a adição do Proteus melhorou o desempenho dos modelos em todos os aspetos. Em tarefas linguísticas padrão, os modelos produziram previsões mais precisas e melhores pontuações de raciocínio. As melhorias foram particularmente visíveis em cenários de contexto longo. Quando questionados para recuperar uma peça específica de informação escondida dentro de um documento muito longo — uma tarefa frequentemente chamada de "agulha no palheiro" — os modelos que utilizavam o Proteus mantiveram a sua precisão muito melhor do que os seus homólogos padrão à medida que o comprimento do texto aumentava. Por exemplo, em tarefas envolvendo documentos de até 16.000 palavras, os modelos com o cronograma de ativação incremental mostraram ganhos significativos na localização da informação correta, enquanto os modelos de base viram o seu desempenho degradar-se acentuadamente.

O estudo também explorou como este princípio poderia aplicar-se para além do estado de memória do modelo, estendendo-o aos próprios parâmetros internos do modelo. Ao tratar o processo de aprendizagem das camadas internas do modelo como uma forma de memória, os investigadores aplicaram a mesma lógica de cronograma à forma como o modelo atualiza o seu próprio conhecimento. Esta extensão permitiu que o método fosse utilizado em arquiteturas que não dependem de um estado de memória recorrente tradicional, demonstrando ainda mais a flexibilidade da abordagem. Em todos os experiências, o método não exigiu armazenamento de memória adicional ou custos computacionais extras; simplesmente alterou o tempo de quando diferentes partes do sistema eram permitidas participar na aprendizagem e recuperação. As descobertas sugerem que a forma como a capacidade é alocada ao longo do tempo é tão importante quanto a própria arquitetura. Ao tratar a memória não como um recurso estático, mas como um cronograma que evolui com o contexto, os investigadores forneceram uma ferramenta simples e amplamente aplicável que ajuda as máquinas a gerir sequências longas de forma mais eficaz, provando que, por vezes, a melhor forma de se lembrar de tudo é abrir as portas lentamente.

Resumo Técnico: Proteus: Ativação Incremental de Memória para Modelagem de Sequências de Longo Contexto

Declaração do Problema

O custo computacional quadrático da atenção em Transformers tem impulsionado a pesquisa em direção a modelos baseados em memória que comprimem o contexto em um estado de tamanho fixo (ex: RNNs modernas). No entanto, os modelos de memória existentes tipicamente expõem uma capacidade de memória estática durante todo o processo da sequência. Esse design leva a dois modos principais de falha:

Subcompressão Precoce: Os tokens iniciais chegam quando o estado de memória está quase vazio. Sem competição pela capacidade, eles ocupam uma parcela desproporcional dos graus de liberdade da memória sem serem forçados à compressão, efetivamente "poluindo" o estado.
Interferência Posterior: À medida que a sequência progride, os tokens posteriores devem ser espremidos na capacidade restante. Isso força as novas informações a sobrescrever ou interferir no conteúdo armazenado anteriormente, degradando a habilidade do modelo de reter o contexto posterior.

Os autores argumentam que a capacidade estática é suboptimal porque a "quantidade certa" de capacidade difere entre o início e o fim de uma sequência. Entradas iniciais exigem um gargalo para forçar a compressão, enquanto entradas posteriores exigem capacidade nova para evitar a sobrescrita.

Metodologia: Ativação Incremental de Memória

O artigo propõe um novo paradigma chamado Ativação Incremental de Memória, onde a capacidade efetiva da memória é programada como uma função do comprimento do contexto, em vez de ser fixa. Este paradigma aborda os modos de falha através de dois mecanismos complementares:

Gargalo Precoce: Ao restringir o subconjunto de memória ativo no início da sequência, o modelo é forçado a resumir (comprimir) o contexto inicial em vez de memorizá-lo.
Capacidade Nova: À medida que o contexto cresce, blocos de memória previamente bloqueados são progressivamente desbloqueados. Isso fornece novos graus de liberdade para novas informações, reduzindo a interferência com o conteúdo armazenado anteriormente.

O Mecanismo Proteus

Os autores instanciam este paradigma no Proteus, um esquema de portão (gating) por blocos leve e aplicável a uma ampla classe de arquiteturas de memória associativa (incluindo RNNs lineares e modelos com memória baseada em MLP) sem custo adicional de parâmetros.

Componentes Principais:

Particionamento de Blocos: Os parâmetros de memória (ex: uma matriz $M \in \mathbb{R}^{d_k \times d_v}$ ) são particionados em $E$ blocos contíguos de igual tamanho.
Cronograma Determinístico: Um cronograma simples e uniforme determina o número de blocos ativos $k(t)$ $k (t)$ no passo $t$ $t$ . A fração ativa cresce em incrementos uniformes ao longo do comprimento do contexto $N$ $N$ .
- Tokens no segmento inicial $[1, \Delta]$ interagem apenas com o primeiro $1/E$ da memória.
- À medida que $t$ aumenta, blocos adicionais são desbloqueados até que toda a memória esteja disponível.
Operações de Portão (Gated Operations):
- Escrita (Write): A regra de atualização (ex: gradiente descendente) é aplicada apenas aos blocos atualmente ativos. Blocos bloqueados permanecem fixos e não recebem atualizações.
- Leitura (Read): Operações de recuperação leem apenas do subconjunto ativo da memória.
- Formulação Matemática: Para um estado de memória $M_{t-1}$ e uma máscara de ativação $g_t$ , a atualização é:
  $M_t = M_{t-1} - \theta_t (g_t \odot \nabla \tilde{L}(M^{(g)}_{t-1}; k_t, v_t))$
  onde $M^{(g)}_{t-1}$ é o subconjunto ativo e $\odot$ denota multiplicação elemento a elemento.

Extensão aos Parâmetros do Modelo (Aprendizado Aninhado):
Aproveitando a perspectiva de "Aprendizado Aninhado" (Behrouz et al., 2025d), que vê blocos de MLP como memória associativa, o Proteus estende este princípio de programação aos próprios parâmetros do modelo. Em arquiteturas como Hope-Attention, a atualização dos parâmetros dos blocos de MLP é controlada pelo mesmo cronograma, garantindo que amostras de treinamento iniciais não causem overfitting de todo o espaço de parâmetros antes que as amostras posteriores cheguem.

Contribuições Principais

Paradigma de Ativação Incremental de Memória: Uma abordagem inovadora para controlar a capacidade efetiva do modelo sobre o fluxo de contexto, incentivando a compressão precoce e reduzindo a sobrescrita/interferência posterior.
Mecanismo Proteus: Um esquema de portão por blocos genérico e de aplicação direta (drop-in) que aplica a ativação incremental tanto para leituras/escritas de memória quanto para parâmetros de MLP, via Aprendizado Aninhado. Não requer parâmetros adicionais ou sobrecarga de memória.
Validação Empírica: Demonstração de que o Proteus melhora consistentemente modelos de última geração (SWLA, Comba, Titans, Hope-Attention) em múltiplos benchmarks.

Resultados Experimentais

Os autores avaliaram o Proteus em quatro famílias de modelos (Hope-Attention, SWLA, Comba, Titans) em escalas de 760M e 1.3B de parâmetros, treinados em 50B e 100B de tokens, respectivamente.

Modelagem de Linguagem e Raciocínio de Senso Comum: O Proteus reduziu consistentemente a perplexidade no Wikitext e LAMBADA e melhorou a precisão zero-shot em sete benchmarks de senso comum (PIQA, HellaSwag, etc.). Os ganhos foram observados em todos os backbones, com o Titans+Proteus alcançando o melhor desempenho geral (ex: 58.00 de precisão média em 1.3B).
Needle-in-a-Haystack (NIAH): As melhorias foram mais pronunciadas em comprimentos de contexto longos (16K) e em variantes mais difíceis (ex: recuperação de UUID). Por exemplo, o Proteus melhorou o desempenho do Titans em S-NIAH-3 a 16K de 21.4% para 29.8%. Em contextos curtos onde os modelos base já estavam saturados, o Proteus foi neutro.
Recuperação e Compreensão de Longo Contexto: Em tarefas como SWDE, SQuAD e FDA, o Proteus melhorou a robustez e a extrapolação de comprimento, particularmente para modelos que anteriormente sofriam degradação acentuada de precisão (Comba, Titans). No benchmark LongBench, o Proteus melhorou as pontuações médias em todos os três backbones avaliados.

Observação Chave: Os ganhos de desempenho geralmente escalam com o comprimento do contexto, confirmando que o mecanismo auxilia especificamente a retenção e a extrapolação de longo contexto.

Significância e Alegações

O artigo afirma que a memória estática é suboptimal para a modelagem de sequências de longo contexto. Ao tratar a capacidade de memória como um recurso estático, os modelos falham em equilibrar a necessidade de compressão precoce com a necessidade de retenção posterior.

A significância do Proteus reside em sua simplicidade e ampla aplicabilidade:

É uma ferramenta de programação simples que não altera a arquitetura de memória subjacente, as regras de atualização ou os objetivos internos.
É agnóstico à arquitetura, melhorando diversos modelos, desde RNNs lineares até redes complexas aumentadas por memória.
Demonstra que programar a capacidade efetiva é um alavancagem fundamental para melhorar o desempenho de longo contexto, ofereção uma alternativa prática ao aumento do tamanho do modelo ou da complexidade da memória.

Os autores mantêm-se modestos, observando que seu cronograma é atualmente fixo e projetado manualmente, e que a extensão para blocos de MLP é uma prova de conceito. Eles sugerem que trabalhos futuros poderiam explorar políticas de ativação aprendidas e dependentes de dados, além de combinar a ativação incremental com arquiteturas de memória crescente.