🤖 machine learning

Beyond Memory Leaderboards: Evaluating Scientific Memory as Budgeted Context Restoration

Este artigo apresenta dois benchmarks de memória científica de texto completo, PAIM e PTr, para demonstrar que os rankings de memória são frequentemente enganosos sem o controle dos orçamentos e protocolos de recuperação, argumentando, em última análise, que a memória científica deve ser avaliada como uma restauração de contexto com orçamento e consciente de modalidades, em vez de um desempenho arquitetônico sem restrições.

Autores originais: Maksim Sheverev, David Finkelstein, Sergey Nikolenko

Publicado 2026-07-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Maksim Sheverev, David Finkelstein, Sergey Nikolenko

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um mistério massivo e complexo. Você tem um detetive superinteligente (uma IA) que consegue ler uma biblioteca de livros em uma fração de segundo. Mas aqui está o detalhe: mesmo o detetive mais inteligente fica confuso se você enfiar milhões de páginas de texto na frente dele de uma só vez. Ele pode perder a pista crucial escondida no meio, ou pode ficar tão sobrecarregado que começa a dar palpites. Este é o problema do "contexto longo" da IA. Para corrigir isso, cientistas estão construindo "memórias" para esses detetives — arquivos digitais onde a IA pode armazenar fatos, histórias e evidências para extrair apenas quando necessário.

Por muito tempo, as pessoas pensaram que a melhor memória era simplesmente aquela que conseguia agarrar o maior número de páginas de texto. Era como um jogo onde o vencedor era o detetive que conseguia ler a maior pilha de papéis. Mas este artigo faz uma pergunta melhor: é melhor ler uma montanha de papel ou ler apenas as poucas páginas certas que realmente resolvem o caso? Os pesquisadores argumentam que, para a pesquisa científica, a memória não é apenas sobre armazencer fatos; é sobre "restauração de contexto". É a capacidade de reconstruir a rede exata e interconectada de evidências necessária para responder a uma pergunta específica, sem se perder no ruído. Eles querem saber: se dermos a cada detetive exatamente a mesma quantidade de papel para ler, quem realmente resolve o mistério melhor?

Os autores deste artigo, Maksim Sheverev, David Finkelstein e Sergey Nikolenko, decidiram parar de adivinhar e começar a medir. Eles construíram dois laboratórios de testes massivos e reais usando milhares de artigos científicos reais sobre Inteligência Artificial e ciência da computação. Eles criaram uma nova forma de jogar o jogo chamada "restauração de contexto orçada". Imagine dar a cada detetive uma mochila que só pode carregar 30.000 caracteres de texto. Não importa o quão boa seja a sua memória, eles não podem carregar mais do que isso. Eles então testaram oito tipos diferentes de "sistemas de memória" — alguns que apenas pegam pedaços de texto, outros que constroem mapas complexos de fatos e alguns que tentam resumir tudo em notas minúsculas.

Aqui está o que eles descobriram, e isso vira o placar habitual de cabeça para baixo.

Primeiro, eles descobriram que os "vencedores" em concursos anteriores estavam frequentemente trapaceando ao carregar mochilas enormes. Um sistema, chamado Graphiti, estava vencendo por uma margem esmagadora, mas era porque lhe era permitido carregar 2,6 milhões de caracteres de texto por pergunta — aproximadamente o tamanho de um pequeno romance! Quando os pesquisadores forçaram o Graphiti a usar a mesma mochila minúscula de 30.000 caracteres de todo mundo, ele não apenas perdeu; ele caiu para o fundo da lista. A "vitória" não foi porque o sistema era mais inteligente; era apenas porque ele tinha mais combustível.

Segundo, eles descobriram que o tipo de memória importa menos do que as ferramentas usadas para encontrar a informação. Em um de seus conjuntos de teste (chamado PTr), que era cheio de nomes específicos como "Kimi Linear" ou "Ring-flash", a melhor estratégia não foi uma arquitetura nova e sofisticada. Foi simplesmente misturar dois métodos de busca: um que procura por significado (denso) e outro que procura por palavras exatas (esparso/BM25). Quando eles adicionaram essa ferramenta de "busca de palavras" aos outros sistemas, as pontuações saltaram e os três melhores sistemas terminaram em um empate técnico, separados por menos de um único ponto em uma escala de dez pontos. Isso sugere que, para questões científicas, ter o mecanismo de busca certo é mais importante do que ter um arquivo sofisticado.

Terceiro, eles provaram que a maneira como estavam avaliando as respostas era justa e confiável. Eles usaram uma IA superinteligente para julgar as respostas, mas ficaram preocupados que a IA pudesse ser tendenciosa. Por isso, fizeram três IAs diferentes avaliarem as mesmas respostas e até trouxeram 112 voluntários humanos para uma comparação lado a lado. Eles descobriram que os juízes de IA concordavam com os humanos cerca de 77% das vezes, mas apenas quando a diferença nas pontuações era clara. Se duas respostas eram muito próximas (dentro de um ponto), nem a IA conseguia diferenciá-las. Isso significa que, no futuro, não devemos nos empolgar com diferenças minúsculas de pontuação; elas são provavelmente apenas ruído.

O artigo apresenta um novo sistema chamado "Theoria", que tenta organizar artigos científicos em camadas de evidências, comunidades de ideias relacionadas e teorias de alto nível. Embora o Theoria tenha tido um desempenho muito bom e tenha sido competitivo com os melhores sistemas, ele não venceu tudo magicamente. Os pesquisadores sugerem que o verdadeiro poder do Theoria pode vir de como ele lida com projetos de pesquisa de longo prazo ao longo do tempo, não apenas respondendo a uma única pergunta em um teste.

No fim, os autores argumentam que precisamos parar de tratar a memória da IA como um placar de videogame onde a pontuação mais alta vence. Em vez disso, devemos tratar como um experimento científico onde controlamos o orçamento. Eles mostraram que, se você não controlar quanto texto a IA tem permissão para ler, você não está medindo inteligência; você está apenas medindo quem tem a maior mochila. Ao padronizar as regras, eles revelaram que métodos simples funcionam tão bem quanto os complexos, desde que você dê a eles as ferramentas certas para encontrar a agulha no palheiro. Eles disponibilizaram todos os seus dados, códigos e perguntas de teste para o público, convidando todos a tentar vencer seus resultados, mas sob as novas regras justas.

Resumo Técnico: Além dos Leaderboards de Memória

Declaração do Problema

As avaliações atuais da Memória de Longo Prazo (LTM) para agentes de Grandes Modelos de Linguagem (LLMs) são herdadas, em grande parte, de configurações conversacionais, focando em diálogos de múltiplas sessões, preferências do usuário e atualizações de fatos. No entanto, agentes de pesquisa operam em um regime diferente: eles devem restaurar evidências de artigos científicos completos para responder a questões de pesquisa complexas. Os autores argumentam que os benchmarks padrão falham em capturar a distinção entre recuperação (recuperar um fato) e restauração de contexto (reconstruir um corpo interconectado de literatura com granularidade, condições e evidências específicas).

Uma falha crítica nos leaderboards existentes é a falta de controle sobre o orçamento de recuperação (o volume de texto retornado) e a modalidade de recuperação (densa vs. esparsa/híbrida). Sem esses controles, arquiteturas que retornam quantidades massivas de texto bruto (ex: artigos completos) parecem superiores não por possuírem uma melhor gestão de memória, mas simplesmente porque fornecem mais contexto ao sintetizador. Este artigo postula que a memória científica deve ser avaliada como restauração de contexto com orçamento e consciência de modalidade, em vez de um leaderboard de arquitetura sem restrições.

Metodologia

Benchmarks: Paim e PTr

Os autores introduzem dois conjuntos de dados de QA científica de texto completo projetados para testar a restauração de contexto sob condições controladas:

Public AI Memory (Paim): 81 artigos sobre memória de agentes de IA, RAG e agentes científicos (1,1 milhão de palavras). Inclui 66 perguntas auditadas através de três níveis de dificuldade (L1: recuperação de intervalo único; L2: mecanismo/comparação; L3: síntese entre documentos).
Public Transformers (PTr): 252 artigos sobre arquiteturas Transformer (atenção, gerenciamento de KV, etc.). Este corpus apresenta entidades nomeadas mais densas e lexicalmente distintas (nomes de modelos, nomes de kernels) em comparação ao Paim.

Ambos os datasets passam por uma auditoria de rubrica rigorosa para garantir que os fatos sejam verificáveis dentro dos artigos citados, que a dependência de dados voláteis seja removida e que os rótulos de dificuldade sejam precisos.

Protocolo de Avaliação

Os autores avaliam oito sistemas de memória/recuperação (incluindo o seu próprio, Theoria) além de um baseline de não-recuperação sob um protocolo de restauração de contexto unificado:

Ingestão: Os sistemas ingerem artigos completos (ou fragmentos) em seus respectivos repositórios (vetores, grafos, fatos, etc.).
Recuperação: Os sistemas recuperam o contexto sob restrições de orçamento estritas ( $B \in \{10K, 30K, 50K\}$ caracteres por consulta) e restrições de modalidade (embeddings densos vs. híbridos esparso-densos usando BM25).
Síntese: Um sintetizador externo (GPT-4.1-mini) gera respostas a partir do contexto recuperado.
Julgamento: As respostas são pontuadas contra rubricas de ouro por um juiz LLM (Gemini 3.1 Pro), com validação cruzada contra outros modelos de fronteira (Sonnet 4.6, GPT-5.4, DeepSeek V4 Pro) e um estudo humano cego lado a lado (SxS).

Sistemas Avaliados

O estudo abrange diversas famílias arquiteturais:

Simple RAG: Baseline baseado em fragmentos (hipótese nula).
Mem0: Extração e atualização de fatos atômicos.
Hindsight: Memória narrativa/temporal com quatro redes epistêmicas.
Cognee: Completagem de Grafo de Conhecimento (KG) via pipeline ECL.
Graphiti/Zep: Grafo de conhecimento bi-temporal com recuperação de episódios.
Theoria: Um sistema de três camadas (Evidência, Comunidade, Teoria) utilizando árvores RAPTOR, agrupamento Leiden e declarações teóricas.
Prism: Uma ablação do Theoria que isola a extração e o RAPTOR sem o roteamento de comunidade.
Direct Read: Um âncora de oráculo utilizando o contexto total do corpus.

Principais Resultados

1. O Volume de Recuperação Domina os Leaderboards Nativos

Em execuções "nativas" (sem limite), o Graphiti alcança as pontuações mais altas no Paim (8,04 total). No entanto, isso se deve inteiramente ao fato de ele recuperar ~2,6 milhões de caracteres por consulta (episódios de artigos completos). Quando o orçamento de recuperação é limitado a ~30K caracteres, o desempenho do Graphiti colapsa para o fundo do leaderboard (5,27), enquanto o Simple RAG (7,25) e o Theoria (7,19) emergem como líderes. Isso demonstra que os leaderboards nativos confundem arquitetura com volume de contexto.

2. O Controle de Orçamento Revela Nuances Arquiteturais

Sob orçamentos fixos (~30K chars) no Paim, o cluster superior (Simple RAG, Theoria, Mem0) é estatisticamente indistinguível (dentro de 0,3 pontos). Contudo, no PTr, onde as entidades nomeadas são lexicalmente distintas, memórias estruturadas (Theoria, Mem0) superam ligeiramente o Simple RAG sob recuperação densa.

3. O Efeito Híbrido do BM25

A intervenção mais significativa medida foi a adição da recuperação lexical BM25 aos embeddings densos (híbrido esparso-denso).

No PTr, esta abordagem híbrida elevou significativamente as pontuações de todos os sistemas.
As três variantes híbridas (Simple RAG+BM25, Mem0+BM25, Theoria+BM25) empataram na liderança com 0,03 pontos, apesar de possuírem custos de ingestão que abrangem quatro ordens de magnitude.
No Paim, o ganho do híbrido foi menos consistente, sugerindo que a estrutura do corpus (distinção lexical) dita a eficácia da recuperação híbrida.

4. Calibração do Juiz e Resolução

O estudo valida a confiabilidade do "LLM-como-juiz":

Os rankings são altamente consistentes entre juízes de fronteira (Spearman $\rho \in [0,90, 0,97]$ ).
A avaliação humana SxS mostra que os juízes LLM concordam com os avaliadores humanos em 77% dos pares quando uma tolerância de empate de $\tau=1$ é aplicada.
A resolução efetiva do protocolo é de aproximadamente um ponto em uma escala de 0 a 10; diferenças menores que isso são indistinguíveis de ruído.

Significância e Contribuições

O artigo argumenta que o campo deve ir além dos leaderboards sem restrições em direção à restauração de contexto com orçamento e consciência de modalidade. Suas principais contribuições são:

Dois Novos Benchmarks: Paim e PTr, apresentando corpora científicos de texto completo, rubricas auditadas e questões com níveis de dificuldade que estressam a restação de contexto em vez da simples recuperação de fatos.
Harness de Avaliação Unificado: Um framework que isola os efeitos do orçamento de recuperação, da modalidade e da arquitetura, revelando que arquiteturas "vencedoras" frequentemente dependem de volume de contexto não controlado.
Sistema Theoria: Um sistema de memória científica de três camadas (Evidência + Comunidade + Teoria) que demonstra desempenho competitivo sob orçamentos equivalentes, embora não domine estritamente o leaderboard híbrido.
Rigor Metodológico: Um protocolo para calibrar juízes LLM contra a avaliação humana e o consenso entre juízes, estabelecendo que pequenas diferenças de pontuação (<1 ponto) não são estatisticamente significativas.

Os autores concluem que, embora a memória estruturada (Theoria, Mem0) ofereça vantagens em domínios específicos (como o PTr), a modalidade de recuperação (especificamente a recuperação híbrida esparsa-densa) é atualmente a alavanca mais poderosa para melhorar o QA científico. Eles pedem que os futuros benchmarks relatem explicitamente os orçamentos de recuperação, modalidades e contratos de granularidade para garantir comparações justas e interpretáveis.