Resumo Técnico: ERSkill - Evoluindo para a Recuperação de Memória Guiada por Habilidades

Declaração do Problema

Embora os agentes de Grandes Modelos de Linguagem (LLMs) dependam cada vez mais de memória de longo prazo para interações persistentes, os mecanismos de recuperação que regem essa memória são tipicamente estáticos. Os métodos de autoevolução existentes focam em refinar o conteúdo da memória (por exemplo, destilando traços de raciocínio ou atualizando itens de memória), mas frequentemente dependem de estratégias de recuperação pré-definidas e fixas (como recuperação densa ou BM25) no momento da consulta. Essa abordagem estática limita o desempenho em consultas de memória heterogêneas, que exigem diversas estratégias de construção de evidências. Por exemplo, uma consulta que exige a recuperação de um evento específico difere fundamentalmente de uma que exige raciocínio causal através de múltiplos eventos. O problema central abordado é como um agente de LLM pode evoluir e aprender a compor ações de recuperação complexas para que seu comportamento de recuperação se adapte às variadas demandas de informação de diferentes consultas.

Metodologia: Estrutura ERSkill

Os autores propõem o ERSkill (Evolving Retrieval Skill), uma estrutura centrada na recuperação que modela o acesso à memória do agente como uma construção de evidência guiada por habilidades. O sistema consiste em três componentes principais:

1. Memória Estruturada e Biblioteca de Primitivos

O ERSkill compila históricos de interação em um repositório de memória estruturada $M(D) = (A, I, G)$, compreendendo registros de nível atômico ($A$), índices ($I$) e grafos ($G$). Em vez de tratar a memória como um repositório passivo, o ERSkill a expõe através de uma biblioteca fixa de primitivos de recuperação ($P$). Esses primitivos atuam como transições de estado ($p: (q, s, M(D)) \to s'$) e incluem:

• Primitivos de Busca: entity_search (baseado em entidade), lexical_search (BM25) e dense_search (similaridade semântica).
• Primitivos de Expansão: temporal_focus_expand, similarity_expand e relation_expand para expandir a evidência via arestas de grafo.
• Primitivos de Processo: llm_process para reescrita de consulta, filtragem e controle dinâmico.

2. Habilidade de Recuperação e Roteador

Uma habilidade de recuperação ($\kappa$) é definida como um programa executável composto por uma sequência de primitivos. Essa abstração permite que os comportamentos de recuperação sejam reutilizáveis, interpretáveis e refináveis.

• Roteador de Habilidade: Um modelo treinado $R_\theta$ combina dinamicamente uma consulta $q$ à habilidade $\kappa$ ideal do conjunto atual $K$. O roteador codifica tanto a consulta quanto as descrições das habilidades em representações vetoriais para computar pontuações de compatibilidade, selecionando a habilidade que melhor constrói a visão de evidência necessária para a geração da resposta.

3. Coevolução de Habilidade e Roteador

Para superar as limitações de um conjunto de habilidades estático, o ERSkill emprega um procedimento de coevolução que atualiza conjuntamente o conjunto de habilidades e o roteador. Esse processo é guiado por dois mecanismos principais:

• Trie de Experiência: Uma estrutura de dados eficiente que registra caminhos de primitivos explorados. Ela permite que o gerador de habilidades reutilize experiências de rollouts passados, detecte candidatos duplicados e evite exploração redundante.
• Mecanismo de Dupla Fronteira: Isso desacopla a expansão de capacidade da estabilidade de implantação:
  • Fronteira de Capacidade ($C_t$): Mantém um conjunto compacto de habilidades com o melhor valor do "lado do oráculo" (ou seja, o melhor desempenho possível se a habilidade ideal fosse sempre escolhida). Ela rastreia a capacidade máxima de recuperação descoberta.
  • Fronteira de Implantação ($B_t$): Mantém o conjunto de habilidades realmente utilizado no momento da inferência. Contém apenas habilidades que o roteador pode selecionar de forma confiável.
  • Processo de Evolução: Novos candidatos a habilidades são gerados editando caminhos da fronteira de capacidade. Os candidatos são avaliados em lotes de treinamento e validação. A fronteira de capacidade é atualizada para preservar o desempenho do oráculo, enquanto a fronteza de implantação é atualizada apenas se o novo conjunto melhorar o desempenho roteado ou mantiver a compacidade dentro de um limite de tolerância. Isso garante que o sistema possa explorar novas capacidades sem desestabilizar o agente implantado.

Principais Contribuições

1. Estrutura Centrada na Recuperação: O artigo introduz uma mudança de paradigma onde o acesso à memória é tratado como uma construção de evidência adaptável à consulta, em vez de uma estratégia de recuperação fixa.
2. Arquitetura ERSkill: Uma estrutura guiada por habilidades que coevolui habilidades de recuperação e o roteador usando uma trie de experiência e um design de dupla fronteira para equilibrar exploração e estabilidade.
3. Desempenho Empírico: Experimentos extensos demonstram que o ERSkill supera substancialmente as bases fortes não evolutivas e de autoevolução.

Resultados Experimentais

Os autores avaliaram o ERSkill em três benchmarks de memória de agente: LoCoMo, LongMemEval e PerLTQA, utilizando dois backbones de LLM: Qwen3-Next-80B-A3B-Instruct e GPT-5.4-nano.

• Ganhos de Desempenho: O ERSkill alcançou a melhor média geral entre as pontuações F1, BLEU-1 e LLM-as-a-Judge.
  • Com o Qwen3-Next-80B-A3B-Instruct, ele melhorou a média geral em 31,3% sobre a base mais forte.
  • Com o GPT-5.4-nano, ele melhorou a média geral em 28,1%.
• Transferibilidade: As habilidades treinadas no LoCoMo transferiram-se efetivamente para o LongMemEval sem treinamento adicional, mantendo o desempenho superior.
• Relação Custo-Desempenho: O ERSkill demonstrou uma relação favorável, alcançando as maiores pontuações L-J enquanto permanece leve tanto em tokens de construção de memória quanto em tokens de inferência comparado a outros métodos de construção de memória baseados em LLM.
• Estudos de Ablação: A remoção de componentes chave (evolução de habilidade, o roteador, a dupla fronteira ou a trie de experiência) resultou em quedas significativas de desempenho, confirmando a necessidade de cada elemento de design.

Significância e Alegações

O artigo afirma que o ERSkill destaca a evolução do lado da recuperação como uma direção promissora para agentes de LLM de longo prazo. Os autores argumentam que, embora o conteúdo da memória e o direcionamento do raciocínio tenham se tornado cada vez mais adaptáveis, o comportamento de recuperação permaneceu amplamente predefinido. Ao modelar a recuperação como um processo de habilidade guiada e evoluível, o ERSkill permite que os agentes construam evidências personalizadas para consultas heterogêneas.

A significância reside na demonstração de que:

1. Recuperação Adaptável é Crítica: Atualizar resumos de memória ou traços de raciocínio isoladamente é insuficiente se o mecanismo de recuperação permanecer fixo.
2. Evolução Estável é Possível: O mecanismo de dupla fronteira permite a expansão das capacidades de recuperação enquanto garante que o agente implantado permaneça estável e confiável.
3. Eficiência: A estrutura alcança alto desempenho sem incorrer em custos de inferência proibitivos, sugerindo que a construção direcionada de evidências é mais eficaz do que simplesmente recuperar mais conteúdo.

Os autores mantêm uma postura modesta, observando que o sistema atual depende de uma biblioteca de primitivos fixa e avaliação baseada em rollout, o que acarreta custos de treinamento. Eles identificam direções de trabalho futuro, como melhorar a eficiência com avaliadores mais baratos, suportar a descoberta de primitivos e estender a recuperação adaptável para planejamento e uso de ferramentas.