Resumo Técnico: Memória como Ação (MemAct)

1. Declaração do Problema

Tarefas agênicas de longo horizonte, como pesquisa profunda e engenharia de software, exigem que Modelos de Linguagem de Grande Escala (LLMs) mantenham uma memória de trabalho extensa. Embora LLMs de contexto longo tenham expandido a capacidade, eles sofrem com diluição da atenção e comportamentos de "perdido no meio" quando os contextos ficam saturados com informações irrelevantes.

As abordagens atuais para gerenciar esse contexto caem em duas categorias subótimas:

1. Compressão Passiva: Métodos como compressão em nível de token ou sumarização periódica operam sem consciência do estado de raciocínio específico do agente, arriscando a perda de dependências semanticamente críticas.
2. Controladores Externos: Sistemas que usam regras heurísticas ou módulos externos para gerenciar a memória desacoplam a curadoria do contexto da política central de raciocínio do agente. Isso impede a otimização ponta a ponta da retenção de informações em relação ao desempenho da tarefa.

O desafio central identificado é a Curadoria de Contexto: a necessidade de selecionar, integrar e podar informações estrategicamente para manter um rastro de raciocínio focado e relevante para o objetivo. Os métodos existentes falham em tratar isso como uma capacidade intrínseca e aprendível do agente.

2. Metodologia: Memória como Ação (MemAct)

O artigo propõe o MemAct, um framework que reconceitualiza o gerenciamento de contexto como um conjunto de ações aprendíveis dentro de um espaço de políticas unificado, em vez de um mecanismo externo.

2.1 Framework Central

O MemAct integra a curadoria de contexto diretamente no espaço de ações do agente ($\mathcal{A} = \mathcal{A}_{task} \cup \mathcal{A}_{mem}$).

• Política Unificada: Uma única política $\pi_\theta$ decide tanto as ações da tarefa (por exemplo, busca, uso de ferramentas) quanto as ações de memória.
• Operador Podar&Escrever: A ação de memória primária é uma operação de edição in-place. Quando acionada, o agente:
  1. Poda: Remove giros específicos de interação histórica identificados por IDs únicos.
  2. Escreve: Sintetiza uma nova nota de memória (contendo resumos, fatos ou planejamento) e a anexa ao contexto.
• Representação de Estado: A memória de trabalho é modelada como uma sequência de registros de interação endereçáveis de forma única $H_t = [z_1, z_2, \dots, z_k]$, onde cada registro inclui uma ação, uma observação e um ID único.

2.2 Desafio de Treinamento: Atualizações Dinâmicas de Contexto

Um obstáculo significativo no treinamento do MemAct é a discrepância entre treinamento e inferência. LLMs causais assumem um crescimento monótono do contexto. Quando o MemAct deleta conteúdo, as dependências causais codificadas no cache Key-Value (KV) dos tokens subsequentes tornam-se inválidas (a informação "deletada" ainda influencia fisicamente os estados ocultos dos tokens gerados antes da deleção). O mascaramento simples de atenção é insuficiente porque não corta essas dependências causais.

2.3 Solução: Otimização de Política de Contexto Dinâmico (DCPO)

Para permitir Aprendizado por Reforço (RL) eficiente com atualizações dinâmicas de contexto, os autores introduzem o DCPO.

• Segmentação de Trajetória: O DCPO particiona logicamente a trajetória de interação do agente em cada ponto de edição de memória.
• Segmentos Independentes: A trajetória é reorganizada em $K+1$ segmentos independentes $\{\sigma_i\}$. Dentro de cada segmento, o prefixo do contexto é fixo, restaurando a estrutura causal auto-regressiva padrão necessária para o cálculo estável de gradientes.
• Otimização: A política é otimizada usando um esquema de normalização relativa a grupos (semelhante ao GRPO) sobre esses segmentos reconstruídos e logicamente consistentes, garantindo que os gradientes sejam computados contra o histórico de contexto correto.

3. Contribuições Principais

1. Mudança de Paradigma: Propõe a Memória como Ação, deslocando o gerenciamento da memória de trabalho de heurísticas externas para uma capacidade de política intrínseca e aprendível. Isso permite que os agentes equilibrem autonomamente a curadoria de contexto e a execução da tarefa.
2. Inovação Técnica:
   • Formula a memória de trabalho como um Processo de Decisão de Markov (MDP) com sequências endereçáveis baseadas em ID e o operador Podar&Escrever para edição granular.
   • Desenvolve o DCPO, um algoritmo de segmentação de trajetória que reconcilia atualizações dinâmicas de contexto com treinamento eficiente de RL em infraestrutura padrão, sem modificações personalizadas.
3. Validação Empírica: Demonstra que estratégias de memória aprendidas são eficientes, adaptáveis e generalizáveis.

4. Resultados Experimentais

Os autores avaliaram o MemAct em conjuntos de dados sintéticos de QA multi-objetivo (baseados no HotpotQA) e em benchmarks públicos (2WikiMultihopQA, Bamboogle, Frames, BrowseComp-Plus).

• Desempenho vs. Eficiência:

  • O MemAct-RL-14B (14B parâmetros) alcançou 59,1% de precisão em tarefas multi-objetivo, superando o Qwen3-235B (235B parâmetros, 53,1%) e o especializado Tongyi-DeepResearch (56,0%).
  • Apesar do tamanho menor, o MemAct-RL-14B reduziu o comprimento médio do contexto por etapa em 51% em comparação com o Qwen3-235B (3.500 tokens vs. ~7.000 tokens) e reduziu o consumo total de tokens em 51%.
  • Ele igualou a precisão de modelos 16× maiores enquanto operava com custo computacional significativamente menor.

• Generalização:

  • O modelo foi treinado em tarefas com no máximo 3 objetivos, mas generalizou com sucesso para tarefas com 8 objetivos, mantendo alta precisão onde as linhas de base sofreram saturação de desempenho.
  • Demonstrou robustez em diferentes escalas de modelo (7B e 14B) e novos ambientes de ferramentas (BrowseComp-Plus).

• Estratégias Aprendidas:

  • Modelos 7B: Aprenderam a realizar podas frequentes e agressivas (removendo ~7 registros por ação) para compensar a capacidade limitada de contexto.
  • Modelos 14B: Desenvolveram uma estratégia bimodal: poda granular (2 registros) durante o raciocínio para remover ruído, e poda grosseira (6 registros) após completar sub-objetivos para limpar etapas intermediárias.

• Latência: O MemAct reduziu a duração total da inferência em 40% em comparação com o Search-R1 (uma linha de base de RL sem ações de memória) devido a tempos de pré-preenchimento reduzidos e taxas mais altas de acerto de cache de prefixo.

5. Significado e Alegações

O artigo afirma que a curadoria autônoma de contexto pode ser internalizada como uma habilidade aprendível, servindo como um bloco de construção arquitetônico fundamental e escalável para o comportamento agênico.

• Capacidade Intrínseca: Os resultados sugerem que os agentes não precisam de gerenciadores de memória externos; eles podem aprender a "editar" sua própria memória de trabalho para manter o foco no raciocínio.
• Escalabilidade: O framework permite que modelos menores compitam com modelos muito maiores otimizando a densidade de informações em vez de apenas a capacidade bruta.
• Adaptabilidade: O sistema descobre autonomamente estratégias adaptadas à capacidade específica do modelo base, ajustando a intensidade da ação de memória com base na complexidade da tarefa.

Os autores reconhecem limitações, observando que a abordagem depende de recompensas esparsas, o que pode dificultar a atribuição de crédito, e que a natureza perdedora da compressão significa que os dados originais não podem ser recuperados após a sumarização. No entanto, eles postulam que essa abordagem fornece uma interface principial na camada de decisão, complementar às infraestruturas de nível de sistema.