Resumo Técnico: BudgetMem

Declaração do Problema

Agentes de Modelos de Linguagem Grande (LLM) dependem cada vez mais de memória para operar além de janelas de contexto únicas, em interações de longo horizonte e raciocínio intensivo em conhecimento. No entanto, os sistemas existentes utilizam predominantemente a construção de memória offline, agnóstica à consulta. Nessas abordagens, o contexto passado é pré-processado, comprimido ou indexado de maneira fixa, sem condicionamento à consulta específica a jusante. Essa abordagem de "construir uma vez, usar sempre" é frequentemente ineficiente, pois gasta computação independentemente das necessidades específicas de uma consulta e corre o risco de descartar informações críticas para consultas particulares.

Embora a utilização de memória em tempo de execução (extração sob demanda) ofereça uma alternativa flexível, ela introduz sobrecarga e latência significativas. Os sistemas industriais atuais de LLM oferecem cada vez mais controles explícitos e em camadas de computação (por exemplo, modos de "pensamento" ou níveis de raciocínio) para equilibrar qualidade e custo, mas os sistemas de memória de agentes carecem de um framework sistemático para compensações explícitas e controláveis entre desempenho e custo durante a extração em tempo de execução. Os desafios centrais são:

1. Alocação de Orçamento: Definir a unidade apropriada para orçamento em um cenário de tempo de execução, pois tratar a memória como um pipeline monolítico com computação fixa torna as compensações grosseiras e difíceis de controlar.
2. Realização do Orçamento: Determinar como operacionalizar o controle de orçamento de forma sistemática, em vez de depender de redução de custos ad hoc ou escalonamento simples de computação.

Metodologia: BudgetMem

Os autores propõem o BudgetMem, um framework de memória de agente em tempo de execução projetado para permitir controle explícito, consciente da consulta, entre desempenho e custo. O framework estrutura o processamento de memória como um pipeline modular multiestágio, onde a computação é controlável ao nível do módulo.

1. Arquitetura de Pipeline Modular

O BudgetMem implementa a extração de memória ($f_{mem}$) como uma sequência de módulos. Em sua avaliação centrada em diálogos, o pipeline segue:
$$M_{fil} \rightarrow \{M_{ent}, M_{tmp}, M_{top}\} \rightarrow M_{sum}$$

• Módulo de Filtro ($M_{fil}$): Refina os blocos brutos recuperados.
• Módulos de Extração Paralelos: Extraem contextos complementares:
  • $M_{ent}$: Fatos centrados em entidades.
  • $M_{tmp}$: Pistas temporais.
  • $M_{top}$: Resumos temáticos.
• Módulo de Resumo ($M_{sum}$): Agrega contextos intermediários na memória extraída final ($m$).

Crucialmente, o framework não assume um conjunto específico de módulos, mas exige que cada módulo exponha uma interface comum de níveis de orçamento.

2. Níveis de Orçamento e Estratégias de Realização

Cada módulo expõe três níveis de orçamento: BAIXO, MÉDIO e ALTO. Esses níveis correspondem a orçamentos computacionais crescentes e tipicamente a uma qualidade de extração aprimorada. O artigo investiga três estratégias complementares para realizar esses níveis:

• Nivelamento de Implementação: Varia a implementação do módulo.
  • BAIXO: Heurísticas leves (regras, regex, spaCy).
  • MÉDIO: Modelos aprendidos compactos (por exemplo, baseados em BERT).
  • ALTO: Processamento baseado em LLM.
• Nivelamento de Raciocínio: Varia o comportamento de inferência mantendo o modelo base fixo.
  • BAIXO: Geração direta.
  • MÉDIO: Estilo Cadeia de Pensamento (CoT).
  • ALTO: Inferência multi-etapa ou estilo de reflexão.
• Nivelamento de Capacidade: Varia a capacidade do modelo (tamanho) usada dentro do módulo.
  • BAIXO: Modelos pequenos (por exemplo, 3B de parâmetros).
  • MÉDIO: Modelos médios (por exemplo, 8B–32B de parâmetros).
  • ALTO: Modelos grandes (por exemplo, 70B+ de parâmetros).

3. Roteamento Consciente da Consulta via Aprendizado por Reforço

Para navegar dinamicamente nessas escolhas em camadas, o BudgetMem emprega um roteador leve compartilhado treinado com Aprendizado por Reforço (RL).

• Política ($\pi_\theta$): Em cada etapa de invocação do módulo $k$, o roteador observa um estado $s_k$ (composto pela consulta, entrada atual do módulo e um descritor de módulo) e seleciona uma ação $a_k \in \{BAIXO, MÉDIO, ALTO\}$.
• Objetivo: O roteador é otimizado para equilibrar o desempenho da tarefa contra o custo de extração de memória. A função de recompensa é definida como:
  $$r = r_{task} + \lambda \cdot \alpha \cdot r_{cost}$$
  Onde $r_{task}$ é a recompensa de desempenho da tarefa (F1 ou Julgador LLM), $r_{cost}$ é a recompensa de custo normalizada, $\lambda$ controla a preferência de compensação e $\alpha$ é um fator de alinhamento baseado em variância para estabilizar o treinamento.
• Treinamento: O roteador é treinado usando Otimização de Política Próxima (PPO). O custo é modelado com base no uso de tokens e preços de API, normalizado via uma janela deslizante para garantir comparabilidade com as recompensas da tarefa.

Contribuições Principais

1. Introdução do Framework: Os autores introduzem o BudgetMem, um framework modular de memória de agente em tempo de execução que permite controle explícito entre desempenho e custo para extração de memória sob demanda por meio de módulos em níveis de orçamento.
2. Mecanismo de Roteamento: Eles propõem o roteamento em níveis de orçamento, onde um roteador leve compartilhado, treinado via RL, seleciona dinamicamente os níveis de orçamento durante a extração. Isso é instanciado com três estratégias complementares (implementação, raciocínio e capacidade) dentro de um framework unificado.
3. Análise Empírica: Através de experimentos em LoCoMo, LongMemEval e HotpotQA, o artigo demonstra que o BudgetMem alcança desempenho forte em configurações priorizando desempenho e estabelece curvas claras e controláveis de compensação entre desempenho e custo sob orçamentos mais restritos. A análise desvenda os pontos fortes de diferentes estratégias de nivelamento, oferecendo insights sobre quais mecanismos produzem os melhores retornos sob regimes de orçamento variados.

Resultados Experimentais

Os autores avaliaram o BudgetMem contra bases de comparação robustas (por exemplo, ReadAgent, MemoryBank, LightMem) usando backbones LLaMA-3.3-70B e Qwen3-Next-80B.

• Prioridade de Desempenho (Orçamento Alto): Em configurações que priorizam o desempenho ($\lambda=0$), as variantes do BudgetMem superaram consistentemente as bases de comparação. Por exemplo, no LongMemEval com LLaMA, o BudgetMem-CAP alcançou uma pontuação de Julgador de 60,50, superando significativamente a melhor base de comparação, LightMem (48,51).
• Compensações Desempenho–Custo: Ao variar o peso do custo $\lambda$, o BudgetMem traça fronteiras suaves que englobam as bases de comparação.
  • Nivelamento de Implementação e Capacidade: Abrangem uma faixa de custo mais ampla. O nivelamento de implementação oferece ganhos rápidos sob orçamentos moderados, enquanto o nivelamento de capacidade empurra a fronteira para fora em regimes de alto orçamento.
  • Nivelamento de Raciocínio: Exibe concentração pronunciada de custos. Atua como um controle de qualidade de granularidade fina dentro de uma banda de custo limitada, oferecendo melhorias em custos semelhantes, mas com menos flexibilidade para extremos de orçamento muito baixo/alto em comparação com as outras estratégias.
• Eficiência de Custo: Mesmo em regimes de prioridade de desempenho, o BudgetMem permanece eficiente em custos, processando apenas blocos brutos relevantes para a consulta sob demanda, evitando a sobrecarga do processamento offline de histórias inteiras.

Significado e Alegações

O artigo afirma que o BudgetMem aborda uma lacuna crítica nos sistemas de memória de agentes, indo além de "heurísticas únicas" ou "escalonamento pesado de computação" em direção a uma visão sistemática de controle entre desempenho e custo.

• Controlabilidade: Fornece um mecanismo prático para compensações explícitas e controláveis, alinhando-se à tendência industrial de opções de computação em camadas (por exemplo, modos de "pensamento").
• Comparação Unificada: Ao usar um banco de testes unificado, o trabalho esclarece quando diferentes estratégias de nivelamento (implementação, raciocínio, capacidade) entregam as compensações mais favoráveis, oferecendo orientação para implantação sob restrições de orçamento variadas.
• Foco em Tempo de Execução: Diferentemente de trabalhos anteriores focados na construção offline, o BudgetMem foca na extração em tempo de execução, garantindo que a computação seja gasta apenas quando necessário e em proporção aos requisitos da consulta.

Os autores concluem que o BudgetMem melhora a usabilidade e a controlabilidade da memória de agente sob restrições de orçamento do mundo real, tornando a computação de memória explicitamente gerenciável sem sacrificar a qualidade do raciocínio de longo horizonte.