Resumo Técnico: PM-Bench: Avaliando a Memória Prospectiva em Agentes de LLM

Declaração do Problema

O artigo identifica uma lacuna crítica na avaliação de agentes de Grandes Modelos de Linguagem (LLMs): a memória prospectiva. Enquanto os benchmarks existentes focam em planejamento de longo horizonte, uso de ferramentas e recuperação retrospectiva (recuperação de informações passadas), eles falham em isolar a capacidade de executar uma intenção em um gatilho ou estado futuro específico enquanto outras atividades estão em curso. Os autores argumentam que as falhas dos agentes frequentemente decorrem não da falta de conhecimento, mas da incapacidade de agir sobre esse conhecimento no momento correto. Essa capacidade é distinta da simples recuperação, pois exige manter intenções sob distração, monitorar mudanças latentes no ambiente e calibrar o tempo das ações sem lembretes externos.

Metodologia

Construção do PM-Bench

Os autores introduzem o PM-Bench, um benchmark baseado em texto inspirado no paradigma Virtual Week da ciência cognitiva. O benchmark simula uma semana de sete dias com 80 etapas ancoradas no tempo.

• Estrutura da Tarefa: Os agentes devem navegar por uma narrativa enquanto gerenciam intenções adiadas. As tarefas são categorizadas como:
  • Baseadas em eventos: Acionadas por gatilhos específicos na narrativa ou canais de estado ocultos.
  • Baseadas em tempo: Acionadas quando o relógio virtual atinge um horário específico.
  • Interdia (Cross-day): Anunciadas em um dia, mas executáveis apenas em um dia futuro.
  • Atualizações Dinâmicas: Tarefas podem ser canceladas, reagendadas ou substituídas, exigindo que o agente atualize seu estado interno.
• Protocolo de Interação: O benchmark opera em um protocolo de consulta-e-ação (query-then-act). Em cada etapa, o agente recebe uma cena narrativa e três escolhas de atividades em andamento. Para executar uma tarefa prospectiva, o agente deve selecionar de um menu de handles de ação anônimos. Crucialmente, muitos gatilhos estão ocultos em canais de estado (ex: e-mail, relógio, portal de agendamentos) que o agente deve consultar proativamente.
• Validação: Os cenários são gerados via um pipeline sintético com semente (seeded) e validados quanto à solvabilidade, garantindo que cada tarefa tenha um caminho válido para conclusão, caso o agente monitore os canais corretos e aja no momento certo.

Configuração Experimental

Os autores avaliaram 8 agentes de LLM de última geração (incluindo GPT-5.4, GPT-5.3-Codex, Llama-3.3, Mistral e variantes Qwen3) através de 8 configurações de agentes diferentes:

1. Baseline de agente único: Sem memória externa ou scaffolding.
2. Todo-ledger: Um registro em contexto que rastreia intenções pendentes e status.
3. Variantes de Heartbeat (Batimento Cardíaco): Agentes instruídos a verificar periodicamente canais ocultos (opcional, auto-30m, auto-60m).
4. Multi-agente hierárquico: Um coordenador gerenciando três subagentes especialistas (observador de eventos, observador de status, observador de atualizações) que propõem consultas e tarefas.
5. Ablações de votação: Replay baseado em votação de maioria e unanimidade sobre os traços hierárquicos.

Métricas de Avaliação

A métrica primária é o Set-F1, calculado sobre toda a trajetória. Esta métrica equilibra:

• Verdadeiros Positivos (TP): Executar corretamente uma tarefa devida.
• Falsos Positivos (FP): Executar uma tarefa que ainda não é devida (sobre-ação/spamming).
• Falsos Negativos (FN): Falhar em executar uma tarefa devida (omissões).
  Os autores enfatizam o Set-F1 porque uma alta revocação pode ser alcançada através de "spamming" de ações, enquanto uma alta precisão pode ser alcançada nunca agindo; um agente robusto deve equilibrar ambos.

Principais Resultados

1. Não existe uma melhor estratégia universal

Nenhuma configuração de agente domina entre todos os modelos ou métricas.

• O agente único com heartbeat opcional alcançou o maior Set-F1 geral (65,1%).
• A variante todo-ledger alcançou o segundo maior Set-F1 (62,8%) e o menor número de falsos positivos, indicando precisão superior.
• Configurações de multi-agente hierárquico, apesar de emitirem significativamente mais consultas (1.661 no total vs. ~100 para agentes únicos), tiveram desempenho ruim no Set-F1 (45,2%), sugerindo que o aumento do monitoramento não se traduz automaticamente em melhor calibração de ação.

2. O Tradeoff Precisão-Revocação

Os resultados revelam uma tensão fundamental na memória prospectiva:

• Sobre-ação (Over-acting): Métodos que recuperam mais tarefas devidas (ex: auto-heartbeat 30m) frequentemente aumentam os falsos positivos, levando a pontuações de Set-F1 mais baixas.
• Sub-ação (Under-acting): Métodos conservadores preservam a precisão, mas perdem oportunidades válidas.
• Dependência do Modelo: O scaffold ideal varia conforme o modelo base. Por exemplo, o GPT-5.4 performou melhor com o heartbeat opcional, enquanto o Qwen3-8B mostrou um salto significativo com o heartbeat opcional (71,9%) comparado ao baseline (42,0%), enquanto outros modelos mostraram preferências diferentes.

3. O Monitoramento Proativo permanece um Gargalo

• Canais Ocultos: Os agentes têm grande dificuldade com tarefas que exigem monitoramento de estado oculto. Enquanto as taxas de acerto para monitoramento de relógio atingiram ~60% para as melhores configurações, as taxas de acerto para outros canais ocultos (ex: e-mail, status de envio) permaneceram próximas de 0–16%.
• Interdia (Cross-Day) e Atualizações: Tarefas de longo horizonte (cross-day) e atualizações dinâmicas (reagendamentos/cancelamentos) permanecem amplamente insolúveis. A melhor taxa de acerto interdia foi de apenas 50,0%, e nenhuma configuração excedeu 50% na execução sensível a atualizações.
• Limitações Multi-Agente: A configuração hierárquica falhou em melhorar o desempenho em tarefas baseadas em narrativa (caindo para 45,2% de taxa de acerto), apesar do alto volume de consultas, indicando que o gargalo não é apenas adquirir evidências, mas converter o conhecimento em conjuntos de ações corretas.

Significância e Alegações

O artigo afirma que a memória prospectiva deve ser tratada como um eixo de avaliação distinto, separado do tamanho da janela de contexto ou capacidades genéricas de recuperação de memória.

• Valor Diagnóstico: O PM-Bench serve como um ambiente controlado para diagnosticar modos de falha específicos, como a incapacidade de manter intenções adiadas ao longo de dias ou a falha em distinguir entre tarefas "ativas" e "devidas".
• Desafio de Calibração: O achado central é que o comportamento prospectivo é difícil de calibrar. Os agentes atuais ou esquecem de agir ou agem de forma excessivamente agressiva.
• Direções Futuras: O benchmark fornece uma base para o desenvolvimento de intervenções de treinamento ou de tempo de inferência (ex: melhor scaffolding, gestão de memória) que suportem comportamentos de agentes confiáveis e sensíveis ao tempo.

Os autores alertam explicitamente contra a interpretação de altas pontuações no benchmark como evidência de prontidão para implantação em cenários reais de segurança crítica (ex: saúde ou aviação), observando que falhas de memória prospectiva nesses domínios têm consequências graves. O PM-Bench é apresentado como uma ferramenta diagnóstica para medir e mitigar esses modos de falha específicos.