Resumo Técnico: MOMENTO

Definição do Problema

Embora avanços recentes em IA de agentes tenham demonstrado capacidades robustas em raciocínio, uso de ferramentas e planejamento de múltiplas etapas em configurações isoladas de sessão única, os benchmarks existentes falham em refletir implementações do mundo real. Na prática, os usuários interagem com agentes ao longo de dias e semanas, trazendo objetivos em evolução, histórico acumulado e decisões prévias que devem ser integradas para cumprir objetivos personalizados. Os frameworks de avaliação atuais predominantemente ignoram essas dependências entre sessões, tratando os agentes como entidades sem estado ou avaliando-os apenas na recuperação de fatos, em vez de verificar se o contexto recuperado impulsiona melhores decisões de tarefas. Isso cria uma lacuna significativa entre as capacidades atuais dos agentes e os requisitos de interação humano-agente de longo horizonte realista, onde a memória deve suportar ações consequentes mediadas por ferramentas.

Metodologia

Para abordar essa lachal, os autores introduzem o MOMENTO, um benchmark e framework de avaliação projetado para a conclusão de tarefas agênticas persistentes em ambientes de serviço multimodais e de múltiplas sessões.

Arquitetura do Framework

O sistema opera através de uma simulação de interpretação de papéis envolvendo dois agentes:

1. Agente Usuário ($\pi_u$): Simula o comportamento humano gerando respostas conversacionais naturais condicionadas a uma política de usuário ($\Phi_u$). Esta política define personas, objetivos de longo prazo e preferências. O agente recupera contexto de um módulo de memória compartilhada para manter a coerência temporal entre as sessões.
2. Agente Assistente ($\pi_a$): Responsável por responder às entradas do usuário, recuperar resumos relevantes de múltiplas sessões, invocar ferramentas externas e gerar respostas finais. O agente deve realizar raciocínio temporal para resolver dependências entre sessões passadas e solicitações atuais.

Memória Agêntica

Um componente central do MOMENTO é o módulo de Memória Agêntica ($M$), operando dentro de um contexto limitado de 128k tokens. Ele emprega uma abordagem híbrida:

• Recuperação de Longo Prazo: Recupera sessões anteriores relevantes de um banco de dados usando consultas SQL geradas por LLM. Isso permite o raciocínio explícito sobre dependências entre sessões, combinando correspondência semântica com restrições temporais e condições estruturais.
• Compressão de Curto Prazo: Gerencia o histórico de diálogo no contexto retendo os 80% mais recentes do contexto de forma literal para detalhes granulares, enquanto condensa prefixos mais antigos em resumos compactos para reduzir o overhead.

Construção do Benchmark

O MOMENTO consiste em 161 instâncias de tarefas geradas via interpretação de papéis humanos para simular históricos de interação realistas. As tarefas abrangem cenários como assistência pessoal, planejamento, agendamento e recomendação, frequentemente envolvendo entidades relacionadas à alimentação do conjunto de dados WorldCuisines. O conjunto de dados incorpora preferências em evolução, referências implícitas, atualizações contraditórias e informações distribuídas temporalmente para aumentar o realismo. O ambiente fornece 26 ferramentas cobrindo gestão de reservas, busca, pedidos, gestão de membros e acesso a text-to-SQL.

Métricas de Avaliação

O desempenho é medido usando três métricas primárias:

1. DB STATE: Verifica se o estado final do banco de dados corresponde ao objetivo do usuário.
2. OUTPUT: Mede se a resposta do assistente satisfaz a solicitação do usuário.
3. TOOL RECALL: Avalia se as ferramentas corretas são invocadas na ordem correta.
   Uma tarefa é considerada bem-sucedida apenas se todas as três métricas forem satisfeitas. O estudo também reporta PASS@K e PASS^K para medir a consistência ao longo de múltiplas execuções.

Principais Contribuições

• Primeiro Benchmark Persistente de Múltiplas Sessões: O MOMENTO é o primeiro framework a avaliar a conclusão de tarefas agênticas persistentes onde o contexto de múltiplas sessões é um input de primeira classe para a tomada de decisão, indo além das avaliações de sessão única ou simples recuperação de fatos.
• Simulação Realista: O benchmark utiliza um conjunto de dados de grande escala de interações temporalmente separadas apresentando objetivos de usuário em evolução e dependências de memória latentes, geradas através de simulação de usuário baseada em interpretação de papéis.
• Lançamento Público: O conjunto de dados e o código-fonte são liberados publicamente sob licenças CC-BY-SA e Apache 2.0, respectivamente, para facilitar pesquisas futuras.

Resultados e Análise

Os autores avaliaram vários modelos de linguagem visual (VLMs) de pesos abertos de última geração, incluindo variantes do QWEN3.6 e GEMMA4.

• Desempenho: O GEMMA4-31B-IT exibiu o desempenho geral mais forte, garantindo as maiores pontuações de PASS@3 e PASS^3 e demonstrando consistência superior através de tentativas repetidas. Embora o GPT-5.4-MINI tenha mostrado lideranças marginais em métricas específicas como DB STATE, ele não superou o GEMMA4-31B-IT em sucesso geral de tarefa.
• Instabilidade: Uma lacuna substancial entre PASS@3 e PASS^3 em todos os modelos destaca uma instabilidade generalizada na execução de tarefas de múltiplas etapas.
• Análise de Erros: O modo de falha dominante é o TOOL RECALL, especificamente a má estimativa do estado do usuário. Os agentes tendem a tratar o histórico de sessões anteriores como um proxy confiável para o contexto atual, formando suposições implícitas sem verificação. Consequentemente, os agentes frequentemente omitem chamadas de verificação ou recuperação necessárias (ex: verificar status de membro ou estados atuais de pedido) antes de executar ações. Esta falha é estruturalmente habilitada pelo cenário de múltiplas sessões, onde o histórico cria uma falsa sensação de continuidade de estado.

Significância

O artigo afirma que o MOMENTO revela uma lacuna substancial entre as capacidades atuais dos agentes e as demandas de interação humano-agente de longo horizonte realista. O principal achado é que os agentes atuais falham não por falta de disponibilidade de ferramentas, mas devido a uma falha em revalidar informações obsoletas de sessões passadas. Ao tratar o histórico anterior como verdade estática em vez de informação que requer revalidação, os agentes perdem etapas críticas na cadeia de raciocínio. Os autores postulam que o MOMENTO fornece uma base necessária para pesquisas futuras em sistemas agênticos persistentes e informados por memória que possam navegar com precisão em dependências temporais e objetivos de usuário em evolução.

Limitações

Os autores reconhecem que, assim como outros benchmarks, o MOMENTO depende de simuladores de usuário baseados em LLM. Embora isso permita a coleta escalável de dados, usuários simulados podem não exibir perfeitamente o comportamento humano realista. Sugere-se que trabalhos futuros explorem métodos de simulação com restrições mais fortes, ajuste fino específico de papel ou interações com humanos reais para estreitar ainda mais a lacuna comportamental.