Resumo Técnico: PAUSE – Um Benchmark Centrado no Usuário para Assistentes de IA Pessoais

Declaração do Problema

Assistentes de IA pessoais estão sendo cada vez mais implantados como agentes aumentados por ferramentas operando em ambientes de serviço unificados para apoiar atividades cotidianas dos usuários. Uma implantação realista exige que esses agentes raciocinem sobre estados de usuário persistentes, respeitem configurações específicas do usuário (permissões, assinaturas, configurações de conta) e sustentem interações de longo horizonte e conscientes de restrições através de múltiplos serviços.

Benchmarks existentes para Grandes Modelos de Linguagem (LLMs) com uso de ferramentas sofrem de limitações significativas neste contexto. Benchmarks iniciais focavam na cobertura de APIs e precisão de invocação de ferramentas, enquanto esforços mais recentes (ex: benchmarks baseados em MCP) expandiram a escala incorporando diversas ferramentas. No entanto, essas abordagens frequentemente fragmentam contextos de serviço ou abstraem o estado do usuário. Eles falham em avaliar assistentes como sistemas voltados ao usuário que devem operar dentro de um ambiente de serviço unificado e centrado no usuário, onde o acesso é controlado por permissões e configurações do sistema. Consequentemente, os benchmarks atuais não avaliam plenamente a capacidade de um agente em manter um estado coerente, raciocinar sobre dependências de configuração ocultas ou sustentar interações acopladas ao usuário ao longo de longos horizontes.

Metodologia

O Benchmark PAUSE

O PAUSE é um benchmark centrado no usuário projetado para avaliar assistentes de IA pessoais em ambientes integrados a serviços e com estado (stateful). O benchmark é instanciado no domínio da gestão de saúde pessoal, escolhido por suas fontes de dados heterogêneas, integrações de dispositivos externos e recursos sensíveis a permissões.

Principais Características do Sistema:

• Ambiente Unificado: Todos os serviços operam sob uma configuração de sistema compartilhada e persistente (permissões, status de carteira, assinaturas) que é amplamente invisível para o assistente e deve ser inferida.
• Restrições Centradas no Usuário: Os assistentes não podem modificar configurações críticas do sistema diretamente; eles devem interagir com o usuário para resolver restrições (ex: solicitar permissão para conectar um dispositivo ou recarregar uma carteira).
• Diversidade de Tarefas: O benchmark inclui 180 tarefas divididas em três categorias:
  1. Rastreamento de Dados e Logs (Fácil): Recuperação direta de dados.
  2. Rastreamento de Dados e Logs (Difícil): Execução de múltiplas etapas exigindo raciocínio de configuração do sistema (ex: conectar fontes desconectadas, atualizar assinaturas).
  3. Compras: Otimização de múltiplas restrições de contexto longo (seleção de produtos, gestão de orçamento, uso de vouchers).

Pipeline de Síntese

O PAUSE emprega um pipeline de síntese multi-agente escalável para gerar ambientes coerentes e tarefas anotadas:

1. Geração de Tarefas Centradas no Usuário: As tarefas são fundamentadas em dados sintéticos, amostrados por templates, que representam recursos concretos de propriedade do usuário. Um LLM gera descrições de alto nível e condições de alvo explícitas ($\tau$) baseadas no estado subjacente.
2. Rollouts de Trajetória Guiados: LLMs de última geração interagem com o sistema e um agente de usuário simulado para coletar trajetórias de execução real. Um prompt de rollout ($P_{rollout}$) atua como uma política oráculo para guiar o comportamento.
3. Validação Alinhada ao Alvo: Um comitê de LLMs filtra trajetórias, seleciona caminhos preferenciais e os alinha contra o conjunto de alvos predefinido $\tau$. Tarefas sem trajetórias de referência viáveis são descartadas.

Estrutura de Avaliação

O PAUSE adota uma estrutura de avaliação de múltiplos regimes adaptada às características das tarefas:

• Tarefas de Aberto (Rastreamento de Dados/Logs): Avaliadas usando uma abordagem híbrida.
  • Baseada em Alvo: Um LLM-como-juiz avalia a conclusão da tarefa em relação aos alvos explícitos ($\tau$).
  • Nível de Trajetória: Métricas determinísticas (Precisão, Recall, F1) medem a sobreposição entre a sequência de chamadas de ferramenta do modelo e a trajetória de referência.
• Tarefas Intensivas em Restrições (Compras): Avaliadas via verificação determinística baseada em estado (ex: ID do produto, quantidade, viabilidade de orçamento) sem depender de trajetórias de referência.

Principais Contribuições

1. Benchmark Holístico e Centrado no Usuário: O PAUSE introduz um benchmark que avalia assistentes em ambientes unificados com estado de usuário persistente e recursos controlados por permissão, indo além de configurações focadas em fluxo de trabalho e isoladas de ferramentas.
2. Estrutura de Avaliação de Múltiplos Regimes: Uma estratégia principista combinando julgamento semântico baseado em LLM e sobreposição comportamental de nível de trajetória para tarefas de código aberto, juntamente com verificação de estado determinística para tarefas intensivas em restrições.
3. Pipeline de Síntese Escalável: Um pipeline multi-agente que gera estados de ambiente coerentes, trajetórias de interação realistas e anotações alinhadas ao alvo em escala, suportando a extensibilidade do benchmark.

Resultados Experimentais

Os autores avaliaram um conjunto diversificado de modelos proprietários e de código aberto de última geração (incluindo GPT-5, Gemini-3 e DeepSeek-V3.2).

• Lacunas de Desempenho: Mesmo modelos proprietários de última geração falharam em atingir 70% de conclusão de tarefa em cenários que exigem raciocínio de estado e consciência de configuração.
• Dificuldade das Tarefas: O desempenho degradou substancialmente em tarefas "Difíceis" em comparação com tarefas "Fáceis". Enquanto os principais modelos alcançaram desempenho quase saturado em tarefas de recuperação simples, eles exibiram quedas notáveis em tarefas difíceis que exigem raciocínio de restrição implícita do sistema.
• Análise de Erros:
  • Modelos Fortes (ex: Gemini-3-Flash): As falhas concentraram-se principalmente no raciocínio de configuração do sistema (ex: falhar em inferir que uma fonte de dados estava desconectada). O uso básico de ferramentas permaneceu robusto.
  • Modelos Mais Fracos: Lutaram fundamentalmente com consistência de dados, navegação de recursos e raciocínio temporal, além de erros de configuração do sistema.
• Estudo de Ablação: Fornecer orientação de política explícita em relação às configurações do sistema melhorou o desempenho em todos os modelos, particularmente reduzindo erros relacionados ao sistema para modelos fortes. Isso sugere que, embora modelos mais fortes possam aproveitar políticas explícitas, limitações de raciocínio profundo persistem.
• Confiabilidade da Avaliação: A avaliação de LLM-como-juiz mostrou alta concordância (80–87%) com anotações humanas, validando seu uso como um proxy confiável para tarefas de agentes complexas e de código aberto.

Significância e Alegações

O artigo afirma que o PAUSE revela padrões de falha consistentes e interpretáveis em assistentes de IA atuais, demonstrando que a chamada de ferramentas eficaz por si só é insuficiente para um desempenho robusto em configurações de serviço realistas. O benchmark destaca uma lacuna clara de capacidade em:

1. Raciocínio sobre configurações implícitas do sistema (ex: permissões, assinaturas).
2. Manutenção de interações de longo horizonte e acopladas ao usuário, onde o agente deve coordenar com o usuário para resolver restrições de estado.
3. Manutenção de estado coerente através de serviços heterogêneos.

Os autores posicionam o PAUSE não apenas como uma ferramenta de avaliação, mas como uma fundação para pesquisas futuras em análise de modelos, destilação e desenvolvimento de agentes capazes de operar em ambientes de serviço unificados e centrados no usuário. O trabalho ressalta a necessidade de agentes que possam raciocinar sobre dependências ocultas e gerenciar transições de estado, em vez de meramente executar chamadas de ferramentas.