AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios

Resumo Técnico de "AgentIF-OneDay: Um Benchmark de Seguimento de Instruções em Nível de Tarefa para Agentes de IA Gerais em Cenários Diários"

Problema
Embora os agentes de IA impulsionados por Grandes Modelos de Linguagem (LLMs) tenham demonstrado um desempenho excepcional em domínios verticais especializados, como codificação, pesquisa profunda e resolução de problemas complexos, sua utilidade em cenários diários e de uso geral permanece limitada e difícil de ser percebida pelo usuário comum. Os benchmarks de avaliação atuais frequentemente priorizam o aumento da dificuldade da tarefa de forma isolada ou focam em verticais específicas, falhando em capturar a diversidade de tarefas agênticas necessárias para o trabalho, vida e aprendizado cotidianos. Além disso, as avaliações existentes frequentemente carecem da diversidade necessária para refletir requisitos do mundo real, como lidar com vários anexos de arquivos, inferir instruções implícitas e engajar-se em refinamento iterativo. Existe uma lacuna crítica na avaliação de se os usuários comuns podem utilizar efetivamente instruções em linguagem natural para completar diversas tarefas diárias tangíveis e baseadas em arquivos.

Metodologia
Para abordar essas lacunas, os autores propõem o AgentIF-OneDay, um benchmark de seguimento de instruções em nível de tarefa projetado para avaliar agentes de IA gerais em cenários diários. A metodologia abrange três componentes principais:

1. Categorização de Tarefas: O benchmark estrutura 104 tarefas em três categorias centradas no usuário:

   • Execução de Fluxo de Trabalho Aberto: Tarefas que exigem a execução precisa e exaustiva de procedimentos operacionais explícitos e de múltiplas etapas (ex: planejamento de viagem com etapas de verificação específicas).
   • Inferência de Instrução Latente: Tarefas onde os agentes devem inferir regras ou restrições implícitas a partir de anexos fornecidos (ex: PDFs, planilhas) e aplicá-las a novos cenários sem instruções textuais explícitas.
   • Refinamento Iterativo: Tarefas que simulam colaboração de múltiplos turnos, onde os agentes devem modificar ou expandir saídas existentes com base no feedback do usuário, mantendo a consistência de estado.

2. Construção de Dados: O conjunto de dados foi construído usando uma abordagem híbrida:

   • Coleta Humana: Especialistas enviaram perguntas difíceis, objetivas e resistentes à busca dentro de seus domínios.
   • Síntese Automatizada: Um "Pipeline Agêntico Automatizado Centrado em Arquivos" foi desenvolvido para expandir o conjunto de dados. Este pipeline extrai fluxos de trabalho de sementes escritas por humanos, pesquisa e analisa anexos específicos do domínio relevantes (usando ferramentas como o ChatGPT) e sintetiza novas tarefas e rubricas que mantêm a estrutura lógica original, mas variam em conteúdo e contexto.
   • Controle de Qualidade: Um processo de revisão rigoroso em várias etapas, incluindo validação de especialistas e filtragem para independência espaço-temporal e verificabilidade de resposta, garantiu alta qualidade de dados.

3. Pipeline de Avaliação: O benchmark emprega rubricas em nível de instância com um pipeline de avaliação refinado:

   • Pontuação: Um sistema de pontuação binária distingue entre itens de "Bônus" (conclusão bem-sucedida de requisitos principais) e itens de "Penalidade" (erros críticos). As pontuações são normalizadas com base nos pontos máximos alcançáveis para cada tarefa.
   • Verificação: O pipeline utiliza o LLM-como-juiz (especificamente o Gemini-3-Pro) aprimorado com ferramentas para verificação factual (busca na web), análise visual (para arquivos PPT/HTML) e alinhamento de conteúdo de arquivo. Esta abordagem alcançou uma taxa de concordância de 80,1% com o julgamento humano.

Principais Contribuições

• Benchmark AgentIF-OneDay: Um conjunto de dados abrangente composto por 104 tarefas e 767 pontos de pontuação, cobrindo 767 pontos de pontuação nos domínios de Trabalho, Vida e Estudo, com diversos formatos de arquivo (PDF, Excel, SVG, etc.) e contagem de anexos.
• Novo Framework de Avaliação: A introdução de uma categorização tridimensional (Fluxo de Trabalho Aberto, Inferência Latente, Refinamento Iterativo) que visa especificamente as nuances do uso diário de agentes, indo além da simples geração de texto para a conclusão de tarefas baseadas em arquivos e multimodais.
• Pipeline de Síntese de Dados Automatizado: Uma metodologia escalável para gerar tarefas agênticas de alta qualidade e logicamente coerentes, combinando sementes humanas com extração de fluxo de trabalho automatizada e síntese de anexos.
• Consistência Robusta do Juiz: Demonstração de que modelos de fundação multimodais avançados (Gemini-3-Pro) podem servir como juízes confiáveis para tarefas complexas baseadas em arquivos quando pareados com ferramentas de verificação específicas, alcançando alta consistência com avaliadores humanos.

Resultos
Os autores testaram quatro principais agentes de IA gerais: Manus, Genspark, ChatGPT-Agent e Minimax-Agent.

• Desempenho Geral: O Manus alcançou a pontuação geral mais alta (0,645), seguido de perto pelo Genspark (0,635) e ChatGPT-Agent (0,626). O Minimax-Agent obteve uma pontuação inferior (0,562).
• Paridade de Desempenho: Uma descoberta significativa é que agentes construídos sobre APIs de LLMs líderes (dependendo de engenharia de prompt e ferramentas externas) alcançaram taxas de sucesso comparáveis a sistemas customizados baseados em RL de agentes. Isso sugere que a competência agêntica de base tornou-se uma commodity integrada aos modelos fundamentais modernos.
• Especialização de Domínio:
  • O ChatGPT-Agent destacou-se em cenários de Trabalho (72,18), posicionando-o como uma ferramenta de produtividade de primeira linha.
  • O Manus teve o melhor desempenho em cenários de Vida (73,40), atuando como um assistente de vida eficaz.
  • O Genspark liderou em cenários de Estudo (71,19), servindo como um parceiro de aprendizagem ideal.
• Dimensões de Capacidade:
  • A Inferência de Instrução Latente foi identificada como a capacidade mais fraca em todos os agentes, com até mesmo os melhores performers tendo dificuldade em extrair e aplicar totalmente regras de formatação implícitas de anexos.
  • O Genspark mostrou superioridade no Seguimento de Instruções (0,766) e no tratamento de Restrições Negativas (0,824).
  • O Manus demonstrou a maior Factualidade (0,731) e robustez através das modalidades de entrada (desempenhando-se de forma semelhante com e sem anexos).
  • O Minimax-Agent mostrou a Lógica/Funcionalidade mais forte (0,755), mas sofreu com alta latência (1416,2s).

Significância
O artigo afirma que o AgentIF-OneDay fornece uma referência empiricamente valiosa para compreender as forças e gargalos atuais dos agentes de IA em cenários diários. Ele destaca que, embora os agentes estejam se tornando capazes de lidar com fluxos de trabalho complexos, permanecem desafios significativos na inferência de instrução latente e na manutenção de estado durante o refinamento iterativo. O benchmark ressalta uma mudança no cenário competitivo: a vantagem futura não reside em construir habilidades agênticas essenciais do zero, mas em otimizar produtos para necessidades específicas de usuários e alavancar dados de usuários. Além disso, os dados de instrução de alta qualidade e finamente anotados gerados por este benchmark possuem um potencial significativo como dados de treinamento para aprendizado por reforço, auxiliando no desenvolvimento de agentes de uso geral mais robustos. O trabalho também valida a viabilidade de usar modelos fundamentais multimodais avançados como juízes automatizados para avaliações complexas baseadas em arquivos, potencialmente estabelecendo um novo padrão para futuros benchmarks agênticos.