AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios

Resumen Técnico de "AgentIF-OneDay: Un Benchmark de Seguimiento de Instrucciones a Nivel de Tarea para Agentes de IA Generales en Escenarios Cotidianos"

Problema
Si bien los agentes de IA impulsados por Grandes Modelos de Lenguaje (LLM) han demostrado un rendimiento excepcional en dominios verticales especializados como la programación, la investigación profunda y la resolución de problemas complejos, su utilidad en escenarios cotidianos y de propósito general sigue siendo limitada y difícil de percibir para los usuarios ordinarios. Los benchmarks de evaluación actuales suelen priorizar el aumento de la dificultad de las tareas de forma aislada o se centran en verticales específicos, fallando al capturar la diversidad de tareas agénticas requeridas para el trabajo, la vida y el aprendizaje diario. Además, las evaluaciones existentes carecen frecuentemente de la diversidad necesaria para reflejar los requisitos del mundo real, tales como el manejo de diversos archivos adjuntos, la inferencia de instrucciones implícitas y la participación en el refinamiento iterativo. Existe una brecha crítica en la evaluación de si los usuarios generales pueden utilizar eficazmente instrucciones en lenguaje natural para completar diversas tareas diarias tangibles basadas en archivos.

Metodología
Para abordar estas brechas, los autores proponen AgentIF-OneDay, un benchmark de seguimiento de instrucciones a nivel de tarea diseñado para evaluar agentes de IA generales en escenarios cotidianos. La metodología comprende tres componentes principales:

1. Categorización de Tareas: El benchmark estructura 104 tareas en tres categorías centradas en el usuario:

   • Ejecución de Flujo de Trabajo Abierto: Tareas que requieren una ejecución precisa y exhaustiva de procedimientos operativos explícitos y de múltiples pasos (por ejemplo, planificación de viajes con pasos de verificación específicos).
   • Inferencia de Instrucciones Latentes: Tareas donde los agentes deben inferir reglas o restricciones implícitas a partir de los archivos adjuntos proporcionados (por ejemplo, PDFs, hojas de cálculo) y aplicarlas a nuevos escenarios sin instrucciones textuales explícitas.
   • Refinamiento Iterativo: Tareas que simulan la colaboración de múltiples turnos donde los agentes deben modificar o expandir las salidas existentes basándose en la retroalimentación del usuario, manteniendo la consistencia del estado.

2. Construcción de Datos: El conjunto de datos se construyó utilizando un enfoque híbrido:

   • Recolección Humana: Expertos enviaron preguntas difíciles, objetivas y resistentes a la búsqueda dentro de sus dominios.
   • Síntesis Automatizada: Se desarrolló un "Pipeline Agéntico Automatizado Centrado en Archivos" para expandir el conjunto de datos. Este pipeline extrae flujos de trabajo de las semillas creadas por humanos, busca y analiza archivos adjuntos relevantes específicos del dominio (usando herramientas como ChatGPT) y sintetiza nuevas tareas y rúbricas que mantienen la estructura lógica original pero varían en contenido y contexto.
   • Control de Calidad: Un riguroso proceso de revisión de múltiples etapas, que incluye validación de expertos y filtrado por independencia espacio-temporal y verificabilidad de respuestas, aseguró una alta calidad de los datos.

3. Pipeline de Evaluación: El benchmark emplea rúbricas a nivel de instancia con un pipeline de evaluación refinado:

   • Calificación: Un sistema de calificación binario distingue entre elementos de "Bonificación" (completar con éxito los requisitos clave) y elementos de "Penalización" (errores críticos). Las puntuaciones se normalizan según la puntuación máxima alcanzable para cada tarea.
   • Verificación: El pipeline utiliza un modelo de "LLM como juez" (específicamente Gemini-3-Pro) mejorado con herramientas para la verificación de hechos (búsqueda web), análisis visual (para archivos PPT/HTML) y alineación de contenido de archivos. Este enfoque logró una tasa de acuerdo del 80.1% con el juicio humano.

Contribuciones Clave

• Benchmark AgentIF-OneDay: Un conjunto de datos exhaustivo que comprende 104 tareas y 767 puntos de calificación, cubriendo 767 puntos de calificación a través de los dominios de Trabajo, Vida y Estudio, con diversos formatos de archivo (PDF, Excel, SVG, etc.) y recuento de adjuntos.
• Marco de Evaluación Novedoso: La introducción de una categorización tridimensional (Flujo de Trabajo Abierto, Inferencia Latente, Refinamiento Iterativo) que apunta específicamente a los matices del uso diario de agentes, yendo más allá de la simple generación de texto hacia la finalización de tareas multimodales basadas en archivos.
• Pipeline de Síntesis de Datos Automatizado: Una metodología escalable para generar tareas agénticas de alta calidad y lógicamente coherentes combinando semillas humanas con extracción de flujo de trabajo automatizado y síntesis de adjuntos.
• Consistencia Robusta del Juez: Demostración de que los modelos fundacionales multimodales avanzados (Gemini-3-Pro) pueden servir como jueces fiables para tareas complejas basadas en archivos cuando se combinan con herramientas de verificación específicas, logrando una alta consistencia con los evaluadores humanos.

Resultados
Los autores evaluaron cuatro agentes de IA generales líderes: Manus, Genspark, ChatGPT-Agent y Minimax-Agent.

• Rendimiento General: Manus logró la puntuación general más alta (0.645), seguido de cerca por Genspark (0.635) y ChatGPT-Agent (0.626). Minimax-Agent obtuvo una puntuación inferior (0.562).
• Paridad de Rendimiento: Un hallazgo significativo es que los agentes construidos sobre APIs de LLM líderes (que dependen de la ingeniería de prompts y herramientas externas) lograron tasas de éxito comparables a los sistemas personalizados basados en RL de agentes. Esto sugiere que la competencia agéntica base se ha convertido en un producto básico integrado en los modelos fundacionales modernos.
• Especialización de Dominio:
  • ChatGPT-Agent destacó en escenarios de Trabajo (72.18), posicionándolo como una herramienta de productividad de primer nivel.
  • Manus tuvo el mejor desempeño en escenarios de Vida (73.40), actuando como un asistente de vida efectivo.
  • Genspark lideró en escenarios de Estudio (71.19), sirviendo como un socio de aprendizaje ideal.
• Dimensiones de Capacidad:
  • La Inferencia de Instrucciones Latentes fue identificada como la capacidad más débil en todos los agentes, donde incluso los mejores exponentes tuvieron dificultades para extraer y aplicar completamente las reglas de formato implícitas de los adjuntos.
  • Genspark mostró un Seguimiento de Instrucciones superior (0.766) y un manejo de Restricciones Negativas (0.824).
  • Manus demostró la mayor Veracidad (0.731) y robustez a través de las modalidades de entrada (desempeñándose de manera similar con y sin adjuntos).
  • Minimax-Agent mostró la Lógica/Funcionalidad más fuerte (0.755) pero sufrió de alta latencia (1416.2s).

Significancia
El artículo afirma que AgentIF-OneDay proporciona una referencia empíricamente valiosa para comprender las fortalezas y cuellos de botella actuales de los agentes de IA en los escenarios diarios. Destaca que, si bien los agentes se están volviendo capaces de manejar flujos de trabajo complejos, persisten desafíos significativos en la inferencia de instrucciones latentes y el mantenimiento del estado durante el refinamiento iterativo. El benchmark subraya un cambio en el panorama competitivo: la ventaja futura no reside en construir habilidades agénticas centrales desde cero, sino en optimizar los productos para necesidades de usuario específicas y aprovechar los datos del usuario. Además, los datos de instrucción de alta calidad y finamente anotados generados por este benchmark poseen un gran potencial como datos de entrenamiento para el aprendizaje por refuerzo, ayudando al desarrollo de agentes de propósito general más robustos. El trabajo también valida la viabilidad de utilizar modelos fundacionales multimodales avanzados como jueces automatizados para evaluaciones complejas basadas en archivos, estableciendo potencialmente un nuevo estándar para futuros benchmarks agénticos.