ACE-Bench: Agent Configurable Evaluation with Scalable Horizons and Controllable Difficulty under Lightweight Environments

Resumen Técnico: ACE-Bench

1. El Problema: Limitaciones de los Benchmarks Actuales

Los autores identifican dos limitaciones críticas en los benchmarks existentes para agentes basados en LLM (Modelos de Lenguaje Grande):

• Alto Costo de Interacción con el Entorno: Muchos benchmarks actuales (como WebArena o TAU2-Bench) requieren entornos complejos (simuladores web, agentes LLM como usuarios, etc.). Esto hace que la interacción con el entorno consuma entre el 34% y el 41% del tiempo total de evaluación, lo que los hace prohibitivamente costosos para evaluaciones a gran escala o para validación durante el entrenamiento.
• Distribuciones Desbalanceadas de Horizonte y Dificultad:
  • Horizonte: La longitud de las tareas varía drásticamente (desde <10 hasta >100 pasos), lo que puede sesgar los resultados hacia tareas cortas.
  • Dificultad: La dificultad no es uniforme entre dominios (ej. retail es más fácil que telecomunicaciones). Promediar las puntuaciones por dominio enmascara la verdadera capacidad del modelo, ya que un modelo puede parecer fuerte al sobresalir en dominios fáciles mientras falla en los difíciles.

2. Metodología: Diseño de ACE-Bench

ACE-Bench propone un marco de evaluación unificado basado en una tarea de planificación en cuadrícula (grid-based planning), donde el agente debe llenar "huecos ocultos" en un horario parcialmente completado, respetando restricciones locales y globales.

Componentes Clave:

• Entorno Ligero (Lightweight Environment): A diferencia de los benchmarks pesados, ACE-Bench resuelve todas las llamadas a herramientas mediante la consulta de archivos JSON estáticos. No requiere servicios en ejecución ni dependencias externas, eliminando la sobrecarga de configuración y permitiendo evaluaciones rápidas y reproducibles.
• Dos Ejes de Control Ortogonales:
  1. Horizonte Escalable (Scalable Horizons - $H$): Controlado por el número de huecos ocultos (hidden slots) que el agente debe llenar. $H$ varía de 1 a 21, permitiendo evaluar desde decisiones independientes hasta cadenas de razonamiento de largo alcance.
  2. Dificultad Controlable (Controllable Difficulty - $B$): Controlado por el presupuesto de señuelos (decoy budget). Los señuelos son candidatos que satisfacen las restricciones locales pero violan las restricciones globales. Un $B$ mayor introduce más opciones engañosas, obligando al agente a realizar un razonamiento global más profundo para distinguir la solución correcta.

Estructura de la Tarea:

• Dominios: Se cubren 6 dominios del mundo real: programación de cursos, compras de comestibles, itinerarios de viaje, programación de fuerza laboral, planificación de comidas y configuración de PCs.
• Mecanismo de Selección: Cada hueco oculto tiene un grupo de candidatos que se clasifican en:
  • Verdad: La respuesta correcta única.
  • Filtrados: Violan restricciones locales (fáciles de descartar).
  • Señuelos: Satisfacen restricciones locales pero causan conflictos globales (requieren razonamiento complejo).

3. Contribuciones Clave

1. Marco de Evaluación Controlable: Introduce los primeros parámetros explícitos ($H$ y $B$) para ajustar de forma independiente la longitud de la tarea y su dificultad, permitiendo una evaluación granular.
2. Eficiencia y Reproducibilidad: Al eliminar la necesidad de entornos dinámicos, reduce drásticamente el tiempo de evaluación y facilita su uso en bucles de entrenamiento.
3. Consistencia de Dominio y Discriminabilidad: Demuestra que el benchmark no introduce sesgos de dominio significativos y que puede distinguir claramente entre modelos de diferentes tamaños y arquitecturas.

4. Resultados Experimentales

Los autores evaluaron 13 modelos de diversas familias (Qwen3.5, MiniMax, GLM, MiroThinker) y tamaños (desde 0.8B hasta 397B parámetros activos).

• Validación de Control:
  • Horizonte: El número de pasos de interacción escala linealmente con el número de huecos ocultos ($H$).
  • Dificultad: La puntuación de éxito disminuye consistentemente a medida que aumenta el presupuesto de señuelos ($B$).
• Discriminabilidad de Modelos:
  • Existe una correlación clara entre el tamaño del modelo y el rendimiento. Por ejemplo, en la familia Qwen3.5 Dense, la puntuación promedio sube de 0.6% (0.8B) a 74.7% (27B).
  • Los modelos más grandes (Qwen3.5-397B-A17B) alcanzan la puntuación más alta (84.9%), mientras que modelos pequeños o menos capaces luchan significativamente.
• Análisis de Calor (Heatmaps): Las visualizaciones muestran que los modelos más débiles fallan casi en todas las configuraciones, mientras que los modelos fuertes degradan su rendimiento de manera predecible a medida que aumenta la complejidad ($H$ y $B$), confirmando la capacidad del benchmark para medir límites de capacidad.
• Robustez: En experimentos de simulación de fallos de herramientas (tasas de error del 10% y 30%), el rendimiento decae, pero el benchmark sigue siendo capaz de diferenciar la resiliencia de los modelos.

5. Significado e Impacto

ACE-Bench representa un cambio de paradigma en la evaluación de agentes:

• Viabilidad para el Entrenamiento: Su bajo costo computacional lo hace apto para la validación durante el entrenamiento de modelos, algo imposible con benchmarks pesados actuales.
• Diagnóstico Preciso: Permite a los investigadores identificar exactamente dónde fallan los agentes (¿es por falta de razonamiento de largo alcance o por incapacidad de manejar distracciones globales?) en lugar de obtener una puntuación promedio ambigua.
• Estándar Reproducible: Al basarse en datos estáticos, elimina la variabilidad inherente a los entornos dinámicos, facilitando la comparación justa entre diferentes investigaciones.

En conclusión, ACE-Bench ofrece una metodología rigurosa, escalable y eficiente para evaluar y mejorar las capacidades de razonamiento de los agentes de IA, abordando directamente las ineficiencias y sesgos de los sistemas de evaluación actuales.