Resumen Técnico: Evaluación Basada en Estado Proxy para Agentes LLM de Llamada de Herramientas Multi-turno

Declaración del Problema

Los agentes interactivos de Modelos de Lenguaje Grande (LLM) se despliegan cada vez más en flujos de trabajo industriales (por ejemplo, comercio, gestión de cuentas) para resolver tareas de llamada de herramientas multi-turno y multi-paso. Un desarrollo efectivo requiere dos componentes: (1) una evaluación estable que refleje con precisión si un agente logra los objetivos del usuario, y (2) generación de datos en política (on-policy) para permitir el aprendizaje a partir de la interacción y la retroalimentación del entorno.

Las actuales pruebas de referencia (benchmarks) de agentes (por ejemplo, $\tau$-bench, $\tau^2$-bench, AppWorld) utilizan un paradigma de "benchmark-como-entorno" con evaluación basada en el estado final. Aunque este enfoque puntúa correctamente los estados finales de la base de datos en lugar de la coincidencia rígida de trayectorias, depende de backends totalmente deterministas. Construir e iterar sobre estos motores deterministas exige un esfuerzo de ingeniería sustancial (por ejemplo, diseño de esquemas, herramientas deterministas, aserciones), con algunas pruebas de referencia que requieren decenas de miles de líneas de código y pruebas unitarias extensas. Esta carga de ingeniería ralentiza la iteración y limita la escalabilidad para aplicaciones industriales.

La pregunta central abordada es: ¿Podemos mantener los beneficios de la evaluación basada en el estado final sin construir un backend determinista pesado?

Metodología: Evaluación Basada en Estado Proxy

Los autores proponen la Evaluación Basada en Estado Proxy, un marco de simulación impulsado por LLM que reemplaza la base de datos determinista con un "estado proxy" inferido por un LLM. El sistema opera como un "benchmark-como-entorno" compuesto por cinco componentes LLM cooperativos:

1. Especificación del Escenario ($z$): Un objeto estructurado que define el objetivo del usuario, los hechos del usuario, los hechos del sistema (estado inicial), el estado proxy final esperado y el comportamiento esperado del agente. Esto reemplaza la necesidad de una trayectoria de verdad fundamental (ground-truth).
2. Agente de Razonamiento (RA): El modelo bajo evaluación, que sigue un bucle estilo ReAct (razonar $\to$ actuar $\to$ observar) para interactuar con el entorno mediante diálogo multi-turno y llamadas de herramientas multi-paso.
3. Simulador de Usuario ($f_{user}$): Genera enunciados del usuario condicionados a los hechos del usuario, objetivos del escenario y una persona específica (por ejemplo, usuario avanzado, confundido, ambiguo).
4. Simuladores de Herramientas ($f_{tool}$): Simulan las respuestas de las herramientas (por ejemplo, gestión de cuentas, comercio) "leyendo de" y "escribiendo en" el estado proxy actual basándose en las subconsultas del RA y los hechos del sistema.
5. Rastreador de Estado ($f_{state}$): Un componente LLM que infiere el estado proxy estructurado ($\tilde{s}_{t,k}$) a partir de la traza completa de interacción hasta el paso $(t,k)$. A diferencia de las actualizaciones de estado paso a paso, se condiciona en todo el prefijo de la trayectoria para garantizar la robustez frente a la acumulación de errores.
6. Jueces LLM:
   • Juez de Completitud del Objetivo: Evalúa el estado proxy final y la respuesta del agente contra el estado final esperado y el comportamiento del escenario para clasificar los resultados (objetivo completado, error del usuario o error del agente).
   • Juez de Detección de Alucinaciones: Detecta si el simulador de herramientas o el simulador de usuario generó información inconsistente con las restricciones del escenario.

Métricas de Evaluación: El marco mide las tasas de Completitud del Objetivo (GC), las tasas de error de usuario/agente y las tasas de alucinación (herramienta y usuario). Soporta tanto la generación de datos en política (para Ajuste Fino por Muestreo de Rechazo) como la generación de datos fuera de política (para Ajuste Fino Supervisado).

Contribuciones Clave

1. Formalización de la Evaluación Basada en Estado Proxy: El artículo formaliza un benchmark práctico que preserva los principios de evaluación basados en estado sin requerir un backend determinista, utilizando un estado proxy inferido por LLM extraído de trazas de interacción.
2. Esquema de Escenario y Arquitectura de Componentes: Introduce un esquema de escenario específico y una arquitectura de cinco componentes LLM (Agente de Razonamiento, Simulador de Usuario, Simuladores de Herramientas, Rastreador de Estado, Juez) que cooperan para simular flujos de trabajo complejos.
3. Marco de Fiabilidad: Los autores definen criterios de fiabilidad que incluyen errores estándar bootstrap, tasas de alucinación y acuerdo entre juez humano-LLM. Ejecutan ablaciones dirigidas sobre la sensibilidad a la persona, la completitud de los hechos del sistema/usuario y la fuerza del rastreador de estado.
4. Generación de Datos Escalable: El entorno genera despliegues (rollouts) en política y fuera de política escalables adecuados para el post-entrenamiento (SFT/RFT) y proporciona métricas estables para la comparación de modelos.

Resultados

El benchmark fue evaluado en diversas familias de modelos (GPT-5, GPT-4o, Gemini-2.5, Qwen3) y esfuerzos de razonamiento:

• Diferenciación de Modelos: Las tasas de Completitud del Objetivo (GC) escalan consistentemente con la fortaleza del modelo y el esfuerzo de razonamiento en tiempo de inferencia. Por ejemplo, dentro de la familia GPT-5, un mayor esfuerzo de razonamiento produce ganancias monótonas en GC (Alto: 85.76% > Mínimo: 66.04%).
• Efectividad del Entrenamiento: Entrenar el modelo base Qwen3-30B-A3B dentro de este entorno mejoró significativamente el rendimiento. El Ajuste Fino Supervisado (SFT) utilizando datos fuera de política de un instructor más fuerte aumentó la GC del 65.64% al 77.34%. El Ajuste Fino por Muestreo de Rechazo (RFT) también produjo mejoras.
• Robustez ante la Complejidad: Aunque el rendimiento disminuye con la profundidad de la conversación para los modelos base, el entrenamiento SFT proporciona ganancias sustanciales en conversaciones largas (+26.69 puntos porcentuales), lo que indica que la señal de entrenamiento se generaliza a interacciones más difíciles y multi-paso.
• Fiabilidad y Alucinaciones:
  • Acuerdo Humano-LLM: Superó el 90%, validando la evaluación automatizada.
  • Alucinaciones del Simulador: Bajo configuraciones predeterminadas (GPT-5o con esfuerzo de razonamiento medio), las tasas de alucinación de herramientas y usuarios fueron cercanas a cero (1.33% y 0.67%, respectivamente).
  • Hallazgos de Ablación: Eliminar los hechos del sistema o los hechos del usuario de los escenarios causó un aumento monótono en las tasas de alucinación, confirmando que una especificación meticulosa del escenario es crítica. Rastreadores de estado más débiles (por ejemplo, GPT-4o) aumentaron las tasas de alucinación de herramientas, destacando la necesidad de una inferencia de estado precisa.
• Robustez Transversal de Modelos: Las clasificaciones de modelos y las ganancias de entrenamiento permanecieron consistentes incluso cuando se intercambiaron los modelos simulador y juez (por ejemplo, usando Gemini-2.5-Pro en lugar de GPT-5o), descartando un sesgo circular derivado de una configuración de una sola familia de modelos.

Significado y Afirmaciones

El artículo afirma que la Evaluación Basada en Estado Proxy ofrece una alternativa práctica y escalable a los benchmarks de agentes deterministas para agentes LLM industriales. Al desacoplar la evaluación basada en estado de la carga de ingeniería de construir backends deterministas, el marco permite:

• Iteración Más Rápida: Los escenarios pueden implementarse rápidamente y evolucionar con las hojas de ruta del producto sin una ingeniería de código extensa.
• Evaluación Rigurosa: Mantiene el rigor de la verificación del estado final mientras soporta la flexibilidad de múltiples caminos correctos de llamada de herramientas.
• Entrenamiento Efectivo: Genera datos de alta calidad en política y fuera de política que mejoran con éxito a los agentes de peso abierto mediante SFT y RFT, con ganancias que se transfieren a escenarios no vistos.

Los autores posicionan este trabajo no como un reemplazo de todas las pruebas deterministas, sino como una evolución necesaria para entornos industriales donde el costo de los backends deterministas es prohibitivo, pero la necesidad de una evaluación orientada a objetivos y basada en estado sigue siendo primordial.