Resumen Técnico: DecisionBench

Enunciado del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) se despliegan cada vez más para tareas de largo horizonte que implican el uso de herramientas durante minutos u horas. Una ineficiencia crítica en los flujos de trabajo de agentes actuales es la tendencia a resolver subtareas localmente utilizando un único modelo, a menudo sobredimensionado, en lugar de delegar a modelos pares más pequeños o con especializaciones diferentes. Aunque enrutar subtareas a pares es un potencial desplazador de la frontera de Pareto, los profesionales carecen actualmente de una referencia para medir la delegación emergente: la capacidad de un agente para decidir autónomamente si delegar, a quién y qué información proporcionar sobre los pares. Las referencias existentes (por ejemplo, GAIA, $\tau$-bench, BFCL) se centran en la capacidad de un solo agente, mientras que la investigación sobre sistemas multiagente a menudo depende de asignaciones de roles codificadas manualmente en lugar de comportamientos emergentes. Además, las referencias de enrutamiento conscientes de los costos suelen tratar el enrutamiento como una política aprendida externa en lugar de un comportamiento intrínseco del orquestador.

Metodología: El Sustrato de DecisionBench

Los autores introducen DecisionBench, un sustrato de referencia fijo diseñado para aislar y medir la delegación emergente en flujos de trabajo de agentes de largo horizonte. El sustrato es agnóstico a cómo se genera o entrega la información de los pares, lo que permite la evaluación de diversos métodos de orquestación.

Componentes Principales

1. Suite de Tareas: Un conjunto fijo de tareas de largo horizonte extraídas de tres referencias establecidas: GAIA (QA de uso general de herramientas), $\tau$-bench (diálogo agente-herramienta-usuario) y BFCL multi-turno (llamada de funciones). Estas se dividen en un conjunto de Etapa 1 (perfilado) y un conjunto de Etapa 2 (evaluación) mediante una muestra estratificada determinista de 20/80.
2. Pool de Modelos Pares: Un pool heterogéneo de 11 modelos de 7 familias de proveedores (OpenAI, Anthropic, Google DeepMind, DeepSeek, Moonshot, Qwen, MiniMax), fijados a una fecha de congelación específica (2026-04-29) para garantizar la reproducibilidad.
3. Interfaz de Delegación: El agente orquestador opera con una herramienta call_model(name, subtask, budget_usd) para delegar subtareas. Una herramienta opcional read_profile(model) permite al orquestador recuperar descripciones estructuradas de los pares.
4. Capa de Anotación: Una taxonomía congelada de 7 habilidades (por ejemplo, adherencia al esquema de llamada de herramientas, seguimiento de estado multi-turno, recuperación de información) y un etiquetador de pasos determinista y basado en reglas. Esta capa asigna habilidades a los pasos de la trayectoria sin juicio de LLM, permitiendo una evaluación a nivel de proceso de si una delegación se envió a un par bien adaptado para la habilidad específica de la subtarea.
5. Suite de Métricas: Un perfil multieje que cubre:
   • Métricas de Resultado: Calidad de la tarea final, costo y latencia.
   • Métricas de Proceso: Tasa de delegación, fidelidad de enrutamiento-en-$k$ (con qué frecuencia el agente elige los mejores pares del top-$k$ para una habilidad dada), preferencia propia del proveedor y un techo de delegación contrafactual.

Intervenciones de Referencia

Para caracterizar el sustrato, los autores instancian cinco condiciones de referencia:

• Ciego: Sin información de pares; delega basándose únicamente en previos.
• Consciente-C1/C2/C3: Descripciones de pares precargadas construidas mediante (C1) rúbricas curadas, (C2) estadísticas deterministas de las trazas de la Etapa 1, o (C3) resúmenes de jueces LLM duales fuera del pool. Estas se emparejan con acceso bajo demanda a read_profile.
• Consciente-Solo-Herramienta: Idéntico a C2 pero con la descripción precargada suprimida, aislando el efecto del canal de entrega (herramienta bajo demanda vs. prompt precargado).

Contribuciones Clave

1. El Sustrato de Referencia: Un marco reutilizable que comprende una suite de tareas fija, un pool de pares, una interfaz de delegación, una capa de anotación y una suite de métricas multieje específicamente para la delegación emergente.
2. Suite de Intervenciones de Referencia: Un conjunto de líneas base (C1, C2, C3 y la ablación del canal de entrega) para sembrar comparaciones para futuros métodos de orquestación.
3. Caracterización Empírica: Un barrido exhaustivo a través de 11 modelos, 3 referencias y 5 condiciones ($N=23,375$ instancias de tareas) que revela que las métricas a nivel de proceso detectan señales de orquestación que las métricas de solo resultado pasan por alto.
4. Lanzamiento de Artefactos: El sustrato, la capa de anotación, 33 tarjetas de perfil, la tubería de análisis y 220 archivos de ejecución se liberan para permitir investigación reproducible.

Resultados Clave

El barrido experimental arrojó tres hallazgos principales:

1. La Calidad es Plana a Través de las Condiciones: La calidad media de la tarea final es estadísticamente indistinguible entre las cuatro condiciones de conciencia ($|\beta| \le 0.010, p \ge 0.21$). Confiar únicamente en métricas de calidad pasaría por completo la señal de orquestación.
2. El Canal de Entrega Domina al Contenido: La fidelidad de enrutamiento varía significativamente.
   • El acceso a herramientas bajo demanda (aware-tool-only) duplica más que la precisión de enrutamiento-en-1 en comparación con la línea base ciega (14.2% $\to$ 29.5%) mientras mantiene la paridad de calidad y un costo medio menor.
   • Las descripciones precargadas capturan menos de la mitad de esta ganancia (C2: 20.8%, C3: 15.5%, C1: 7.5%).
   • Esto indica que el mecanismo de entrega de información (herramienta recuperable vs. prompt estático) es más crítico que el contenido específico de la descripción del par.
3. Margen de Mejora No Realizado Significativo: Un techo de delegación contrafactual (asumiendo delegación perfecta de un solo paso al mejor par de la Etapa 1) sitúa el rendimiento perfecto 15–31 puntos porcentuales por encima del rendimiento medido en cada suite. Esto localiza una gran brecha que los futuros métodos de orquestación deben cerrar.
4. Preferencia Propia del Proveedor: Los agentes exhiben un sesgo de estilo "LLM-como-juez", delegando en exceso a pares de su propia familia de proveedores a tasas 1.5–3.7$\times$ más altas que el azar.

Significado y Afirmaciones

El artículo afirma que DecisionBench desplaza el paradigma de evaluación de solo resultado (calidad) al análisis a nivel de proceso (fidelidad, comportamiento de enrutamiento). El significado principal radica en demostrar que:

• Las métricas de proceso son esenciales: Un método de orquestación puede mejorar significativamente la fidelidad de enrutamiento y la eficiencia de costos sin traducirse inmediatamente en una mayor calidad de la tarea final en configuraciones actuales.
• Los mecanismos de entrega importan: El "cómo" de la información de los pares (herramientas bajo demanda) es un impulsor más fuerte de la calidad de la delegación que el "qué" (contenido de la descripción).
• Amplio margen de mejora: La brecha entre el rendimiento actual y el techo contrafactual sugiere que los métodos de orquestación actuales están lejos de ser óptimos, particularmente para agentes de capacidad media.

Los autores permanecen modestos, señalando que las ganancias de fidelidad aún no se han traducido en mejoras de calidad, posiblemente debido a bajas tasas de delegación, señal parcial en las descripciones de pares o saturación de atención por prompts precargados. Plantean que cerrar esta brecha requiere delegar con más frecuencia, delegación multi-paso o retroalimentación más rica durante la tarea; escenarios que DecisionBench está diseñado para evaluar.