Resumen Técnico: Counsel – Un conjunto de datos de meta-evaluación para tareas agénticas

Planteamiento del Problema

A medida que los sistemas agénticos se despliegan para manejar tareas cada vez más complejas y de múltiples pasos, la evaluación de sus trayectorias de ejecución se ha convertido en un cuello de botella crítico. La anotación humana de una sola trayectoria de un agente en benchmarks populares (por ejemplo, SWE-bench) puede tomar horas, lo que dificulta la escala de las evaluaciones para la medición del rendimiento o la curación de datos de entrenamiento. En consecuencia, el campo se ha desplazado hacia enfoques automatizados, específicamente el de LLM-como-Juez (LLMJ), para criticar a los agentes tanto a nivel de proceso (paso a paso) como de resultado.

Sin embargo, existe una brecha significativa: aunque los LLMJ se utilizan ampliamente para la curación de datos, el entrenamiento y el despliegue, la solidez de sus críticas rara vez se mide. Los esfuerzos de meta-evaluación existentes suelen limitarse a comparar los juicios finales (puntuaciones/preferencias) con la verdad de referencia humana (ground truth). Carecen de datos granulares a nivel de proceso para determinar si un LLMJ identificó correctamente dónde ocurrió un error y si su razonamiento para dicho error fue sólido. Esta ausencia de datos de meta-evaluación impide la capacidad de calibrar, mejorar o entrenar directamente a los LLMJ para producir retroalimentación diagnóstica de mayor calidad.

Metodología

Los autores presentan Counsel, el primer conjunto de datos público de meta-evaluaciones para tareas agénticas. La construcción del conjunto de datos involucra un pipeline de tres etapas:

1. Generación de Trayectorias de Agentes

Los autores generaron trayectorias de agentes utilizando modelos de pesos abiertos en dos benchmarks distintos:

• $\tau$-bench (Retail): Un benchmark de atención al cliente que simula interacciones multi-turno entre herramienta-agente-usuario. Los autores utilizaron el subconjunto de retail (115 tareas).
• DA-Code: Un benchmark de generación de código para ciencia de datos que involucra flujos de trabajo complejos (limpieza, análisis, modelado) en un entorno de sandbox. Los autores utilizaron los subconjuntos de Data Insights y Data Manipulation (50 tareas).

Modelos de Agentes: Para asegurar modos de falla heterogéneos, las trayectorias fueron generadas utilizando:

• GPT-OSS-20B: Un modelo de mezcla de expertos (MoE) de 20B de parámetros con capacidades de razonamiento medias.
• Qwen3-235B-A22B-Instruct-2507: Un modelo MoE de 235B de parámetros sin razonamiento explícito (pensamiento de Sistema 1).

2. Generación de Críticas del Juez

Cada paso (intervalo) de las trayectorias de los agentes fue evaluado por LLMJs de pesos abiertos. Los jueces recibieron el mismo contexto disponible para el agente en ese paso (sin información futura) y se les encargó:

• Identificar si ocurrió un error en el paso actual.
• Proporcionar una crítica concisa y legible por humanos que explique el error.
• Categorizar el tipo de error (por ejemplo, razonamiento, uso de herramientas, flujo de trabajo).

Modelos de Juez: Para inducir una variación sistemática, los autores emplearon:

• GPT-OSS-120B: Evaluado tanto en configuraciones de bajo como de alto razonamiento.
• Qwen3-235B-A22B-Instruct-2507: Utilizado como una línea base sin razonamiento.
• El estudio incluyó emparejamientos de la misma familia (por ejemplo, GPT juzgando a GPT) y de familias cruzadas para analizar el sesgo de preferencia propia.

3. Meta-Evaluación Humana

Anotadores humanos (tres profesionales de la ciencia de datos con más de 10 años de experiencia) revisaron las salidas de los jueces. Crucialmente, los anotadores tuvieron acceso a la trayectoria completa (pasos pasados y futuros), a diferencia de los jueces que solo vieron el contexto actual.

Esquema de Anotación: Los anotadores etiquetaron cada intervalo señalado en una de tres categorías:

1. Exacto (Spot on): La ubicación del error es correcta y el razonamiento es correcto.
2. Ubicación correcta pero razonamiento deficiente: Se identifica correctamente la ubicación del error, pero la explicación es errónea o inadecuada.
3. No debería haber señalado: El juez identificó incorrectamente un error (tanto la ubicación como el razonamiento son erróneos).

Los anotadores alcanzaron un $\alpha$ de Krippendorff de 0.78, lo que indica una alta concordancia entre anotadores.

Contribuciones Clave

1. Dataset Counsel: Un conjunto de datos público, con licencia permisiva, que contiene 1,131 meta-anotaciones humanas de críticas de jueces a través de 225 trayectorias de agentes únicas.
2. Meta-Evaluación Granular: A diferencia del trabajo previo centrado en puntuaciones finales, Counsel proporciona etiquetas tanto para la localización de errores como para la calidad del razonamiento, permitiendo la evaluación de la utilidad diagnóstica de los LLMJ.
3. Ecosistema de Pesos Abiertos: Todo el pipeline (agentes, jueces y generación de datos) se basa en modelos de pesos abiertos, lo que facilita el uso amplio por parte de la comunidad y la reproducibilidad.

Resultados y Análisis

Los autores presentan varios hallazgos clave del análisis del dataset:

• Varianza en el Desempeño del Juez:
  • Esfuerzo de Razonamiento: Los jueces con mayor esfuerzo de razonamiento (GPT-OSS-120B:high) lograron una concordancia humana significativamente mejor que sus contrapartes de bajo razonamiento. El juez más fuerte logró un ~88% de concordancia en la ubicación del error y un ~65% de concordancia en la calidad del razonamiento.
  • Especificidad de Dominio: La precisión de la crítica varió según el dominio. Por ejemplo, Qwen3 logró una precisión de "Exacto" del 43% en DA-Code pero del 63% en $\tau$-bench retail, lo que sugiere que la efectividad del juez depende del entorno.
• Sesgo de Preferencia Propia: El estudio analizó si los jueces eran más lenientes con los agentes de la misma familia de modelos. Las pruebas estadísticas (pruebas normales de una cola para proporciones) no encontraron ningún sesgo de preferencia propia significativo en ninguno de los jueces evaluados.
• Localización de Errores vs. Recall: El diseño del dataset prioriza la precisión (revisar solo los errores señalados) sobre el recall. Aunque el dataset permite comparaciones relativas de recall (comparando verdaderos positivos entre jueces), no mide la tasa en la que los jueces fallan al no señalar errores existentes.

Significación y Reivindicaciones

El artículo posiciona a Counsel como un recurso fundamental para el estudio riguroso y la mejora de los evaluadores basados en LLM. Los autores afirman que el dataset permite tres casos de uso principales:

1. Evaluar la Calidad de la Crítica: Ir más allá del acuerdo en la puntuación final para evaluar si los jueces localizan correctamente los errores y proporcionan un razonamiento de alta calidad.
2. Entrenar Meta-Jueces: Optimizar modelos que puntúan, clasifican o filtran las salidas de los jueces para seleccionar las críticas de mayor calidad.
3. Entrenar Jueces: Utilizar las meta-anotaciones como supervisión o señales de recompensa para optimizar directamente los jueces para una mejor generación de críticas.

Los autores enfatizan que, si bien Counsel soporta la calibración y el entrenamiento de evaluadores automatizados, su intención es complementar, no reemplazar, el juicio humano. Señalan limitaciones, incluyendo el enfoque en la precisión sobre el recall y la restricción a dos dominios agénticos específicos (retail y codificación), lo que podría limitar la generalización a otros tipos de tareas.

Un experimento preliminar en el artículo demuestra que utilizar las meta-anotaciones de Counsel como ejemplos de contexto de pocos disparos (few-shot) puede mejorar el desempeño del agente en un bucle, específicamente cuando se proporciona retroalimentación "Exacta" a un juez de salvaguarda (guardrail judge), aunque los efectos fueron generalmente pequeños.