Resumen Técnico: TraceGraph – Paisajes de Decisión Compartidos para el Diagnóstico y la Mejora de las Trayectorias de Agentes

1. Planteamiento del Problema

Los benchmarks actuales de agentes registran cada vez más interacciones complejas e intercaladas (pensamientos, llamadas a herramientas, retroalimentación del entorno). Sin embargo, las prácticas de evaluación suelen colapsar estos procesos complejos en una única métrica escalar (por ejemplo, la tasa de éxito/fallo o una puntuación de recompensa). Aunque estas puntuaciones clasifican los sistemas, oscurecen la dinámica del proceso subyacente: no revelan cómo los modelos navegan los espacios de tareas, dónde divergen en estrategia, o si evitan regiones de fallo o se recuperan de ellas.

El desafío central es la falta de un sistema de coordenadas compartido para comparar trayectorias entre diferentes modelos. Los estados de los agentes son largos, ramificados y específicos de cada benchmark, mezclando elecciones de herramientas, pistas de archivos y evidencia parcial. Sin alineación, es difícil determinar si el Modelo A alcanzó un estado análogo al del Modelo B, si evitó la misma región de fallo o si se recuperó mediante una ruta distinta. Los métodos existentes suelen inspeccionar las trayectorias individuales de forma aislada o dependen de puntuaciones agregadas que ocultan la diversidad del proceso.

2. Metodología: El Marco de Trabajo TraceGraph

TraceGraph es un marco basado en grafos que transforma las ejecuciones (rollouts) de agentes agrupadas en un paisaje de decisión compartido. Opera en tres etapas, construyendo un mapa independiente del modelo del espacio de tareas antes de analizar comportamientos de modelos específicos.

Et stage 1: Construcción del Paisaje Compartido

El marco ingiere pasos de acción-observación de múltiples modelos y tareas.

• Codificación: Cada paso $i$ se codifica como un conjunto disperso de claves observables $K_i$, que incluye tipos de herramientas/acciones, clases de comandos, patrones de observación (por ejemplo, trazas de error), pistas de archivos y fases temporales. Para tareas de búsqueda, se añaden claves específicas para dominios de URL y novedad de consultas.
• Similitud y Construcción del Grafo: La similitud pareada se calcula utilizando un solapamiento de Jaccard ponderado por IDF sobre los conjuntos de claves. Las claves raras e informativas (por ejemplo, patrones específicos de traceback) pesan más que las genéricas.
• Topología: Se construye un grafo de $k$-vecinos mutuos (mutual-$k$NN) sobre todos los pasos agrupados. Este grafo se descompone en Componentes Biconesectados (BCC) y puntos de articulación (puertas).
  • Los BCC agrupan pasos con una similitud mutua densa, representando estados de agentes compartidos de forma gruesa.
  • Los puntos de articulación marcan transiciones de estrategia o de fase donde una ejecución puede ramificarse hacia continuaciones cualitativamente distintas.
• Independencia del Modelo: La identidad del modelo se excluye de la firma y de la construcción del grafo. El paisaje se define únicamente por el espacio de estados observable.

Et stage 2: Superposiciones Informadas por el Resultado

Una vez fijada la estructura del grafo, el marco superpone los datos de resultados para identificar "núcleos productivos" y "regiones trampa".

• Difusión de Recompensa: Para cada bloque BCC, se asigna una recompensa suavizada por Laplace basada en los resultados terminales de las ejecuciones que visitan dicho bloque. Esta recompcción se difunde a través del grafo de cocientes de bloques para suavizar el ruido local.
• Definición de Regiones:
  • Núcleo Productivo ($C_t$): Cuantiles positivos altos del campo de recompensa difundido.
  • Regiones Trampa ($B_t$): Cuantiles negativos bajos del campo de recompensa difundido.
• Estas superposiciones son descriptivas, localizando dónde se concentra el tráfico de altos y bajos resultados, en lugar de predecir resultados para ejecuciones no vistas.

Et stage 3: Resumen de Eventos de Ejecución

La trayectoria de cada modelo se resume mediante tres eventos discretos definidos sobre las superposiciones de núcleo/trampa:

1. Acceso ($A_r$): ¿Intersecó la ejecución el núcleo productivo?
2. Exposición a Trampa ($E_r$): ¿Intersecó la ejecución una región trampa?
3. Reparación ($R_r$): ¿Visitó la ejecución una trampa y posteriormente alcanzó un núcleo?

Análisis: Perfiles de Oferta y Demanda

TraceGraph genera dos perfiles descriptivos:

• Oferta del Modelo: La media centrada en la tarea de los eventos de un modelo en relación con el promedio de los modelos. Esto revela un "estilo de navegación" (por ejemplo, alto acceso/alta reparación frente a navegación conservadora/superficial).
• Demanda del Benchmark: El contraste ponderado por recompensa entre el tráfico de altos y bajos resultados. Esto revela qué premia un benchmark específico (por ejemplo, la evitación de trampas frente a la recuperación).

3. Contribuciones Clave

1. Marco TraceGraph: Un método para construir grafos de tareas independientes del modelo a partir de ejecuciones agrupadas y superponer regiones informadas por resultados para crear un paisaje de decisión compartido.
2. Perfiles de Proceso Compactos: Una demostración de que, a través de cinco divisiones de benchmarks (7,329 registros, 427 tareas, 5 modelos), los eventos de Acceso, Exposición a Trampa y Reparación separan estilos de navegación de modelos y demandas de benchmarks que las puntuaciones agregadas colapsan.
3. Pipeline de Recuperación Guiado por TraceGraph: Una aplicación práctica en SWE-bench donde las regiones trampa derivadas del grafo sirven como disparadores en tiempo de ejecución. Cuando un agente en vivo entra en una región trampa histórica, se activa una política de recuperación ligera.

4. Resultados Experimentales

Información Diagnóstica

• Diversidad de Modelos: Las puntuaciones agregadas suelen ocultar diferencias de proceso. Por ejemplo, en un paisaje compartido, DeepSeek-V3.2 exhibe un estilo de "alto acceso, alta reparación", mientras que Qwen3-Next muestra un estilo de "bajo acceso, baja reparación" (navegación conservadora y superficial).
• Heterogeneidad del Benchmark: Los benchmarks imponen diferentes demandas de proceso:
  • $\tau^2$-bench, MCPBench, TerminalBench: Fuertemente aversos a las trampas (los altos resultados se correlacionan con evitar regiones de bajo resultado).
  • SWE-bench: Fuertemente demandantes de reparación (los altos resultados se correlacionan con la recuperación de estados tipo trampa tras un fallo inicial).
  • Búsqueda (Search): Premia el acceso a evidencia productiva con una recuperación ocasional.

Experimento de Recuperación (SWE-bench)

Los autores implementaron un pipeline de bifurcación de prefijo consciente de trampas en instancias de SWE-bench Verified (500 en total).

• Mecanismo: Un detector se activa cuando una ejecución en vivo coincide con una firma de trampa canonicalizada. Al activarse, el agente continúa desde el mismo estado bajo tres políticas:
  1. Línea Base (Baseline): Continuación estándar ($T=0.6$).
  2. Caliente (Hot): Mayor diversidad de muestreo ($T=0.9$).
  3. Nota (Note): Una nota de diagnóstico conservadora y fundamentada en la evidencia, añadida al contexto (sin parches de oro).
• Resultados:
  • En el subconjunto disparado por proveedor ($n=616$), la mejor política agrupada (Hot) elevó la tasa de resolución del 40.4% al 43.5% (+3.1 pp, $p=0.016$).
  • En el subconjunto de disparo común ($n=288$), la política Hot elevó la tasa del 41.0% al 44.8% (+3.8 pp, $p=0.045$).
  • Especificidad del Proveedor: El componente de recuperación activo varió según el proveedor. Qwen3.6-35B-A3B se benefició más de la nota de diagnóstico, mientras que GLM-5.1 y DeepSeek-V4-Pro se beneficiaron más del aumento de temperatura.

5. Significado y Reivindicaciones

El artículo posiciona a TraceGraph no como una nueva puntuación escalar o un predictor ciego de éxito, sino como un vocabulario de proceso para la evaluación de agentes.

• Poder Descriptivo: Revela qué prueba un benchmark (por ejemplo, evitación vs. recuperación) y dónde divergen los modelos en un paisaje compartido.
• Guía Accionable: Demuestra que las trampas derivadas de grafos pueden guiar intervenciones posteriores. Al identificar regiones de fallo históricas, el marco permite políticas de recuperación dirigidas que mejoran las tasas de resolución de tareas sin requerir información de oro (gold information) o un reentrenamiento completo.
• Modestia: Los autores enfatizan que el pipeline de recuperación es una intervención local en un subconjunto específico de SWE-bench y no se pretende que sea un mecanismo de reparación de agentes universal. El marco es un instrumento analítico para explicar la concentración de tráfico, no un controlador para todos los comportamientos de los agentes.

En resumen, TraceGraph desplaza el enfoque de "¿cuántas tareas resolvió el agente?" a "¿cómo navegó el agente el paisaje de la tarea y dónde se quedó atascado o se recuperó?", proporcionando una base estructural para comprender y mejorar las trayectorias de los agentes.