💬 NLP

TraceSIR: A Multi-Agent Framework for Structured Analysis and Reporting of Agentic Execution Traces

El artículo presenta TraceSIR, un marco de agentes múltiples que utiliza un formato de abstracción novedoso y tres agentes especializados para analizar y generar informes estructurados sobre las trazas de ejecución de sistemas agénticos, superando las limitaciones de los métodos actuales en la diagnosis de fallos y la localización de causas raíz.

Autores originales: Shu-Xun Yang, Cunxiang Wang, Haoke Zhang, Wenbo Yu, Lindong Wu, Jiayi Gui, Dayong Yang, Yukuo Cen, Zhuoer Feng, Bosi Wen, Yidong Wang, Lucen Zhong, Jiamin Ren, Linfeng Zhang, Jie Tang

Publicado 2026-03-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shu-Xun Yang, Cunxiang Wang, Haoke Zhang, Wenbo Yu, Lindong Wu, Jiayi Gui, Dayong Yang, Yukuo Cen, Zhuoer Feng, Bosi Wen, Yidong Wang, Lucen Zhong, Jiamin Ren, Linfeng Zhang, Jie Tang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que los sistemas de inteligencia artificial (IA) que actúan por sí solos (llamados "agentes") son como detectives digitales muy inteligentes. Estos detectives pueden investigar temas complejos, escribir código o buscar información en internet. Pero, a veces, se equivocan.

El problema es que cuando un detective falla, deja una huella digital gigante (un "rastro de ejecución") que puede tener miles de páginas de texto, miles de pasos y millones de palabras.

Hasta ahora, para entender por qué falló el detective, los humanos tenían que leer todo ese montón de papel (¡imposible!) o usar otras IAs que, al leer tanto, se mareaban y daban respuestas sin sentido.

Aquí es donde entra TraceSIR, la solución que proponen los autores. Imagina que TraceSIR es un equipo de tres analistas expertos que trabajan juntos para limpiar, entender y explicar esos rastos gigantes.

🕵️‍♂️ El Equipo de TraceSIR (Los 3 Agentes)

En lugar de tener una sola IA haciendo todo el trabajo, TraceSIR divide el trabajo en tres especialistas:

El "Organizador" (StructureAgent): El Editor de Resúmenes
- La analogía: Imagina que tienes un libro de 1,000 páginas lleno de diálogos repetitivos y descripciones de cómo el detective camina por la calle. El Organizador es un editor genial que toma ese libro, elimina el relleno aburrido y lo convierte en una tabla de 5 páginas con solo lo importante: "Pensó esto", "Hizo esto", "Vio esto".
- Su magia: Crea un formato especial (llamado TraceFormat) que comprime la información sin perder los detalles clave. Es como convertir una película de 3 horas en un cómic de 10 páginas que cuenta toda la historia.
El "Detective de Errores" (InsightAgent): El Forense
- La analogía: Una vez que el Organizador tiene el resumen limpio, el Forense lo examina con una lupa. No solo mira la respuesta final (si acertó o falló), sino que reconstruye la escena del crimen.
- Su trabajo: Dice: "Aquí el detective se confundió porque buscó en el lugar equivocado", o "Aquí se cansó de pensar y saltó un paso". Identifica la causa raíz del error y sugiere cómo arreglarlo, como un médico que no solo dice "tienes fiebre", sino "tienes fiebre porque te mojaste bajo la lluvia".
El "Jefe de Reportes" (ReportAgent): El Periodista
- La analogía: Si solo analizamos un caso, el Forense nos da un informe. Pero si tenemos 50 casos fallidos, el Jefe de Reportes agrupa todas las historias.
- Su trabajo: Mira los 50 casos y dice: "¡Oigan! El 80% de los detectives fallaron porque no entendieron las fechas". Luego escribe un informe final perfecto, con gráficos, consejos y una lista de errores comunes, listo para que los ingenieros sepan qué arreglar.

🧪 ¿Cómo lo probaron? (TraceBench y ReportEval)

Los autores crearon un gimnasio de pruebas llamado TraceBench. Pusieron a sus detectives (las IAs) a resolver problemas reales en tres áreas:

Investigación profunda (buscar información en internet).
Llamadas a funciones (usar herramientas digitales).
Programación (escribir código).

Luego, crearon un jurado (ReportEval) para evaluar los informes. Este jurado no solo miraba si el informe era bonito, sino si era útil: ¿Entendía el error? ¿Daba una solución real? ¿Era fácil de leer?

🏆 Los Resultados

Los resultados fueron increíbles. TraceSIR, con su equipo de tres, superó por mucho a los métodos actuales (como usar una sola IA gigante para leer todo el texto).

Sus informes eran más claros.
Encontraban los errores reales mucho mejor.
Daban consejos que los ingenieros podían usar de inmediato.

💡 En resumen

TraceSIR es como tener un equipo de limpieza y análisis que toma el caos de un detective digital fallido, lo ordena, encuentra exactamente dónde se equivocó y te entrega un manual de instrucciones claro para que nunca vuelva a pasar.

Es una herramienta que hace que los sistemas de IA sean más transparentes, más fáciles de arreglar y, en definitiva, más confiables para el mundo real.

1. El Problema

Los sistemas agénticos (que combinan Modelos de Lenguaje Grande - LLMs - con herramientas externas y toma de decisiones iterativa) son fundamentales para tareas complejas como investigación profunda, llamadas a funciones y codificación. Sin embargo, su diagnóstico y análisis presentan desafíos críticos:

Complejidad de las trazas: Las trazas de ejecución son largas, intrincadas y pueden contener miles de invocaciones de herramientas, superando los límites de entrada de los LLMs actuales.
Fallo de los métodos manuales: La inspección manual no escala ante el volumen de datos.
Limitaciones de los LLMs directos: Aplicar LLMs directamente a las trazas crudas a menudo resulta en razonamiento poco fiable, alucinaciones o contenido sin sentido debido a la longitud del contexto.
Pérdida de información: Los enfoques actuales que se centran únicamente en el resultado final del tarea descartan información conductual crítica necesaria para localizar errores y realizar análisis de causa raíz.
Falta de informes estructurados: Existe una carencia de marcos automatizados que generen informes de análisis coherentes y alineados con las necesidades de la industria, especialmente al comparar múltiples instancias de tareas.

2. Metodología: TraceSIR

Para abordar estos problemas, los autores proponen TraceSIR, un marco de trabajo basado en agentes múltiples que coordina tres agentes especializados para el análisis estructurado y la generación de informes:

A. Formato de Entrada y Abstracción (TraceFormat)

TraceFormat: Se introduce un nuevo formato de abstracción que transforma las secuencias de mensajes OpenAI crudas en una representación estructurada y compacta.
Estructura: Convierte la traza en rondas de interacción $(t_i, a_i, o_i)$ , donde $t$ es el pensamiento (razonamiento), $a$ es la acción (invocación de herramientas) y $o$ es la observación (respuesta del entorno).
Objetivo: Preserva la información conductual esencial y el orden temporal/causal, mientras elimina redundancias y contenido excesivamente verbose.

B. Los Tres Agentes Especializados

StructureAgent (Agente de Estructura):
- Opera sobre la traza estructurada.
- Aplica un operador de abstracción sensible a la longitud para comprimir elementos excesivamente largos (como fragmentos de código o razonamientos verbosos) sin perder señales críticas.
- Genera una traza comprimida ( $T'$ ) lista para el diagnóstico.
InsightAgent (Agente de Perspectiva):
- Realiza un diagnóstico fino a nivel de instancia individual sobre la traza comprimida.
- Genera un conjunto estructurado de salidas:
  - Evaluación general: Puntuación de completitud de la tarea (0-100).
  - Detección de errores: Identifica el error principal (fatal) y errores secundarios.
  - Identificación de debilidades/fuerzas: Análisis de las limitaciones y aciertos del agente.
  - Análisis de Causa Raíz (RCA): Explicaciones profundas e impulsadas por la evidencia sobre por qué falló el sistema.
  - Sugerencias de optimización: Recomendaciones concretas y ejemplos para ajuste fino (fine-tuning).
ReportAgent (Agente de Informes):
- Opera a un nivel superior, agregando diagnósticos de múltiples instancias de tareas.
- Determina cuándo es necesario generar un informe basado en el número de casos.
- Realiza análisis estadístico (frecuencia de errores, distribución de puntuaciones) para identificar patrones recurrentes y problemas sistémicos.
- Genera informes completos en formato Markdown que incluyen resúmenes, análisis de errores, causas raíz y sugerencias, adjuntando las trazas estructuradas relevantes en un apéndice para trazabilidad.

3. Contribuciones Clave

Marco TraceSIR: Un sistema multi-agente pionero diseñado específicamente para el análisis estructurado de trazas de ejecución agénticas, superando las limitaciones de longitud y razonamiento de los LLMs directos.
TraceFormat: Una nueva representación de abstracción que equilibra la compresión de datos con la preservación de la información conductual crítica.
TraceBench: Un nuevo conjunto de datos de referencia unificado que recopila 150 casos de fallos de tareas de tres escenarios del mundo real: Deep Research (BrowseComp), Function Calling (Tau2Bench) y Agentic Coding (SWE-bench).
ReportEval: Un protocolo de evaluación centrado en la calidad de los informes, que mide la utilidad práctica desde la perspectiva de la industria en cinco dimensiones: Estructura General, Análisis de Errores, Análisis de Causa Raíz, Análisis de Optimización e Impacto General.

4. Resultados Experimentales

Los experimentos se realizaron comparando TraceSIR contra un modelo base fuerte (ClaudeCode) utilizando dos modelos de lenguaje subyacentes (GLM-5 y Claude-4.6).

Rendimiento Superior: TraceSIR superó consistentemente a ClaudeCode en todos los escenarios y dimensiones de evaluación.
- Evaluación Humana: TraceSIR mejoró la calidad general del informe en un 9.7% en promedio. El mayor aumento relativo fue del 26.0% en escenarios de codificación con modelos base más débiles.
- Evaluación LLM-as-a-Judge: Mostró una mejora relativa promedio del 7.5%.
Calidad del Diagnóstico: Los informes generados por TraceSIR demostraron ventajas significativas en la localización de errores, la interpretación de fallos y la generación de sugerencias de optimización accionables.
Robustez: El sistema mantuvo su superioridad incluso cuando se utilizó un modelo base más débil (GLM-5), lo que demuestra la efectividad del marco de abstracción y coordinación de agentes.

5. Significado e Impacto

Diagnóstico Escalable: TraceSIR resuelve el cuello de botella de la inspección manual, permitiendo el análisis sistemático de sistemas agénticos complejos a gran escala.
Transparencia y Confiabilidad: Al transformar trazas crudas en representaciones estructuradas y evidencias fundamentadas, el sistema mejora la interpretabilidad de los agentes, facilitando la depuración y la toma de decisiones de ingeniería.
Nueva Línea de Investigación: Establece un nuevo estándar para la evaluación de sistemas agénticos, moviéndose más allá de las métricas de resultado final hacia un análisis profundo del comportamiento y la causa raíz.
Aplicabilidad Industrial: Los informes generados están diseñados para ser directamente utilizables por ingenieros y investigadores, proporcionando pasos concretos para mejorar los sistemas de IA.

En resumen, TraceSIR representa un avance significativo en la ingeniería de sistemas agénticos, proporcionando las herramientas necesarias para entender, diagnosticar y optimizar el comportamiento de agentes autónomos en escenarios del mundo real complejos.