Resumen Técnico: TraceView – Visualización Interactiva de Trayectorias de Reparación de Programas Agénticos

Planteamiento del Problema

Los agentes de Reparación Automática de Programas (APR) basados en Modelos de Lenguaje de Gran Escala (LLM) generan parches candidatos a través de trayectorias complejas que involucran razonamiento, uso de herramientas y retroalimentación del entorno. Si bien el resultado final de un intento de reparación (éxito o fallo) es observable, el proceso intermedio permanece opaco. Un parche fallido no revela si el agente localizó el error, ignoró la retroalimentación, repitió acciones o se desvió de la tarea. Esta falta de visibilidad hace que los fallos de reparación agéntica sean difíciles de diagnosticar, reproducir y prevenir.

Los enfoques existentes para el análisis de trayectorias suelen depender de la inspección manual de registros (logs) brutos o hojas de cálculo. El trabajo previo, como el etiquetado manual de 14,000 pares de Pensamiento-Acción-Resultado (TAR) realizado por Bouzenia y Pradel, destaca el alto costo y esfuerzo requeridos para anotar estas trayectorias. Sin herramientas dedicadas, los investigadores luchan por crear, filtrar e inspeccionar etiquetas de relaciones semánticas, lo que dificulta conectar las anotaciones con la evidencia original en el rastro.

Metodología: TraceView

Para abordar estos desafíos, los autores presentan TraceView, una herramienta interactiva diseñada para el etiquetado y la visualización de trayectorias de agentes de APR. El sistema está implementado como una aplicación Streamlit y opera a través de un flujo de trabajo estructurado:

1. Ingestión y Normalización de Datos

TraceView acepta entradas brutas (por ejemplo, SWE-agent JSON, JSONL, registros de texto plano) y entradas pre-etiquetadas (conjuntos de datos agrupados como AutoCodeRover). Normaliza estas entradas en pasos ordenados de Pensamiento, Acción y Resultado (TAR), creando una representación subyacente unificada independientemente del formato de origen.

2. Flujo de Trabajo de Etiquetado

La herramienta soporta un proceso de etiquetado de dos etapas:

• Categorización de Acciones: Los usuarios asignan categorías a cada paso (por ejemplo, Explorar, Localizar, Buscar, Reproducir, Generar corrección, Ejecutar pruebas, Refactorizar, Explicar).
• Etiquetado de Relaciones Semánticas: Los usuarios etiquetan las relaciones entre los componentes de origen y destino de los TAR. Las etiquetas de relación soportadas incluyen Alineación, Seguimiento, Refinamiento, Redundancia, Repetición, Divergencia, Contradicción, Informativo, Disparador, Sin influencia, Desalineación y Malinterpretación.
• Interfaz: El espacio de trabajo de etiquetado presenta el texto de evidencia tanto de los componentes de origen como de destino. Los usuarios pueden inspeccionar evidencias largas mediante ventanas emergentes (popovers) para reducir el desorden manteniendo el acceso al texto original.

3. Visualización y Análisis

TraceView renderiza las trayectorias etiquetadas como grafos dirigidos con dos vistas coordinadas:

• Vista de Iteración: Un resumen de alto nivel donde cada nodo representa un paso, etiquetado por número de iteración y categoría de acción.
• Vista Detallada de TAR: Expande cada paso en nodos distintos de Pensamiento (T), Acción (A) y Resultado (R).
  • Estilo de Nodos: Los nodos de Pensamiento y Resultado utilizan colores fijos; los nodos de Acción se colorean según su categoría asignada.
  • Familias de Aristas: Las aristas semánticas conectan los nodos basándose en cinco familias de relaciones (por ejemplo, Pensamiento $\rightarrow$ Acción dentro de un paso, Resultado $\rightarrow$ Pensamiento entre pasos). Las aristas estructurales preservan el flujo cronológico.
  • Filtrado y Métricas: Los usuarios pueden filtrar el grafo por tipos de relación (por ejemplo, aislando bucles de Repetición o cambios de Divergencia). La herramienta proporciona recuentos agregados de relaciones y resúmenes de resultados de parches (por ejemplo, RESOLVED, APPLIED, GENERATED).
  • Panel de Inspección: Al seleccionar un nodo, se revela el texto subyacente y las relaciones etiquetadas conectadas, adhiriéndose al principio de "detalles bajo demanda".

Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Herramienta TraceView: Un sistema interactivo para el etiquetado y la visualización de trayectorias de agentes de APR como grafos estructurados de Pensamiento, Acción y Resultado.
2. Flujo de Trabajo de Análisis: Un flujo de trabajo integral que cuenta con filtrado de relaciones, resúmenes de resultados de parches, métricas de relación e inspección de evidencia a nivel de nodo.
3. Estudio de Usuario Preliminar: Una evaluación que involucra a cinco investigadores para evaluar la utilidad de la herramienta en el escaneo de trayectorias y la comprensión de los flujos de trabajo de reparación, identificando áreas específicas para la mejora de la interfaz.

Resultados de la Evaluación

Los autores realizaron un estudio de usuario basado en encuestas con cinco investigadores en ciencias de la computación. Los participantes realizaron tareas que iban desde el etiquetado de acciones hasta el análisis de vistas de grafos.

• Hallazgos Cuantitativos: Los participantes calificaron positivamente TraceView en las tres dimensiones evaluadas:
  • Flujo de Trabajo de Etiquetado: Calificaciones altas para la claridad de las secciones (Mediana=4) y formatos de entrada (Mediana=5).
  • Evidencia e Interpretación: Los popovers a nivel de fila recibieron una puntuación mediana de 5 por proporcionar evidencia suficiente. La interpretabilidad del grafo recibió una mediana de 4.
  • Flujo de Trabajo de Análisis: Los participantes calificaron la herramienta como más eficiente que los registros brutos (Mediana=5), consideraron que los grafos eran más fáciles de escanear (Mediana=5) y que la jerarquía de visión general a detalle era útil (Mediana=5).
• Retroalimentación Cualitativa:
  • Fortalezas: Los usuarios consideraron que la visualización de grafos era efectiva para comprender el proceso de reparación y que el flujo de trabajo de visión general a detalle ayudaba a la orientación.
  • Limitaciones: Algunos participantes señalaron que las vistas previas de las acciones a veces eran demasiado cortas para proporcionar contexto o demasiado largas para escanear eficientemente. Los usuarios solicitaron que las etiquetas de los nodos incluyeran resúmenes cortos en lugar de solo identificadores (por ejemplo, "T0"). Además, las aristas diagonales y ciertas etiquetas de relación (por ejemplo, Desalineación) fueron a veces difíciles de interpretar sin mayor explicación.

Significado y Reivindicaciones

El artículo posiciona a TraceView como un paso necesario para hacer que los fallos de reparación agéntica sean diagnosticables. Al ir más allá de los resultados finales del parche para visualizar el proceso de reparación, la herramienta permite a los investigadores identificar dónde los agentes se alinean con la retroalimentación útil, repiten acciones, se desvían de las tareas o malinterpretan el contexto.

Los autores reivindican modestamente que su estudio preliminar demuestra la capacidad de la herramienta para mejorar el escaneo de trayectorias en comparación con los registros brutos y apoya la utilidad de un flujo de trabajo de visión general a detalle. No pretenden haber resuelto el problema de la reparación agéntica por completo, sino haber proporcionado una herramienta que facilita el "análisis de grano fino" requerido para comprender y potencialmente corregir el comportamiento agéntico. Se planea que el trabajo futuro incorpore la retroalimentación del usuario (resúmenes más cortos, vistas previas al pasar el cursor) y realice estudios más amplios con trayectorias más diversas.