Knowledge-Based Zero-Replay Debugging of Multi-Agent LLM Traces

Resumen Técnico: Depuración Basada en Conocimiento con Replay Cero de Trazas de LLM Multi-Agente

Planteamiento del Problema
La operación fiable de sistemas de modelos de lenguaje de gran tamaño (LLM) multi-agente requiere la depuración de trazas de ejecución largas que contienen mensajes, rutas, escrituras de memoria y llamadas a herramientas. El enfoque estándar, el replay contrafáctico (rebobinar, editar y volver a ejecutar trayectorias para medir los efectos de los eventos), es fiable pero computacionalmente prohibitivo a escala. Su coste crece linealmente con el número de eventos candidatos y familias de intervención ($O(T \cdot |F| \cdot N)$), lo que hace que el replay exhaustivo sea inviable para sistemas de producción. Los autores plantean esto no como un problema de diseño de un oráculo, sino como un problema de soporte de decisiones basado en el conocimiento: dado un oráculo de replay contrafáctico fijo como referencia de verdad fundamental, ¿cómo se puede predecir qué eventos son causalmente decisivos sin incurrir en el coste del replay?

Metodología
El método propuesto, BranchPoint-Latent, opera en dos capas distintas: un oráculo determinista utilizado únicamente para el entrenamiento fuera de línea (offline), y un predictor de replay cero utilizado en el despliegue.

1. Representación del Conocimiento de la Traza:
   Las trazas multi-agente puras se compilan en un Grafo de Conocimiento de Eventos ($G = (V, E, A)$).

   • Nodos ($V$): Eventos de la traza (mensajes, rutas, escrituras de memoria, llamadas a herramientas, decisiones).
   • Aristas ($E$): Enrutamiento y adyacencia causal.
   • Atributos ($A$): Campos tipados que incluyen la posición en el grafo de rutas, persistencia de memoria/recuperación, metadatos de llamada a herramientas, proxies de incertidumbre y payloads latentes/ocultos opcionales.
     Esta representación garantiza que toda la evidencia utilizada para la toma de decisiones sea explícita y auditable.

2. Predicción de Replay Cero:
   La contribución central es un predictor que estima el veredicto de "alto efecto" del oráculo sin llamar al oráculo.

   • Extracción de Características: Se extraen 13 características del grafo de conocimiento en milisegundos en una CPU. Estas incluyen la centralidad del grafo, cuellos de botella de enrutamiento, desacuerdo de agentes, persistencia de memoria/RAG, novedad, incertidumbre y transiciones latentes.
   • Arquitectura del Predictor: Los autores comparan un puntuador lineal (baseline interpretable) frente a un Modelo de Gradiente Potenciado (GBM) de Aprendizaje de Clasificación (Learning-to-Rank). El GBM utiliza un objetivo de aprendizaje de clasificación para predecir el rango dentro de la traza del efecto del oráculo, empleando pesos equilibrados por familia para manejar cambios de régimen.
   • Soporte de Decisiones: El predictor genera una agenda de replay clasificada y con presupuesto limitado (Top-K eventos). Está calibrado mediante métricas como Spearman $\rho$, AUPRC y Branch Recall@K para apoyar el triaje y la asignación de presupuesto.

Contribuciones Clave

1. Predicción de Efecto Contrafáctico de Replay Cero: Una tarea distinta posicionada en la frontera de coste-precisión, que predice los resultados del oráculo sin re-ejecución ni juicio de LLM.
2. Representación de Grafo de Conocimiento de Eventos: Un pipeline estructurado que convierte logs brutos en un grafo que codifica enrutamiento, memoria, uso de herramientas y evidencia latente, permitiendo el soporte de decisiones sin procesamiento de texto bruto.
3. Ganancias de Rendimiento: Un único GBM de aprendizaje de clasificación sobre 13 características eleva el Branch Recall@5 de 0.73 a 0.93–0.95 en familias de prueba y el NDCG@5 de 0.83 a 0.92, todo con coste de replay cero. Esto supera a los clasificadores lineales previos y a las heurísticas basadas en la centralidad.
4. Análisis de Regímenes: El artículo caracteriza cuándo la centralidad del grafo es suficiente (trazas dominadas por el grafo como GSM8K) frente a cuándo es necesaria la evidencia aprendida (trazas pesadas en herramientas/latencia como MBPP y ARC). Demuestra que un único predictor no lineal puede absorber estos regímenes mejor que intentar enrutar entre selectores basados en estadísticas estructurales.
5. Validación Externa: La validación incluye un caso de estudio de agente vivo (trazas de autoría de modelos) y una comparación directa en el leaderboard Who&When, donde el modelo libre de LLM iguala o supera a los LLM ajustados por RL y a los jueces de frontera de LLM en precisión de localización a nivel de paso, con costes de inferencia significativamente menores.

Resultados

• Frontera de Coste-Precisión: Con un coste de replay cero, el predictor aprendido logra un Branch Recall@5 de 0.73 (lineal) y 0.93 (GBM), recuperando el 80% del recall del oráculo de replay activo (0.91) que requiere ~11.8 llamadas por traza.
• Generalización: El modelo se generaliza a través de 37 familias de trazas (163,815 eventos). En familias de prueba, mejora el Recall@5 de 0.00 a 1.00 en trazas de herramientas de MBPP y de 0.23 a 0.98 en GSM8K.
• Benchmark Who&When: En el conjunto de datos Who&When, el GBM basado en CPU y libre de LLM logra Acc@1 = 0.37 en divisiones generadas por algoritmos (igualando a un LLM de 8B ajustado por RL) y 0.24 en divisiones manuales (superando al LLM de 8B y a los jueces de frontera de LLM), reduciendo los costes de inferencia de horas de GPU a segundos.
• Limitaciones de Régimen: El artículo señala que, aunque la centralidad es competitiva en regímenes dominados por el grafo, ningún selector único domina todas las familias. Crucialmente, los intentos de enrutar automáticamente las trazas al "mejor" selector (centralidad vs. aprendido) basándose en estadísticas estructurales fallaron al no superar al valor por defecto de "siempre aprendido", ya que los falsos positivos anularon las ganancias.

Significancia y Reivindicaciones
El artículo posiciona explícitamente su contribución como un sistema de soporte de decisiones calibrado y auditable, no como un nuevo oráculo o una afirmación de dominio universal.

• Alcance: No pretende controlar estados ocultos (reporta sensibilidad, no control) ni pretende ser una solución universal (la centralidad sigue siendo competitiva en regímenes específicos).
• Propuesta de Valor: El valor principal es permitir una depuración eficiente en costes en el régimen de bajo presupuesto donde el replay exhaustivo es inviable. Al predecir el veredicto del oráculo, el sistema permite a los ingenieros centrar los recursos de replay en los eventos más probables de ser decisivos.
• Reproducibilidad: Los autores proporcionan una suite de regeneración de un solo comando, scripts de verificación de afirmaciones y límites de afirmación conservadores, asegurando que los resultados sean auditables y reproducibles.

El trabajo concluye que, si bien el replay activo domina estrictamente con presupuestos altos, el predictor de replay cero propuesto es el valor por defecto robusto para el régimen de bajo presupuesto, ofreciendo una reducción significativa del coste computacional manteniendo una alta precisión de localización.