Resumen Técnico: Causal Agent Replay (CAR)

Planteamiento del Problema

Cuando un agente de LLM falla —ya sea emitiendo un reembolso incorrecto, llamando a la herramienta equivocada o filtrando datos— las herramientas de observabilidad y evaluación existentes solo pueden describir qué sucedió o determinar si el resultado fue un éxito o un fallo. No logran identificar qué paso específico causó la falla.

Los heurísticos actuales para la atribución son fundamentalmente erróneos:

1. Confusión Mecánica vs. Decisional: El paso que ejecuta una acción perjudicial (por ejemplo, llamar a issue_refund) es a menudo una mera consecuencia mecánica de una decisión tomada en un paso previo. Culpar al paso de ejecución es un error de categoría.
2. Jueces de LLM Poco Fiables: Usar un LLM para juzgar la transcripción es correlacional en lugar de causal. En el benchmark "Who&When", la precisión de atribución a nivel de paso de los jueces de LLM es de aproximadamente el 14%.

El desafío central es que los agentes de LLM operan mediante políticas estocásticas. Un simple replay no revela la causalidad porque el resultado es el producto de una trayectoria compleja de decisiones y observaciones.

Metodología: Causal Agent Replay (CAR)

CAR aborda esto modelando la ejecución de un agente como un Modelo Causal Estructural (SCM) y determinando la causalidad a través de la intervención en lugar de la correlación.

1. Formalización

Una trayectoria de agente $\tau$ se modela como una secuencia de estados, acciones, observaciones y un resultado:
$$\tau = [s_0, (a_1, o_1), (a_2, o_2), \dots, (a_n, o_n), y]$$
Donde $s_k$ es el estado, $a_k \sim \pi(\cdot | s_k)$ es la acción extraída de la política estocástica, $o_k$ es el resultado de la herramienta, y $y$ es el puntaje del resultado.

2. Álgebra de Intervención

CAR implementa una operación do(·) sobre pasos específicos, forzando al agente a re-decidir acciones posteriores bajo la misma política estocástica. Se definen cinco operaciones:

• do_resample: Vuelve a extraer la acción $a_k$ de la política inalterada (la intervención nula). Esto mide la sensibilidad causal intrínseca del resultado respecto a ese paso.
• do_action: Fuerza una acción específica $a_k$.
• do_observation: Reemplaza la observación $o_k$.
• do_context: Edita el historial en el paso $k$.
• do_policy: Intercambia el modelo desde el paso $k$ en adelante.

3. Replay Fiel y No Determinismo

Para intervenir en el paso $k$, el sistema debe reconstruir el estado exacto $s_k$. CAR adopta una disciplina de registro-replay, registrando todas las entradas no deterministas. Reconoce que los proveedores alojados no son perfectamente deterministas (debido a la no asociatividad de punto flotante y kernels de procesamiento por lotes). En consecuencia, CAR reporta una tasa de coincidencia de acciones para la fidelidad del replay en lugar de afirmar una reproducibilidad perfecta. Los modelos locales con semillas fijas se observan que replican exactamente, validando el marco distributivo.

4. Estimadores de Atribución

Debido a que las intervenciones producen una distribución de resultados en lugar de un único camino, CAR utiliza estimadores estadísticos con intervalos de confianza.

• Estimador Contrastivo de Paso Único:
  Para cada paso $k$, el sistema mantiene los pasos $[0, k)$ en sus acciones fácticas, aplica do_resample(k) y ejecuta hacia adelante $K$ veces para estimar el cambio en la probabilidad de un "mal" resultado.

  • El Confundido de Ejecución hacia Adelante (Run-Forward Confound): El re-muestreo del paso $k$ provoca inadvertidamente un nuevo lanzamiento de todos los pasos estocásticos posteriores. Esto causa que pasos tempranos e irrelevantes parezcan causales porque activan un nuevo lanzamiento de un paso posterior genuinamente pivotal.
  • Regla del Punto de Compromiso: Para resolver esto, CAR identifica el locus causal como el último paso cuyo intervalo de confianza del efecto todavía excluye el cero. Este es el último punto donde re-decidir aún puede "rescatar" la ejecución; más allá de este punto, el resultado está comprometido.

• Estimador de Shapley de Monte Carlo con Presupuesto Limitado:
  Los métodos de paso único fallan al capturar interacciones (por ejemplo, un fallo tipo AND donde dos pasos deben fallar simultáneamente). CAR usa valores de Shapley para repartir el crédito entre pasos interactuantes.

  • Estima las contribuciones marginales sobre todos los contextos de coalición utilizando muestreo de permutación de Monte-Carlo con emparejamiento de permutación inversa antitética.
  • Sin Almacenamiento en Caché: Los valores $v(S)$ no se almacenan en caché a través de las permutaciones para evitar que la varianza marginal por paso colapse a cero, lo que produciría una falsa confianza.
  • El estimador está limitado por presupuesto con un interruptor de seguridad y se ejecuta bajo demanda.

Contribuciones Clave

1. Formalización SCM: Formalizar las ejecuciones de agentes como SCMs y definir un álgebra de cinco operaciones de intervención.
2. Marco Distributivo: Construir el sistema en torno a distribuciones de resultados con intervalos de confianza para manejar políticas estocásticas.
3. Regla del Punto de Compromiso: Identificar y resolver el confundido específico donde el re-muestreo de un paso vuelve a lanzar la estocasticidad descendente, usando una regla para localizar el verdadero locus causal.
4. Manejo de Interacciones: Proporcionar un estimador de Shapley para atribuir correctamente el crédito en pasos interactuantes donde los métodos de paso único fallan estructuralmente.
5. Validación de Verdad Fundamental (Ground Truth): Validar el método contra SCMs sintéticos con verdad fundamental plantada, argumentando que esto es no opcional para cualquier método de atribución.

Resultados y Validación

CAR fue validado contra SCMs sintéticos con verdad fundamental conocida:

• Recuperación de Paso Pivotal: En un SCM de tres pasos donde el paso intermedio era la decisión pivotal, el estimador contrastivo recuperó correctamente el locus en ese paso. El re-muestreo descendente no mostró un efecto significativo, coincidiendo con la semántica del punto de compromiso.
• Recuperación de Interacción: En un SCM donde el resultado era malo solo si dos pasos específicos fallaban, el estimador de Shapley repartió correctamente el crédito ($\phi_0 \approx 0.44, \phi_1 \approx 0.45, \phi_2 \approx 0$). La suma de eficiencia fue 0.909, coincidiendo estrechamente con el valor analítico de 0.91.
• Limitación Contrastiva: En la misma ejecución de interacción, el estimador contrastivo sobre-contó (los efectos excedieron la contribución total real), demostrando la necesidad del estimador de Shapley para las interacciones.

Significado y Reivindicaciones

El artículo afirma que CAR responde a la pregunta "¿qué paso causó la falla?" a través de la intervención en lugar de la correlación. Su significancia radica en la combinación específica de:

1. Intervenciones de do_resample ejecutadas con la misma política (evitando la sustitución de oráculo o el juicio de texto de LLM).
2. Resultados distributivos con intervalos de confianza.
3. La regla del punto de compromiso para manejar los confundidos de ejecución hacia adelante.
4. Reparto de crédito de Shapley para interacciones.
5. Validación contra verdad fundamental sintética.

El sistema es de código abierto y está diseñado para ejecutarse tanto en modelos locales gratuitos como en modelos alojados.

Limitaciones

Los autores señalan varias limitaciones:

• Efecto Directo vs. Efecto Total: El efecto contrastivo mide el efecto total a través de una continuación estocástica. Aislar el efecto directo de un paso requeriría números aleatorios comunes a través de las ramas, lo cual es difícil en contextos divergentes de LLM.
• Ruido de Resultado: Las funciones de resultado basadas en jueces inyectan ruido; se prefieren los resultados basados en reglas.
• Efectos Secundarios: Las herramientas reales con efectos secundarios están fuera del alcance; las demostraciones usan herramientas simuladas (mocked) y reproducibles.
• Costo Computacional: La estimación de Shapley es exponencial en el peor de los casos; el enfoque de Monte-Carlo está limitado por presupuesto, implicando un compromiso real entre varianza y presupuesto.