Repair the Amplifier, Not the Symptom: Stable World-Model Correction for Agent Rollouts

Resumen Técnico: Repare el Amplificador, No el Síntoma

Formulación del Problema
A medida que la planificación de agentes evoluciona de cadenas de herramientas cortas hacia flujos de trabajo persistentes que involucran miles de pasos, los fallos ocurren cada vez más dentro de grandes grafos de planificación en lugar de en predicciones aisladas. Replanificar el grafo completo tras cada error es computacionalmente prohibitivo e ineficiente; consume presupuestos de contexto excesivos, expone a los Modelos de Lenguaje Extensos (LLMs) a síntomas irrelevantes y corre el riesgo de degradar el rendimiento de la recuperación de contexto largo.

El problema central abordado es la Corrección del Modelo de Mundo (World-Model Correction): identificar un subgrafo conectado y mínimo dentro de un grafo de planificación fallido cuyo arreglo estabilice el sistema restante. El desafío radica en distinguir entre los síntomas visibles (nodos con alto error inmediato) y los "amplificadores" subyacentes (subgrafos que re-amplifican errores en ejecuciones posteriores). Los enfoques de ingeniería que simplemente escanean nodos con alto error o expanden vecindades locales suelen fallar porque parchean síntomas mientras dejan activa la ruta de amplificación causal, lo que conduce a la recurrencia del error.

Metodología: WM-SAR
El artículo propone WM-SAR (World-Model Subgraph Amplification Repair), un corrector que trabaja hacia atrás desde la amplificación del error en lugar de hacia adelante desde los síntomas visibles. El método opera en dos fases:

1. Selección de Región Basada en Grafos (Fase 1):

   • Base Teórica: El enfoque se fundamenta en la observación de que el crecimiento del error de ejecución está controlado por el radio espectral ($\rho(B)$) de un operador de nodos y aristas acoplados. Si $\rho(B) > 1$, los errores se amplifican; si $\rho(B) \le 1$, los errores decaen. El objetivo es encontrar un subgrafo $R$ tal que eliminarlo minimice el radio espectral residual $\rho(B_{G_f \setminus R})$.
   • Calificación (Scoring): WM-SAR calcula una puntuación de Campo de Amplificación de Error de Grafo (GEAF) para cada nodo, definida como el producto de la magnitud del error observado y el radio espectral local del vecindario del nodo. También computa un factor de acoplamiento ($\kappa_v$) para medir las interacciones super-aditivas entre los canales de nodos y aristas.
   • Crecimiento Codicioso (Greedy Growth): Partiendo de semillas con alta puntuación, el algoritmo expande codiciosamente la región de reparación añadiendo nodos fronterizos que maximicen el alivio espectral marginal ($\Delta\rho_{rel}$), es decir, la reducción en el radio espectral residual. Este proceso continúa hasta que se cumple una restricción de presupuesto o no es posible obtener más alivio.
   • Poda (Pruning): Los nodos redundantes que no contribuyen al alivio espectral se eliminan para asegurar que la región sea compacta.

2. Reparación Basada en LLM (Fase 2):

   • Una vez identificado el subgrafo óptimo $R^*$, solo esta región conectada se serializa y se pasa a un LLM. El LLM tiene la tarea de identificar la causa raíz y producir una decisión de reparación estructurada. Esto contrasta con los enfoques de grafo completo que serializan todo el rastro fallido, desperdiciando tokens en síntomas descendentes irrelevantes.

Contribuciones Clave

• Formulación del Problema: Replantea la corrección del modelo de mundo como un problema de optimización restringida: encontrar la región conectada más pequeña que estabilice el modelo de mundo residual, en lugar de simplemente replanificar el grafo completo o parchear el error más grande.
• Líneas Base de Ingeniería: Implementa y evalúa una familia sólida de correctores de ingeniería (incluyendo Top-K, ventanas deslizantes, vecindades de k-saltos y escaneos en cascada) para establecer una línea base rigurosa.
• Algoritmo WM-SAR: Introduce un enfoque espectral-gráfico que utiliza GEAF y el acoplamiento nodo-arista para identificar el subgrafo "amplificador". Proporciona una prueba teórica de que el radio espectral residual controla el arrepentimiento de la planificación (planning regret).
• Evidencia Empírica: Demuestra que WM-SAR logra una estabilización cercana a la del grafo completo utilizando una fracción de los tokens requeridos por la reparación de LLM de grafo completo o los escaneos de vecindad extensos.

Resultados
Los experimentos se realizaron en un banco de pruebas sintético de árboles de llamadas heterogéneos que imita flujos de trabajo de planificador-ejecutor-validador, así como en topologías inspiradas en SWE-bench, WebArena y AgentBench.

• Estabilidad vs. Parcheo de Síntomas: Los correctores de ingeniería (por ejemplo, Greedy-Point, basados en ventanas) reducen con éxito el error inmediato, pero a menudo fallan en aplanar la curva de error a largo plazo porque dejan activo el canal de amplificación. WM-SAR, al apuntar al radio espectral residual, aplana la curva de error, evitando el crecimiento recurrente del error.
• Eficiencia de Tokens: WM-SAR logra una recuperación de la causa raíz comparable o superior a la reparación de LLM de grafo completo utilizando significativamente menos tokens (por ejemplo, ~855 tokens frente a ~2157+ tokens para prompts de grafo completo en experimentos con GPT-4o-mini).
• Sensibilidad al Presupuesto: Bajo presupuestos de reparación estrictos, WM-SAR alcanza un alto alivio espectral con tamaños de región pequeños (por ejemplo, ~8 nodos), mientras que los métodos de ingeniería requieren regiones mucho más grandes (a menudo acercándose a la cobertura de todo el grafo) para lograr una estabilidad similar.
• Robustez entre Modelos: La ventaja de rendimiento de WM-SAR se mantiene en diferentes niveles de LLM (GPT-4o, GPT-4o-mini, Gemini-2.5-Flash), lo que indica que el beneficio proviene de una mejor selección de contexto y no de peculiaridades específicas del modelo.
• Limitaciones: El método depende de señales de error observables por nodo. En escenarios de atribución de caja negra (como el benchmark "Who&When") donde solo se conoce la respuesta final, el rendimiento de WM-SAR se degrada ya que la puntuación GEAF no puede computarse, regresando a un comportamiento similar a la selección simple de nodos sumidero (sink-node).

Significancia y Reivindicaciones
El artículo argumenta que el principal modo de fallo de las estrategias de reparación de agentes actuales es el desalineamiento entre el objetivo de reparación (síntomas visibles) y el objetivo de estabilidad (amplificación residual). Al cambiar el enfoque hacia "reparar el amplificador", WM-SAR permite que los agentes mantengan modelos de mundo estables durante horizontes largos sin incurrir en los costos prohibitivos de la replanificación de grafos completos.

Los autores afirman que este enfoque ofrece una alternativa fundamentada al escaneo heurístico, proporcionando un objetivo de reparación más "limpio" para los LLM que preserva el puente causal mientras omite el ruido descendente distractor. El trabajo sugiere que los futuros sistemas de agentes deben priorizar la identificación y reparación de los operadores estructurales que propagan el error, en lugar de simplemente reaccionar a los fallos más visibles.