🤖 machine learning

The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World

Este artículo demuestra que los métodos de evaluación basados en la repetición estática fallan fundamentalmente al evaluar los enrutadores de agentes de LLM porque la sustitución de las salidas del modelo en las trayectorias registradas ignora la divergencia en cascada de las acciones subsiguientes del agente, lo que conduce a métricas de rendimiento engañosas que no reflejan los resultados del mundo real.

Autores originales: Ashritha Gonuguntla

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ashritha Gonuguntla

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el capitán de una nave espacial navegando por un campo de asteroides traicionero. Tienes una flota de diferentes pilotos de IA: algunos son rápidos y económicos pero cometen errores pequeños, mientras que otros son lentos, costosos e increíblemente precisos. Para ahorrar combustible, decides cambiar de piloto a mitad del viaje basándote en lo que está sucediendo en ese momento. Si el camino está despejado, usas al piloto económico; si aparece un asteroide masivo, cambias al experto. Este es el sueño del "enrutamiento agéntico" (agentic routing) en el mundo de los Grandes Modelos de Lenguaje (LLM). Estos modelos son los cerebros detrás de los agentes de IA que pueden escribir código, resolver problemas matemáticos o jugar juegos mediante una serie de pasos. La gran pregunta para los ingenieros es: ¿Cómo sabemos si nuestra estrategia de cambio de piloto realmente funciona?

Tradicionalmente, los científicos han probado estas estrategias como un director de cine revisando un guion. Observan un viaje registrado (una "trayectoria") donde un solo piloto voló todo el camino. Luego, fingen: "¿Qué pasaría si hubiéramos cambiado al piloto en el paso 10?". Simplemente pegan las respuestas registradas del nuevo piloto en el guion antiguo y ven si el final se ve bien. Esto se llama "evaluación de reproducción" (replay evaluation). Es barato, rápido y asume que si cambias al piloto en el paso 10, el resto del viaje de la nave habría permanecido exactamente igual que en el registro original. Pero en el mundo real, una nave espacial es un bucle cerrado: la acción del piloto en el paso 10 cambia la vista en el paso 11, lo que cambia la decisión en el paso 12, y así sucesivamente. Si el nuevo piloto ve un campo de asteroides diferente debido a su propia acción anterior, todo el guion cambia. Este artículo plantea una pregunta simple y aterradora: ¿Está nuestro método de probar mediante "guiones de película" midiendo en realidad la realidad equivocada?

Los investigadores de la Universidad Carnegie Mellon decidieron dejar de adivinar y empezar a probar. En lugar de editar un guion de película, construyeron una máquina del tiempo. Tomaron agentes de IA reales resolviendo problemas de ingeniería de software y, en momentos específicos, "bifurcaron" la línea temporal. Crearon dos universos paralelos: uno donde el piloto original continuaba y otro donde introdujeron a un piloto diferente. Crucialmente, no se limitaron a pegar nuevas respuestas en la vieja historia; dejaron que el nuevo piloto tomara realmente el control, interactuara con el entorno informático y viera qué sucedía realmente después. Realizaron alrededor de 900 de estos experimentos paralelos para ver cuánto divergían las historias.

Los resultados fueron un choque para el sistema. La suposición de que el resto del viaje permanece igual era completamente errónea. Cuando cambiaban los modelos, el nuevo piloto no solo tomaba el control del camino existente; reescribía todo el futuro. En las etapas iniciales de una tarea, cambiar los modelos causaba que el agente cambiara de opinión en el 74% al 77% de sus acciones inmediatamente posteriores. Para cuando los investigadores observaron todo el viaje, el nuevo piloto había reescrito del 61% al 94% de todos los pasos que siguieron al cambio. Para ponerlo en perspectiva, si cambiaras de piloto en un videojuego, el mundo del juego cambiaría tan drásticamente que el "guion" que intentabas leer estaría describiendo un nivel que ya no existe.

El estudio también descubrió que el método de "reproducción" es peligrosamente ciego ante el éxito. En sus experimentos, observaron cinco momentos específicos donde cambiar un piloto realmente cambió el resultado de la misión: salvando una tarea fallida o perdiendo una resuelta. El viejo método de "guion de película" pasó por alto cada uno de estos momentos críticos. Predijo el fallo cuando el nuevo piloto en realidad tuvo éxito, y predijo el éxito cuando el nuevo piloto en realidad falló. El parche de código que el nuevo piloto escribió realmente no se parecía en nada al parche que el método de reproducción predijo; eran esencialmente no relacionados.

Además, los investigadores descubrieron que el "ruido" en el sistema depende en gran medida de cómo se ejecutan los modelos. Incluso utilizando el mismo modelo dos veces, los resultados no siempre eran idénticos. Si el modelo se servía usando un tipo de compresión de hardware (FP8), las ejecuciones de "control" (donde no hubo cambio) divergían el 90% de las veces. Pero con un método de compresión diferente (AWQ), las ejecuciones se mantenían casi idénticas. Esto significa que incluso la base de comparación es inestable, haciendo que el método de "reproducción" sea aún menos fiable.

El artículo concluye que la forma actual de probar el enrutamiento de IA está puntuando el mundo equivocado. El método de "reproducción" es como juzgar a un chef leyendo una receta que escribió ayer, ignorando el hecho de que los ingredientes en la cocina han cambiado. El autor sugiere que para comprender verdaderamente cómo enrutar agentes de IA, debemos dejar de pretender que el futuro es fijo y empezar a probar ejecutando los agentes en realidades paralelas y ramificadas. Han publicado sus herramientas y datos para que otros dejen de adivinar y empiecen a ver la forma verdadera, caótica y fascinante en que estos agentes de IA se comportan realmente cuando las reglas del juego cambian.

Resumen Técnico: La Brecha de Replay en el Enrutamiento de Modelos Agénticos

Declaración del Problema
El enrutamiento de modelos para Modelos de Lenguaje Extensos (LLMs) ha evolucionado desde la selección de consultas de un solo turno hacia la toma de decisiones por paso dentro de agentes de múltiples pasos (por ejemplo, ingeniería de software, uso de herramientas). Las metodologías de evaluación actuales para estos "enrutadores agénticos" dependen de un replay estático: registrar las trayectorias generadas por un modelo base y simular la decisión de un enrutador sustituyendo la salida registrada de un modelo diferente en un paso específico, asumiendo que el resto de la trayectoria permanece inalterada.

Este artículo argumenta que esta suposición es fundamentalmente errónea para los agentes. A diferencia de las consultas de un solo turno, las trayectorias de los agentes forman un bucle cerrado donde una acción en el paso $k$ determina directamente la observación en el paso $k+1$ . El replay estático trata implícitamente la trayectoria como un bucle abierto, ignorando que el cambio de modelo altera la distribución de estados, lo que conduce a acciones futuras divergentes. El artículo postula que los benchmarks basados en replay "puntúan el mundo equivocado" porque los estados contra los que evalúan nunca ocurren realmente en el escenario contrafáctico.

Metodología: Rollouts de Ramificación (Branching Rollouts)
Para medir la magnitud y la estructura de esta divergencia, el autor introduce un protocolo de branching-rollout que va más allá del replay estático hacia la evaluación contrafáctica:

Configuración: Los experimentos utilizan el scaffold mini-SWE-agent en el conjunto de datos SWE-bench Verified. El entorno es un bucle ReAct mínimo de solo bash con un presupuesto de 50 pasos y un contexto de 28k tokens.
Modelos: Se utilizan dos modelos: uno pequeño (S: Qwen3-4B-Instruct, cuantizado en FP8) y uno grande (L: Qwen3-14B, cuantizado en AWQ). Ambos son servidos por vLLM a temperatura 0 en una única GPU de 24GB.
Protocolo de Bifurcación (Forking):
- Se ejecuta una trayectoria base hasta su terminación.
- En puntos de bifurcación controlados (30% y 70% de la longitud de la trayectoria), el proceso se bifurca en un nuevo contenedor Docker.
- Fidelidad de Replay: El prefijo de la acción pre-bifurcación se re-ejecuta en el nuevo contenedor para asegurar que el estado del entorno coincida con la trayectoria base (verificado con un acuerdo de código de retorno del 99.99%).
- Semilla (Seeding): El historial de mensajes se siembra con el prefijo registrado para que el modelo de la rama vea exactamente el mismo contexto.
- Brazos (Arms): Cada punto de bifurcación genera dos brazos: un brazo de intercambio (swap arm) (cambiando al otro modelo) y un brazo de control del mismo modelo (same-model control arm) (continuando con el modelo base). El brazo de control aísla el ruido de muestreo, procesamiento por lotes y el replay del entorno, lo que permite al autor atribuir la divergencia específicamente al cambio de modelo.
Escala: El estudio comprende seis pares de ejecuciones (variando dificultad y dirección del intercambio), produciendo aproximadamente 900 rollouts y 717 pares de ramas puntuados.

Contribuciones Clave

Metodología: Un soporte reproducible para la evaluación contrafáctica de cambios de modelo paso a paso mediante ramificación en vivo, emparejado con controles del mismo modelo para aislar el ruido.
Cuantificación de la Brecha de Replay: Evidencia empírica de que los intercambvos de modelos causan una divergencia inmediata y significativa, invalidando el replay estático.
Perspectivas Estructurales: Caracterización de cómo la divergencia depende de la profundidad de la bifurcación (temprana vs. tardía) y la dirección del intercambio (mejora vs. degradación).
Auditoría de Determinismo: Una demostración de que el determinismo de "temperatura-0" depende de la configuración, con algunos stacks de servicio (FP8) introduciendo un ruido significativo incluso en los controles del mismo modelo.

Resultados Clave

Divergencia a Nivel de Acción: Los intercambios reescriben entre el 61% y el 94% de las acciones posteriores a la bifurcación. La distancia de edición normalizada entre los brazos de intercambio y los controles emparejados oscila entre +0.25 y +0.66 (los intervalos de confianza del 95% excluyen el cero).
Divergencia Inmediata: El 74–77% de los intercambios tempranos divergen en la mismísima primera acción post-bifurcación, en comparación con solo el 6–35% de las bifurcaciones de control.
Invalidación de los Estados de Replay: Para los intercambios tempranos, un evaluador de replay estático puntuaría entre el 92% y el 97% de las decisiones post-bifurcación contra estados que nunca ocurren (solo el 3–8% de los estados de replay siguen siendo válidos).
Cambios de Resultado (Outcome Flips): Todos los cinco cambios de resultado observados (instancias donde el estatus de la solución cambió debido al intercambio) ocurrieron exclusivamente en los brazos de intercambio. Cero cambios ocurrieron en las 359 bifurcaciones de control. Específicamente, las mejoras rescataron instancias no resueltas, y una degradación causó la pérdida de la única instancia resuelta. El replay estático no pudo predecir ninguno de estos resultados relevantes para el éxito.
Similitud de Parches: Los parches predichos por un evaluador de replay de unión de logs (log-stitching) tuvieron una similitud de 0.00–0.11 con los parches reales producidos por el modelo intercambiado.
Piso de Ruido: Incluso los controles del mismo modelo no son perfectamente deterministas. Los controles servidos por FP8 divergieron en el 90–96% de las bifurcaciones (distancia de edición 0.49–0.67), mientras que los controles servidos por AWQ permanecieron casi idénticos (distancia de edición 0.16–0.23).
Impuesto de Exhaustividad (Thoroughness Tax): Bajo presupuestos ajustados, el modelo más fuerte (14B) agotó su presupuesto de pasos sin enviar una solución con más frecuencia que el modelo más débil (4B), lo que sugiere un "impuesto de exhaustividad" que los enrutadores conscientes del presupuesto deben considerar.

Significancia y Reivindicaciones
El artículo afirma que los benchmarks de replay puntúan el mundo equivocado para el enrutamiento agéntico. La ceguera estructural del replay estático le impide observar los cambios de resultado y evaluar decisiones contra estados válidos.

Para la Evaluación: El autor afirma que los benchmarks de enrutamiento agéntico deben adoptar una evaluación en vivo o ramificada. Proporcionan su soporte y dataset como un punto de partida para validar estimadores fuera de política (por ejemplo, importancia de muestreo, estimadores doblemente robustos), los cuales se proponen como correcciones necesarias para el desplazamiento de la distribución.
Para las Políticas de Enrutamiento: Los resultados sugieren que la posición y dirección de la bifurcación son características críticas: las transferencias deben ocurrir tarde para las degradaciones (para heredar el trabajo completado) y temprano para las mejoras (para capitalizar decisiones inmediatas).
Modestia: El autor establece explícitamente que sus hallazgos se basan en un piloto controlado (un scaffold, stacks de cuantización específicos, tasas de resolución bajas) y no pretenden demostrar el desorden de ranking de extremo a extremo en "regímenes competentes" todavía. Encuadran su trabajo como el establecimiento de la invalidación de los inputs para la evaluación de replay, en lugar de probar una estrategia de enrutamiento específica que sea superior. El artículo concluye que el signo del resultado (el replay es erróneo) es uniforme, pero la magnitud del error en regímenes de alto rendimiento requiere mayor validación.

Resumen Técnico: La Brecha de Replay en el Enrutamiento de Modelos Agénticos

Más como este