Resumen Técnico: El Benchmarking del Residuo

Planteamiento del Problema

Los benchmarks de largo horizonte para agentes de modelos de lenguaje demuestran consistentemente que las tasas de éxito disminuyen a medida que las tareas se extienden en longitud. Sin embargo, el artículo argumenta que un descenso bruto en el rendimiento de extremo a extremo es insuficiente para diagnosticar los mecanismos de fallo subyacentes. Una menor tasa de éxito en una tarea larga puede ser simplemente el resultado de un error por acumulación ordinaria (la probabilidad estadística de fallo que aumenta con el número de etapas independientes) en lugar de una limitación específica de "largo horizonte" como la degradación del contexto, la contaminación del estado o el colapso de la planificación.

Los benchmarks actuales suelen confundir tres fuentes distintas de degradación del rendimiento:

1. Acumulación de Errores: Más etapas crean más oportunidades de fallo, incluso si las etapas individuales no cambian su dificultad.
2. Trabajo Local más Difícil: Las tareas más largas pueden contener inherentemente etapas más ambiguas o especializadas.
3. Dependencia de la Historia/Estado: El contexto acumulado, las salidas de herramientas o los errores previos hacen que los pasos subsiguientes sean más difíciles (denominado degradación inducida por la trayectoria o podredumbre del contexto).

Sin distinguir estos factores, una curva de rendimiento descendente no puede identificar si un agente falla porque la tarea es larga, porque las etapas son difíciles o porque su historial degrada activamente su desempeño futuro.

Metodología

El artículo propone un marco de diagnóstico centrado en el Residuo de Horizonte ($\Gamma_H$), una métrica que compara el rendimiento real de extremo a extremo frente a una predicción base derivada de evaluaciones de etapas cortas emparejadas.

1. Descomposición y Checkpoints

La metodología requiere una descomposición preespecificada de una tarea larga en etapas semánticas verificables (por ejemplo, "encontrar error", "actualizar API") en lugar de conteos de turnos arbitrarios.

• Checkpoints: El agente desplegado (modelo, prompt, herramientas, memoria) se ejecuta desde checkpoints declarados. Un checkpoint incluye el estado específico del entorno, el historial visible, la información revelada y el presupuesto local.
• Probabilidades Condicionales ($q_i$): Para cada etapa $i$, se mide la probabilidad de éxito dado que todas las etapas previas requeridas fueron completadas y el agente comenzó desde el checkpoint declarado: $q_i = \Pr(S_i = 1 \mid S_{<i} = 1, I)$.

2. La Base de Producto ($P_{expected}$)

Utilizando la regla de la cadena, el artículo construye una predicción de base auditable para la tasa de éxito de la tarea completa mediante la multiplicación de las probabilidades de las etapas condicionales:
$$P_{expected} = \prod_i q_i$$
Esta base asume que si el agente puede tener éxito en cada etapa de forma independiente bajo condiciones emparejadas, el éxito de la tarea completa debería ser el producto de esas probabilidades. El artículo reconoce que este es un "modelo nulo" que puede no tener en cuenta la recuperación, las rutas de ramificación o los cambios de estado, y sugiere extensiones (por ejemplo, simuladores de checkpoints) para tareas heterogéneas.

3. El Residuo de Horizonte ($\Gamma_H$)

La métrica central es la razón logarítmica entre el éxito esperado (de la base) y el éxito observado ($P_{observed}$) de un despliegue natural de extremo a extremo:
$$\Gamma_H = \log \left( \frac{P_{expected}}{P_{observed}} \right)$$

• $\Gamma_H > 0$: El despliegue natural funciona peor que la predicción de la etapa corta emparejada, lo que indica un desajuste (potencial degradación inducida por la trayectoria).
• $\Gamma_H \approx 0$: El despliegue natural se alinea con la predicción, lo que sugiere que el declive del rendimiento se debe a la acumulación de errores ordinaria.
• $\Gamma_H < 0$: El despliegue natural supera la predicción (por ejemplo, debido a mecanismos de retroalimentación o recuperación omitidos en la base).

4. Anotaciones Estructurales

Para separar la estructura de la tarea de la dificultad local, el artículo aboga por reportar dos anotaciones complementarias:

• Exposición de Trabajo ($N_{work}$): El número de etapas requeridas y verificables por separado.
• Profundidad de Dependencia ($H_{dep}$): La profundidad de la cadena de dependencia más larga requerida.
  Esto permite a los benchmarks distinguir entre tareas que son "largas" debido al volumen (muchos pasos independientes) frente a tareas que son "largas" debido a una profunda dependencia entre etapas.

Contribuciones Clave

1. Distinción Diagnóstica: El artículo argumenta que se debe tratar el declive de rendimiento bruto como un resultado descriptivo de despliegue y el Residuo de Horizonte como un diagnóstico separado y dependiente del protocolo. Afirma que una afirmación de "fallo de largo horizonte" requiere evidencia de que el despliegue completo difiere de una base construida a partir de etapas cortas emparejadas.
2. Propuesta de Base Auditable: Propone una base de producto simple y auditable ($P_{expected}$) y describe extensiones (modelos condicionales, simuladores de checkpoints) para tareas con ramificación o recuperación. Enfatiza que la base debe ser declarada antes de evaluar el desplieg la natural.
3. Agenda de Reporte e Intervención: El artículo articula requisitos de reporte específicos (descomposición, estados de checkpoint, presupuestos) y una agenda de intervención. Postula que el residuo no es una explicación causal, sino una señal para dirigir experimentos dirigidos (por ejemplo, reinicio de historial, reparación de estado, compresión de contexto) para identificar el mecanismo específico de fallo.

Resultados y Evidencia

El artículo no presenta nuevos resultados experimentales, sino que sintetiza la literatura existente para demostrar la necesidad de este marco:

• SWE-Milestone vs. Ejecución Continua: Los hitos independientes suelen mostrar >80% de éxito, mientras que la evolución continua sobre el mismo código base cae a ~38%. El artículo señala que sin la composición de las puntuaciones independientes en una cadena de contrafactuales, esta brecha es ambigua.
• ChainSWE: Muestra una caída del 58.9% de precisión (estado previo con oráculo correcto) al 36.5% (estado previo generado por el agente), ilustrando el valor de la reparación de estado, pero señalando la falta de una predicción de cadena compuesta.
• SWE-Marathon: Muestra que la compactación de contexto correlaciona con el fallo, pero sin intervenciones emparejadas, no está claro si la compactación causa el fallo o simplemente marca trayectorias fallidas.
• Illusion: Las manipulaciones controladas del historial muestran que los errores en el historial previo reducen la precisión subsiguiente, aislando el contenido sobre la longitud.

El artículo revisa benchmarks representativos (SWE-EVO, NL2Repo-Bench, SWE-Chain, etc.) y concluye en la Tabla 4 que ningún estudio existente implementa la secuencia completa: medición local emparejada, composición declarada, despliegue natural, manejo de compatibilidad de estado, intervención dirigida y análisis de sensibilidad del protocolo.

Significancia y Reivindicaciones

La significancia del artículo radica en reencuadrar el "más largo es más difícil" de una observación descriptiva a un programa de investigación auditable.

• Despliegue vs. Diagnóstico: Clarifica que los benchmarks de despliegue preguntan si un sistema tiene éxito, mientras que los de diagnóstico preguntan por qué falla. El Residuo de Horizonte une ambos mediante la cuantificación de la brecha entre la competencia local y el rendimiento global.
• Disciplina Causal: Los autores afirman que el residuo no es una respuesta causal. Un residuo positivo solo indica un desajuste con la base elegida. Dirige a los investigadores hacia hipótesis específicas (por ejemplo, "¿Es podredumbre del contexto?") que luego deben probarse mediante intervenciones dirigidas.
• Falsabilidad: La posición es falsable si:
  1. El signo de $\Gamma_H$ es inestable a través de protocolos admisibles.
  2. Los checkpoints emparejados no pueden construirse a un costo manejable.
  3. El residuo no proporciona información diagnóstica incremental más allá de las comparaciones existentes entre persistente y reiniciado.

En última instancia, el artículo sostiene que hasta que una curva descendente no vaya acompañada de una predicción compositiva preespecificada y el residuo resultante, las afirmaciones sobre los mecanismos de largo horizonte carecen de licencia. El marco convierte la observación del fallo en una investigación estructurada de la historia, el estado, la información y la recuperación.