Resumen Técnico: Dejar de Comparar Agentes LLM sin Revelar el Entorno de Ejecución

1. Declaración del Problema

Las prácticas actuales de evaluación para agentes de Modelos de Lenguaje Grande (LLM) en tareas de horizonte largo confunden sistemáticamente la capacidad del modelo con el rendimiento del entorno de ejecución (harness). El entorno de ejecución es la capa de infraestructura responsable de la construcción del contexto, la mediación de la interacción con herramientas, la verificación de la salida, la orquestación (lógica de reintento/escalada) y los criterios de parada.

Las tablas de clasificación estándar (por ejemplo, SWE-bench, Terminal-Bench, AgentBench) informan una única puntuación por par {modelo, prueba}, atribuyendo implícitamente el resultado exclusivamente al modelo. Este artículo argumenta que, para tareas de horizonte largo que involucran modelos de vanguardia comparables, el entorno de ejecución suele ser la restricción vinculante del rendimiento. En consecuencia, los protocolos de evaluación actuales atribuyen erróneamente las ganancias a nivel de entorno a mejoras del modelo, lo que hace que las comparaciones entre modelos sean poco fiables y potencialmente engañosas. Esta confusión surge porque:

1. Evidencia Observacional: Mantener un modelo fijo mientras se cambia únicamente la infraestructura del entorno puede producir desplazamientos de rendimiento (por ejemplo, 15 puntos porcentuales) que superan con creces las mejoras reportadas de los modelos (típicamente 2–4 puntos).
2. Realidad Estructural: Los agentes operan como sistemas dinámicos de bucle cerrado donde el entorno actúa como controlador y el LLM como una política estocástica. La fiabilidad a largo plazo depende de las propiedades del controlador (estabilidad, gestión de la deriva del contexto, retraso de control) y no solo de la capacidad bruta de la política.

2. Metodología y Marco Teórico

La Tesis de la Restricción Vinculante

El artículo formaliza la Tesis de la Restricción Vinculante: En el régimen de tareas de horizonte largo con modelos de vanguardia comparables, la varianza en las puntuaciones de las pruebas inducida por el entorno ($HV$) es a menudo comparable o mayor que la varianza inducida por la elección del modelo ($MV$).

La varianza total del rendimiento se descompone como:
$$\text{Var}(B(M, H)) = \underbrace{\text{Var}_M[E_H[B(M, H)]]}_{MV} + \underbrace{\text{Var}_H[E_M[B(M, H)]]}_{HV} + \underbrace{\text{Var}(\text{interacción})}_{\text{Interacción}}$$
La tesis afirma que $HV$ y el término de interacción dominan a $MV$ en las evaluaciones actuales.

Formalización Teórica de Control

Los autores reformulan la ejecución de agentes de un simple bucle de inferencia a un sistema dinámico de bucle cerrado:

• El LLM ($\pi_\theta$): Una política estocástica de bucle abierto que recibe una proyección de contexto $c(s_t)$ pero no tiene acceso directo al estado completo $s_t$.
• El Entorno ($C_H$): El controlador que actualiza el estado, filtra las observaciones y gestiona el bucle de retroalimentación.
• Cantidades de Fiabilidad: El entorno determina tres cantidades estructurales críticas:
  1. Estabilidad: Si el sistema realiza un progreso esperado no decreciente hacia el objetivo (medida similar a Lyapunov).
  2. Deriva del Contexto ($\delta_t$): La tasa a la que la información relevante para la tarea se pierde de la ventana de contexto.
  3. Retraso de Control ($\tau$): El retraso entre la detección de anomalías y la llegada de una señal correctiva a la política.

Enfoque Empírico

El artículo respalda la tesis mediante dos líneas de evidencia:

1. Datos Observacionales: Análisis de tablas de clasificación públicas (SWE-bench Pro, Terminal-Bench, HAL) que muestran que las variaciones "solo andamio" (cambiar el entorno mientras se fija el modelo) resultan en oscilaciones de rendimiento de dos dígitos y reversiones de clasificación.
2. Experimento Factorial Controlado: Un experimento de cuadrícula 3x3 que varía tres modelos de vanguardia (GPT-5.4, Kimi K2.6, GLM-5.1) frente a tres configuraciones distintas de entorno ($H_1$: Mínimo/Bucle abierto, $H_2$: Mejorado/Bucle cerrado básico, $H_3$: Completo/Bucle cerrado avanzado) en un subconjunto estratificado de SWE-bench Verified.

3. Resultados Clave

Evidencia Observacional

• SWE-bench Pro: Bajo un andamio estandarizado, los mejores modelos abarcan 4.9 puntos. Sin embargo, fijar el modelo (Claude Opus 4.5) y cambiar del andamio SEAL a Claude Code aumenta la puntuación en 9.5 puntos.
• Reversiones de Clasificación: Añadir un único subagente de búsqueda (WarpGrep) a una infraestructura idéntica invirtió la clasificación entre MiniMax 2.5 y Claude Opus 4.6.
• Brechas entre Andamios: En SWE-bench Verified Mini, el mismo modelo (por ejemplo, Claude Sonnet 4.5) mostró una brecha de 34 puntos entre diferentes andamios (SWE-Agent vs. HAL Generalist).

Resultados del Experimento Factorial Controlado

• Dominancia de la Varianza: La varianza inducida por el entorno ($HV$) fue 7.80 veces mayor que la varianza inducida por el modelo ($MV$).
  • Promedio $HV$: 18.48 pp²
  • Promedio $MV$: 2.37 pp²
• Desplazamientos de Rendimiento: Cambiar el entorno movió las puntuaciones entre 8.5 y 13.0 puntos porcentuales para modelos fijos, mientras que cambiar el modelo dentro de un entorno fijo movió las puntuaciones solo entre 2.5 y 5.0 puntos.
• Inestabilidad de la Clasificación: 6 de las 9 posibles comparaciones de pares de modelos/pares de entorno resultaron en reversiones de clasificación.
• Análisis de Mecanismos:
  • Las ganancias de $H_1 \to H_2$ fueron impulsadas por la reducción del ruido de control (mejor formato, recuperación, manejo de errores).
  • Las ganancias de $H_2 \to H_3$ fueron impulsadas por cerrar el bucle de verificación y recuperación (autoverificación, detección de anomalías, reversión).

4. Marco Propuesto: Evaluación Consciente del Entorno

El artículo propone un nuevo régimen de evaluación que requiere tres componentes:

1. Tarjeta de Entorno (Divulgación Estructurada): Cada envío de prueba debe incluir una divulgación organizada por la taxonomía ETCSOVG:

   • Ejecución (tiempo de ejecución, aislamiento, tiempos de espera)
   • Herramienta (lista, esquema, contratos de error)
   • Contexto (límite de ventana, compresión, recuperación, memoria)
   • Ejecución (bucle, reintento, escalada, reversión)
   • Observabilidad (registro, trazas)
   • Verificación (análisis, autoverificación, detección de anomalías)
   • Gobernanza (permisos, efectos secundarios)

2. Protocolo de Descomposición de Varianza: Las evaluaciones deberían emplear cualquiera de los siguientes:

   • Protocolo de Entorno Bloqueado: Un único entorno especificado aplicado a todos los modelos para una clasificación limpia.
   • Protocolo Factorial: Variar tanto modelos como entornos para informar $HV$, $MV$, términos de interacción y recuentos de reversiones de clasificación.

3. Métricas a Nivel de Trayectoria: Para atribuir los desplazamientos de rendimiento a capas específicas del entorno, el artículo propone:

   • Tasa de Recuperación (RR): Probabilidad de volver a un estado que avanza la tarea después de una anomalía dentro de $k$ pasos (mide Estabilidad).
   • Retención del Contexto: Fracción de archivos/restricciones relevantes para la tarea presentes en el contexto (mide Deriva).
   • Retraso de Control ($\tau$): Pasos entre la detección de anomalías y la llegada de la señal correctiva.

5. Significado y Afirmaciones

El artículo afirma que las puntuaciones de las pruebas para agentes de horizonte largo no son válidas para comparaciones entre modelos a menos que se divulgue el entorno de ejecución.

• Precisión Científica: Las tablas de clasificación actuales miden una mezcla de modelo y entorno, lo que lleva a una atribución sistemática errónea de las ganancias. Esto distorsiona los incentivos de investigación, dirigiendo la inversión hacia la escalada de modelos mientras se invierte insuficientemente en la ingeniería del entorno, que es la fuente mayor de varianza.
• Impacto Práctico: Las decisiones de implementación basadas en las clasificaciones actuales son defectuosas porque no aíslan la contribución del modelo. La "restricción vinculante" suele ser la infraestructura, no los pesos del modelo.
• Llamada a la Acción: El campo debe pasar de tratar el entorno como una variable oculta a tratarlo como una condición experimental primaria. Hasta que se divulguen las especificaciones del entorno y la descomposición de la varianza se convierta en rutina, las comparaciones de tablas de clasificación deben considerarse incompletas.

El artículo rechaza explícitamente la noción de que "modelos mejores resolverán esto", señalando que a medida que los modelos mejoran, los entornos se vuelven más complejos (por ejemplo, Claude Code rediseñando componentes en lugar de eliminarlos) para gestionar la capacidad aumentada. La solución es la divulgación estructural, no solo la estandarización o la escalada.