Resumen Técnico: Qué mide realmente la evaluación de procesos de los agentes de codificación

1. Planteamiento del problema

Las evaluaciones actuales de los agentes de codificación basados en Modelos de Lenguaje Extensos (LLM) se centran cada vez más en el proceso —cómo un agente ejecuta una tarea— en lugar de solo en el resultado final. Sin embargo, el artículo argumenta que las evaluaciones de nivel de proceso existentes están conceptualmente subespecificadas. A menudo confunden tres niveles de análisis distintos:

1. Nivel de Acción: Predecir la siguiente operación del agente (p. ej., "¿Qué herramienta utilizará después?").
2. Nivel de Tarea: Evaluar la incertidumbre o recuperabilidad de la ejecución global (p. ej., "¿Es esta tarea todavía resoluble?").
3. Nivel de Paso: Atribuir la contribución causal a acciones específicas (p. ej., "¿Causó este paso específico el fallo?).

El artículo postula que tratar esto como una noción única de "calidad del proceso" conduce a interpretaciones erróneas. Específicamente, los métodos estándar, como los jueces de LLM de traza completa o los modelos de recompensa de proceso, suelen condicionarse con información (como pasos futuros o resultados finales) que invalida las afirmaciones causales sobre pasos individuales. El problema central es determinar qué miden realmente estas señales de evaluación y si pueden identificar de manera fiable los efectos causales a nivel de paso.

2. Metodología: El marco SCAE

Para abordar esto, los autores introducen un marco de medición basado en un Modelo Causal Estructural (SCM) de la ejecución del agente. Lo instancian con SCAE (Estimador de Atribución Causal a Nivel de Paso), un estimador basado en la repetición (replay) diseñado para medir la evaluación de procesos en los tres niveles distintos.

2.1 Modelo Causal Estructural

La ejecución del agente se modela como:

• Variables Exógenas: Dificultad latente de la tarea ($Z$), ruido de decodificación ($G^{(t)}_\pi$) y ruido del entorno ($U^{(t)}_{env}$).
• Política: Definida mediante una formulación Gumbel-max, donde las acciones se seleccionan perturbando las probabilidades logarítmicas.
• Resultado: Un resultado terminal verificable (p. ej., la recuperación de un conjunto de archivos de referencia/oro).

2.2 Identificación y Estimación

El objetivo es estimar el efecto causal condicionado al prefijo de reemplazar una acción $a$ por $a'$ en el paso $t$:
$$\theta_t(a, a') = E[Y_{A_t=a'} - Y_{A_t=a} \mid \tau_{1:t-1}]$$
donde $\tau_{1:t-1}$ es el prefijo de ejecución realizado.

Supuestos Clave:

1. Observabilidad del Contexto: El estado es una función determinista del problema y del prefijo registrado.
2. Ruido de Decodificación Exógeno: El ruido de decodificación es independiente de la dificultad de la tarea y del ruido futuro.
3. Entorno Repetible: El entorno puede reproducirse de manera determinista a partir del estado y la acción registrados.

Estrategia de Estimación Híbrida (SCAE):
Dado que los agentes de codificación suelen exhibir un comportamiento determinista (violando el supuesto de "positividad" requerido para una estimación puramente observacional), SCAE utiliza un enfoque híbrido:

• Rama Observacional: Si la repetición del prefijo genera diversas acciones siguientes (alta entropía), el efecto se estima promediando los resultados sobre múltiples repeticiones.
• Rama de Intervención: Si la política es determinista (baja entropía), el sistema sustituye una acción alternativa, la ejecuta en el entorno real para obtener una salida de herramienta genuina y luego reproduce el resto de la trayectoria. Esto evita la fabricación de salidas de herramientas.

2.3 Niveles de Medición

El marco produce tres tipos de mediciones a partir del mismo objeto ajustado:

• Nivel de Acción: Caracteriza qué predice la siguiente operación.
• Nivel de Tarea: Mide la incertidumbre de la ejecución mediante la varianza de las continuaciones repetidas.
• Nivel de Paso: Estima los incrementos de "valor en cualquier momento" ($\Delta_t$) para atribuir la contribución causal.

3. Configuración Experimental

• Tarea: Localización de archivos (identificar archivos para modificar para un problema dado), derivada de SWE-bench-Verified.
• Datos: 499 episodios en 12 repositorios (dominados por django).
• Protocolo: Se realiza un despliegue del agente una vez. Los prefijos seleccionados se reconstruyen y las continuaciones se repiten (8 veces por punto) para estimar las funciones de valor y la incertidumbre.
• Evaluación: El estudio se centra en la fiabilidad de la medición más que en la mejora del rendimiento del agente.

4. Resultados Clave

4.1 Nivel de Acción: Proveniencia vs. Estructura de Grafo

• Hallazgo: El predictor más fuerte de la siguiente acción de un agente es su proveniencia de ejecución (los caminos y archivos que acaba de ver en las salidas de las herramientas), no el grafo de dependencia del código.
• Evidencia: En los pasos de "primera visita" (donde el archivo objetivo no ha sido visto antes), un predictor que utiliza solo la salida de la herramienta más reciente logró una precisión top-3 de 0.326. En contraste, un predictor de grafo de dependencia de código fortalecido logró solo 0.058.
• Implicación: Los agentes navegan basándose en el contexto observacional inmediato en lugar de la estructura global del repositorio.

4.2 Nivel de Tarea: La Incertidumbre es Global, No Local

• Hallazgo: La incertidumbre de la ejecución está estructurada principalmente a nivel de tarea (instancia), no a nivel de paso.
• Evidencia: La varianza en los resultados repetidos fue explicada fuertemente por la instancia específica (ICC = 0.640), pero no por la posición del paso o el tipo de herramienta. Además, 0 de 190 efectos estimados a nivel de paso sobrevivieron a la corrección de la Tasa de Falsos Descubrimientos (FDR).
• Implicación: Si una ejecución tiene éxito o falla depende en gran medida de la dificultad de la instancia de tarea específica, no del efecto acumulativo de los pasos individuales. Esto hace que la atribución causal a nivel de paso sea empíricamente inviable con costos de repetición razonables.

4.3 Nivel de Paso: Sesgo de Colisionador en Jueces de Traza Completa

• Hallazgo: Los métodos de atribución observacionales, particularmente los jueces de LLM de traza completa, sufren de sesgo de colisionador.
• Evidencia: Cuando los pasos posteriores eran visibles para el juez, el paso "culpado" se desplazó significativamente más tarde en la trayectoria (posición normalizada mediana 0.88) en comparación con cuando los pasos posteriores estaban ocultos (posición normalizada mediana 0.17). El desplazamiento medio fue de +0.537 más tarde en la posición normalizada.
• Implicación: Los jueces de traza completa no miden la contribución causal certificada. En su lugar, miden la relevancia semántica enriquecida por la evidencia posterior. Seleccionan pasos que están semánticamente relacionados con el fallo (p. ej., tocar un archivo de oro) pero están sesgados hacia el final de la trayectoria porque condicionan sobre los descendientes de la acción.

5. Contribuciones y Significancia

La principal contribución del artículo es un marco de medición que desvincula la predicción de acciones, la incertidumbre de la tarea y la atribución de pasos.

• Clarificación Conceptual: Establece que la "evaluación de procesos" no es un problema único. Las señales útiles para predecir la siguiente acción (proveniencia) o caracterizar la dificultad de la tarea (varianza de la instancia) no deben confundirse con la atribución causal a nivel de paso.
• Rigor Metodológico: Al introducir SCAE, los autores proporcionan una forma fundamentada de probar qué evaluadores de procesos pueden y no pueden identificar. Demuestran que la identificabilidad formal no garantiza la mensurabilidad empírica cuando la incertidumbre reside en el nivel de la tarea.
• Crítica a las Prácticas Actuales: El artículo proporciona evidencia empírica de que los evaluadores de procesos actuales (como los jueces de traza completa) están sistemáticamente sesgados por la información descendente, midiendo la relevancia semántica en lugar de la contribución causal.

Limitaciones y Alcance:
Los autores son modestos en sus afirmaciones. Reconocen que:

• Los hallazgos son específicos para la localización de archivos, un entorno elegido por su capacidad de repetición y resultados verificables.
• La atribución causal a nivel de paso sigue siendo empíricamente débil (con poca potencia) en este entorno, no necesariamente porque no exista, sino porque la incertidumbre es demasiado global para localizarla a costos computacionales factibles.
• La descomposición de la incertidumbre (tarea vs. política vs. modelo) se valida en datos sintéticos, no totalmente en trazas reales.

Conclusión:
El artículo concluye que la evaluación de procesos no debe tratarse como un benchmark monolítico. En su lugar, los evaluadores deben validarse contra el nivel específico que miden. Los predictores de acción pueden ser fuertes, la incertidumbre de la tarea puede estar estructurada, pero la localización causal a nivel de paso puede seguir siendo inviable en entornos prácticos. Reconocer estos niveles distintos es esencial para interpretar correctamente las señales de proceso.