Resumen Técnico: AGENTLENS: Revelando el Problema del "Pase Afortunado" en la Evaluación de Agentes SWE

1. Declaración del Problema

La evaluación actual de los agentes de Ingeniería de Software (SWE) está dominada por una señal binaria: si el parche final supera la suite de pruebas (por ejemplo, SWE-bench). Esta visión centrada únicamente en el resultado trata una solución principista y eficiente y un proceso caótico de ensayo y error como equivalentes. Los autores argumentan que esta equivalencia es empíricamente falsa e insuficiente para evaluar el comportamiento de los agentes.

Específicamente, el artículo identifica el problema del "Pase Afortunado": un subconjunto de trayectorias exitosas que alcanzan un parche correcto mediante procesos débiles, frágiles o ineficientes. Estos incluyen:

• Ciclos de regresión: Repetir fallas y reintentar ediciones similares.
• Reintentos ciegos: Repetir acciones sin nueva información.
• Falta de verificación: Aplicar correcciones sin ejecutar pruebas.
• Exploración temporalmente desordenada: Realizar pasos de verificación antes de la implementación o explorar archivos irrelevantes después de que una corrección ha sido verificada.

El artículo postula que tratar todas las trayectorias que pasan como datos de supervisión igualmente valiosos (como se hace en conjuntos de datos como SWE-Gym) es un proxy tosco para la calidad de la demostración. Además, a medida que los modelos convergen en métricas de tasa de éxito, la calidad del proceso se convierte en un eje necesario para la comparación de modelos y la evaluación de riesgos, ya que los agentes que tienen éxito mediante ensayo y error pueden comportarse de manera impredecible en despliegues complejos del mundo real.

2. Metodología: El Marco AGENTLENS

Los autores presentan AGENTLENS, un marco para la evaluación a nivel de proceso de las trayectorias de agentes SWE. Opera en cuatro etapas:

A. De Registros Crudos a Estados Etiquetados

Los registros crudos de los agentes se analizan en secuencias de estados estructurados. Cada estado se asigna una etiqueta de etapa-intención de cuatro fases cognitivas:

1. Exploración (E): Lectura de archivos, búsqueda, listado de directorios.
2. Implementación (I): Edición o creación de archivos de código fuente.
3. Verificación (V): Ejecución de pruebas, comprobación de errores, relectura de archivos editados.
4. Orquestación (O): Pasos de contabilidad y razonamiento.

Crucialmente, AGENTLENS emplea un etiquetador de etapas-intención sensible al contexto. A diferencia de enfoques ingenuos que etiquetan acciones basándose únicamente en la identidad de la herramienta (por ejemplo, asumir que grep es siempre exploración), este etiquetador utiliza el historial de la trayectoria. Por ejemplo, grep se etiqueta como Exploración antes de que se escriba un parche, pero como Verificación si se realiza después de un paso de implementación para verificar un cambio específico. Esto resuelve ambigüedades en comandos de terminal, validado con un $\kappa$ de Fleiss = 0.933 entre siete anotadores.

B. Construcción de una Referencia PTA

En lugar de comparar una trayectoria candidata con una sola traza de referencia, AGENTLENS construye un Aceptador de Árbol de Prefijos (PTA) a partir de $k \ge 2$ trayectorias exitosas para la misma tarea.

• Fusión: Los prefijos compartidos se fusionan en nodos comunes.
• Ramificación: Las estrategias divergentes pero exitosas forman ramas.
• Resultado: El PTA es un Grafo Acíclico Dirigido (DAG) que codifica un espacio de estrategias de solución "conocidamente buenas" en lugar de un único ejemplo. Esto permite al sistema reconocer rutas alternativas válidas mientras señala desviaciones de los procesos exitosos conocidos.

C. Puntuación de Trayectorias Candidatas

Una trayectoria candidata se puntúa contra el PTA a nivel de tarea utilizando cuatro señales complementarias, combinadas en una puntuación de calidad de 0 a 100:

1. Alineación Estructural ($\Phi_{struct}$): Mide si la candidata visita los estados del PTA en el orden aproximadamente correcto (recuerdo ordenado + precisión no ordenada).
2. Cobertura de Conjuntos ($\Phi_{cov}$): Mide la fracción de estados del PTA coincidentes con la candidata, independientemente del orden.
3. Coherencia de la Trayectoria ($\Phi_{coh}$): Resume la secuencia de etapas-intención, recompensando el progreso forward (por ejemplo, $E \to I \to V$) y penalizando los retrocesos y reintentos ciegos.
4. Similitud del Perfil Temporal ($\Phi_{temp}$): Compara la distribución de etapas a través de segmentos tempranos, medios y tardíos de la trayectoria contra el PTA utilizando la divergencia de Jensen-Shannon.

La puntuación final es una suma ponderada:
$$f(\tau_c, G) = 0.20 \cdot \Phi_{struct} + 0.15 \cdot \Phi_{cov} + 0.30 \cdot (100 \cdot \Phi_{coh}) + 0.35 \cdot (100 \cdot \Phi_{temp})$$
Las señales conductuales (Coherencia y Perfil Temporal) llevan el 65% del peso, reflejando que la cobertura estructural y la calidad del proceso a menudo fallan en diferentes trayectorias.

D. Informes y Clasificación por Niveles

Las trayectorias se clasifican en niveles basados en su puntuación compuesta:

• Ideal ($\ge 70$): Principista, bajo desperdicio, bien ordenado.
• Sólido ($47 \le puntuación < 70$): Imperfecto pero coherente.
• Afortunado ($< 47$): Procesos débiles que casualmente pasan (por ejemplo, ciclos de regresión, reintentos ciegos).
• Fallo parcial / Fuera de ruta: Para trayectorias fallidas.

El sistema también genera informes estructurados de ineficiencia, localizando el "desperdicio" (bucles de regresión, reintentos ciegos, pasos redundantes, exploración innecesaria, patrones cíclicos) en pasos específicos de la trayectoria.

3. Contribuciones Clave

1. AGENTLENS-Bench: El primer conjunto de datos de trayectorias de agentes SWE anotado a nivel de proceso. Contiene 1.815 trayectorias de 47 tareas verificadas de SWE-bench, con puntuaciones de calidad, anotaciones de desperdicio, metadatos de divergencia y PTAs de verdad fundamental.
2. El Hallazgo del Pase Afortunado: Los autores demuestran que el 10,7% de las trayectorias que pasan son "Pases Afortunados". Estos se descomponen en cinco mecanismos recurrentes:
   • Mínimo y No Verificado (15,6%): Corto, sin verificación.
   • Convergencia por Fuerza Bruta (34,4%): Alto desperdicio, baja coherencia.
   • Implementación Incompleta (33,6%): Correcciones parciales que pasan debido a brechas en las pruebas.
   • Exploración Excesiva (4,1%): Largo, sin foco.
   • Divergente pero Válido (12,3%): Enfoques válidos alternativos.
3. Etiquetado de Intención Sensible al Contexto: Un etiquetador validado que resuelve la ambigüedad entre exploración y verificación en comandos de terminal, logrando un 96,0% de acuerdo crudo.
4. Referencias de Proceso Basadas en PTA: Un método para fusionar múltiples soluciones exitosas en un espacio de referencia de estrategias conocidas como buenas, permitiendo la puntuación de nuevas trayectorias contra un conjunto diverso de comportamientos correctos.
5. Herramientas de Código Abierto: Lanzamiento del SDK de AGENTLENS y la interfaz web, que soportan trazas ATIF y OpenHands sin requerir llamadas a LLM para la puntuación.

4. Resultados

El marco fue evaluado en 2.614 trayectorias de ocho backends de modelos (incluyendo GPT-4.1, GPT-4o, Claude Opus y Gemini 2.5 Pro) en 60 tareas verificadas de SWE-bench.

• Distribución de Trayectorias que Pasan: Entre 1.136 trayectorias que pasaron, el 20,2% fueron Ideales, el 69,1% Sólidas y el 10,7% Afortunadas.
• Discrepancia en la Clasificación de Modelos: La puntuación consciente del proceso altera significativamente las clasificaciones de los modelos en comparación con la tasa de éxito sola.
  • Ejemplo: GPT-4o se clasifica en 8.º lugar por tasa de éxito pero en 3.º lugar por puntuación de calidad.
  • Ejemplo: Claude Opus 4.6 se clasifica en 3.º lugar por tasa de éxito pero en 6.º lugar por puntuación de calidad, con una tasa de Afortunados del 18,7% (la más alta entre los modelos de primer nivel).
  • Las tasas de Afortunados entre modelos oscilan entre 0,5% (Opus 4.5) y 23,2% (GPT-4.1).
• Especificidad de la Taxonomía: Existe una asociación significativa entre el tipo de modelo y la categoría de Pase Afortunado ($\chi^2(28) = 102,47, p < 0,0001$). Por ejemplo, Opus 4.6 produce desproporcionadamente pases "Mínimos y No Verificados", mientras que GPT-4.1 domina las categorías de "Fuerza Bruta" y "Exploración Excesiva".
• Poder Discriminativo: La puntuación compuesta separa las trayectorias que pasan y las que fallan con un AUROC de 0,766 ($p=0,0017$). Ninguna señal individual alcanzó significancia estadística por sí sola, destacando la necesidad de fusionar señales estructurales y conductuales.
• Implicaciones de Costo: Los Pases Afortunados incurren en costos computacionales significativamente más altos. Las trayectorias de "Fuerza Bruta" cuestan ~25 veces más tokens que las "Mínimas", y la "Exploración Excesiva" cuesta ~40 veces más, a pesar de recibir etiquetas binarias idénticas de éxito/fracaso.

5. Significado y Afirmaciones

El artículo afirma que AGENTLENS proporciona una capa necesaria de evaluación más allá de los resultados binarios. Su significado radica en tres áreas:

1. Curación de Datos: Cuestiona la práctica de filtrar datos de entrenamiento únicamente por tasa de éxito, mostrando que las trayectorias "exitosas" varían enormemente en calidad. El uso de trayectorias "Afortunadas" de baja calidad para supervisión puede reforzar comportamientos frágiles.
2. Comparación de Modelos: Ofrece un nuevo eje para comparar modelos. A medida que los modelos convergen en altas tasas de éxito, la capacidad de resolver tareas mediante procesos coherentes y de bajo desperdicio se convierte en un diferenciador. El artículo demuestra que la clasificación por puntuación de calidad puede desplazar las posiciones de los modelos hasta en cinco rangos.
3. Riesgo de Despliegue: Destaca que los agentes que tienen éxito mediante ensayo y error pueden ser impredecibles en entornos con pruebas costosas o acciones irreversibles. Al exponer los "Pases Afortunados", AGENTLENS ayuda a los profesionales a identificar modelos que dependen de una exploración frágil en lugar de un razonamiento principista.

Los autores posicionan a AGENTLENS no como un reemplazo de las comprobaciones de corrección funcional, sino como una herramienta diagnóstica complementaria para mejorar la evaluación, el análisis y el entrenamiento de agentes de ingeniería de software. Lanzan el conjunto de datos y las herramientas para hacer del análisis consciente del proceso un componente estándar del pipeline de evaluación de agentes SWE.