Beyond Resolution Rates: Behavioral Drivers of Coding Agent Success and Failure

Resumen Técnico: Conductores Conductuales del Éxito y Fracaso de Agentes de Codificación

1. El Problema

Los agentes de codificación, que combinan la capacidad de razonamiento de los Modelos de Lenguaje Grande (LLM) con bucles de interacción aumentados por herramientas, representan un nuevo paradigma en la ingeniería de software automatizada. A pesar de su rápido crecimiento, estos sistemas siguen siendo poco fiables: incluso los agentes basados en LLM de mayor rendimiento fallan en más del 20% de las tareas en el benchmark SWE-bench Verified.

El problema central identificado por los autores es la falta de una comprensión sistemática de por qué (causas raíz) y cómo (proceso conductual) fallan estos agentes. La literatura existente se centra principalmente en métricas de resultado (tasas de resolución) o en correlaciones simples (como la longitud de la trayectoria), sin controlar adecuadamente la dificultad de la tarea ni disociar la capacidad del modelo (LLM) del diseño del marco de trabajo (Framework). Esto limita la capacidad de mejorar los agentes, ya que no se entienden los mecanismos subyacentes del fallo.

2. Metodología

Los autores realizaron un estudio empírico a gran escala con un diseño controlado riguroso:

• Datos: Se analizaron 9,374 trayectorias generadas por 19 agentes distintos.
• Composición de Agentes: Los agentes abarcan 8 frameworks (incluyendo SWE-agent, OpenHands, Trae, etc.) y 14 LLMs diferentes (variantes de Claude, GPT, Kimi, Qwen, etc.).
• Tareas: Todos los agentes intentaron resolver las mismas 500 tareas del conjunto de datos SWE-bench Verified (bugs reales de 12 repositorios de Python).
• Diseño Experimental:
  • Matriz Completa: Al tener cada agente intentar cada tarea, los autores pudieron realizar comparaciones dentro de la misma tarea (controlando la dificultad) y dentro del mismo agente (controlando la capacidad del modelo).
  • Codificación de Trayectorias: Se desarrolló un esquema de codificación enriquecido con 13 símbolos que capturan tanto la acción del agente como la respuesta del entorno (ej. P para parche limpio, Ps para error de sintaxis, Vp para validación exitosa).
  • Extracción de Características: Se extrajeron 90 características a nivel de tarea (complejidad del parche, demanda de pruebas, calidad del prompt, metadatos).
  • Análisis Estadístico: Se utilizaron pruebas no paramétricas (Mann-Whitney U, Wilcoxon) y tamaños del efecto (Cliff's $\delta$) para comparar trayectorias de éxito y fracaso bajo diferentes controles.

3. Contribuciones Clave y Resultados

El estudio responde a tres preguntas de investigación (RQ) principales:

RQ1: ¿Por qué fallan los agentes en ciertas tareas?

• Hallazgo: La complejidad del parche (número de líneas cambiadas) no explica la dificultad.
• Evidencia: Se identificaron 12 tareas "fáciles" (parches de un solo archivo, $\le$10 cambios, etiquetadas como fáciles por humanos) que ninguno de los 19 agentes pudo resolver.
• Causa Raíz: El fallo no se debe a la falta de herramientas o pasos, sino a una brecha en el razonamiento arquitectónico. Los agentes localizan correctamente el archivo y proponen soluciones plausibles, pero intervienen en el nivel arquitectónico incorrecto (parchean el síntoma en lugar de la causa raíz). Por ejemplo, intentan arreglar el comportamiento de visualización en lugar de la serialización de datos, o viceversa.
• Implicación: Escalar el tamaño del modelo o entrenar con más código no es suficiente; se necesitan mecanismos explícitos para razonar sobre los límites de los componentes y las dependencias causales.

RQ2: ¿Cómo diferencian los patrones conductuales el éxito del fracaso?

• La Longitud es Ambigua: La correlación reportada previamente ("las trayectorias fallidas son más largas") es un confundidor.
  • Si se fija el agente y se varía la tarea, los fallos son más largos (porque fallan en tareas más difíciles).
  • Si se fija la tarea y se varía el agente, las trayectorias exitosas son más largas (los agentes exitosos invierten más pasos en explorar y validar).
• Estructura vs. Longitud: Lo que realmente discrimina el éxito es la estructura de la trayectoria:
  1. Recolección de Contexto: Los agentes que leen/exploran antes de editar tienen mayor tasa de éxito.
  2. Intensidad de Parcheo: Los agentes que parchean prematuramente (en los primeros 10 pasos) fallan más.
  3. Esfuerzo de Validación: Invertir pasos en ejecutar pruebas y validar correcciones correlaciona positivamente con el éxito.
• Estrategias Fijas: Estas estrategias son determinadas por el agente, no adaptativas a la tarea. Los agentes aplican el mismo patrón (ej. "parchear primero" o "leer primero") independientemente de la complejidad de la tarea.

RQ3: ¿Qué impulsa el éxito: la capacidad del LLM o el diseño del Framework?

• Dominancia del LLM: La capacidad del LLM es el principal motor tanto del resultado como del comportamiento.
  • Dos agentes que comparten el mismo LLM (pero usan frameworks diferentes) coinciden en el resultado (éxito/fracaso) en un 85-93% de las tareas.
  • Dos agentes que comparten el mismo framework (pero usan LLMs diferentes) coinciden solo en un 47-88% de las tareas.
• Convergencia de Frameworks: A medida que los LLMs mejoran (ej. de Claude 3.5 a Claude 4), la brecha de rendimiento entre diferentes frameworks se reduce drásticamente (de 19.4 puntos porcentuales a menos de 1 punto).
• Influencia del Prompt: Los prompts del sistema (que pueden variar de 350 a 5,600 caracteres) influyen en las herramientas utilizadas, pero no en el esfuerzo total ni en el resultado final para LLMs fuertes. Los LLMs más capaces desarrollan sus propias estrategias y son menos sensibles a la instrucción explícita del framework.

4. Significado e Implicaciones

Este estudio tiene profundas implicaciones para la investigación y la práctica en ingeniería de software automatizada:

1. Reevaluación de Métricas: La longitud de la trayectoria no debe usarse como indicador único de fallo. Se deben priorizar métricas estructurales (orden de lectura/parcheo/validación).
2. Diseño de Agentes: La investigación debe centrarse en mejorar el razonamiento arquitectónico de los LLMs (entender la causalidad y los límites del sistema) en lugar de solo optimizar la orquestación de herramientas.
3. Selección de Tecnología: Para los practicantes, invertir en un LLM más capaz ofrece un retorno de inversión mayor que cambiar el framework de orquestación.
4. Eficiencia de Prompts: Para modelos de alto rendimiento, los prompts extensos y detallados pueden ser contraproducentes (añaden sobrecarga sin mejorar resultados), sugiriendo que los prompts "lean" (minimalistas) son preferibles.
5. Detección Temprana: Los sistemas de monitoreo podrían detectar fallos potenciales observando si un agente comienza a parchear sin explorar o entra en bucles de validación fallida en los primeros pasos.

En conclusión, el artículo demuestra que el cuello de botella actual no es la infraestructura del agente, sino la capacidad de razonamiento profundo del modelo subyacente para comprender la arquitectura del software, y que el comportamiento exitoso sigue patrones estructurales específicos que son inherentes al modelo, no al marco de trabajo.