Resumen Técnico: CODESKILL

Enunciado del Problema

Los agentes de codificación generan trayectorias ricas y de largo horizonte al resolver tareas de ingeniería de software (SWE), las cuales contienen experiencia reutilizable que teóricamente podría guiar el comportamiento futuro. Aunque trabajos recientes han explorado mecanismos de memoria para almacenar o resumir estas trayectorias, los enfoques existentes para construir y mantener habilidades procedimentales (conocimiento compacto y reutilizable que especifica cuándo actuar y cómo) enfrentan limitaciones significativas. Los métodos actuales dependen en gran medida de prompts fijos y reglas de actualización heurísticas para determinar qué conocimiento extraer, cómo abstraerlo y cómo actualizar el banco de habilidades. Este enfoque estático falla al adaptarse a las necesidades específicas de los agentes aguas abajo, particularmente en contextos de SWE donde las trayectorias contienen retroalimentación densa y heterogénea. En consecuencia, sigue sin estar claro cómo seleccionar, abstraer y mantener óptimamente las habilidades para asegurar que sean tanto reutilizables entre tareas como accionables para decisiones concretas de agentes.

Metodología

Los autores proponen CODESKILL, un marco basado en LLM que reformula la extracción de habilidades y el mantenimiento del banco de habilidades como una política de gestión aprendible en lugar de un proceso heurístico fijo.

Arquitectura del Marco

CODESKILL gestiona un banco de habilidades $B$ compuesto por habilidades procedimentales de multi-granularidad:

1. Habilidades a nivel de tarea: Estrategias de alto nivel para familias de tareas (por ejemplo, inspección de repositorios, localización de problemas).
2. Habilidades impulsadas por eventos: Guía local para eventos de ejecución recurrentes (por ejemplo, manejo de mensajes de error específicos o fallos de comandos).

El marco opera mediante un bucle de tres componentes centrales:

• Extracción de Habilidades: Genera nuevas habilidades a nivel de tarea o impulsadas por eventos a partir de evidencia de trayectorias.
• Evolución de Habilidades: Revisa las habilidades existentes basándose en nueva evidencia de trayectorias o en fallos para abordar casos faltantes o modos de fallo.
• Mantenimiento del Banco de Habilidades: Decide si agregar, fusionar o eliminar habilidades candidatas para mantener el banco compacto y de alta calidad.

Pipeline de Entrenamiento

CODESKILL se entrena utilizando un enfoque híbrido que combina aprendizaje supervisado y aprendizaje por refuerzo (RL):

1. Calentamiento Supervisado: El modelo ($M_\theta$) se ajusta finamente sobre datos generados por un profesor (usando GPT-5.4-mini) para aprender el esquema de las operaciones de extracción, evolución y mantenimiento de habilidades.
2. Aprendizaje por Refuerzo (RL): La política se optimiza utilizando Optimización de Política Relativa de Grupo (GRPO). El bucle de entrenamiento implica:
   • Diseño de Recompensa Híbrida: La función de recompensa combina:
     • Retroalimentación Densa Basada en Rúbricas: Un LLM actuando como juez evalúa la calidad de la habilidad (fundamentación, reutilizabilidad, especificidad, accionabilidad) y la alineación del comportamiento.
     • Retroalimentación Escasa Verificable de Ejecución: El impacto de la habilidad se mide mediante la mejora del rendimiento de un agente de codificación aguas abajo congelado (por ejemplo, Qwen3.5-35B-A3B) en tareas específicas. La recompensa es la diferencia entre el éxito del agente con la habilidad versus una línea base sin habilidad.
     • Factor de Alineación: Un mecanismo para asegurar que el agente siguió realmente el flujo de trabajo de la habilidad, abordando problemas de atribución en tareas de largo horizonte.
   • Currículo de Tres Etapas: El entrenamiento progresa desde solo extracción de habilidades, a extracción + evolución, y finalmente al ciclo de vida completo incluyendo mantenimiento, permitiendo la reutilización de datos entre etapas.

Contribuciones Clave

1. Marco CODESKILL: Un sistema novedoso basado en LLM que aprende a extraer, evolucionar y mantener habilidades procedimentales reutilizables a partir de trayectorias de agentes de codificación, superando la destilación de habilidades basada en prompts estáticos.
2. Política de Gestión Aprendible: Los autores reformulan la gestión de habilidades como una política aprendible optimizada mediante RL. La función de recompensa equilibra de manera única juicios de calidad densos basados en rúbricas con retroalimentación escasa y verificable de ejecución procedente de un agente aguas abajo congelado.
3. Validación Empírica: Una evaluación exhaustiva en EnvBench, SWE-Bench Verified y Terminal-Bench 2 demuestra que la gestión aprendida de habilidades supera tanto a las líneas base sin habilidades como a las líneas base fuertes basadas en prompts o memoria.

Resultados Experimentales

Los autores evaluaron CODESKILL (instanciado con Qwen3.5-4B) frente a varias líneas base, incluyendo ejecución sin habilidades, memoria a nivel de subtarea y gestión de habilidades basada en prompts utilizando tanto backbones de código abierto (Qwen3.5-4B) como de código cerrado (GPT-5.4-mini).

• Mejoras de Rendimiento:
  • CODESKILL mejoró la tasa de éxito promedio en un 9.69% sobre la línea base sin habilidades.
  • Superó a la línea base más fuerte basada en prompts o memoria en un 4.01% (una ganancia relativa de ~11%).
  • Las ganancias fueron consistentes en tareas dentro del dominio (EnvBench, SWE-Bench) y fuera de la distribución (Terminal-Bench 2).
• Eficiencia: CODESKILL redujo el número promedio de pasos de razonamiento en instancias resueltas (de 44.12 a 35.15 bajo la política Qwen3.5-35B-A3B), indicando que la guía procedimental recuperada ayuda a los agentes a alcanzar soluciones de manera más directa.
• Generalización: La política aprendida se generalizó efectivamente a un agente aguas abajo congelado diferente (GPT-5.4-mini), sugiriendo que el comportamiento de gestión de habilidades no está sobreajustado a un solucionador específico.
• Estudios de Ablación:
  • Tanto las habilidades a nivel de tarea como las impulsadas por eventos contribuyeron con conocimiento complementario.
  • El ciclo de vida completo (incluyendo mantenimiento) redujo el tamaño del banco de habilidades en casi la mitad (de 1,252 a 676 habilidades) mientras preservaba la mayor parte de la utilidad aguas abajo, demostrando un control efectivo de la redundancia.
  • El ajuste fino supervisado (SFT) por sí solo no se generalizó bien a tareas fuera de la distribución, destacando la necesidad de RL con retroalimentación aguas abajo.

Significado y Afirmaciones

El artículo afirma que la gestión de memoria procedimental aprendida es una dirección prometedora para los agentes de codificación. A diferencia de los métodos que dependen de prompts fijos o una recuperación simple de memorias episódicas, CODESKILL demuestra que optimizar una política de gestión de habilidades con retroalimentación verificable aguas abajo permite a los agentes acumular y reutilizar la experiencia de ingeniería de software de largo horizonte de manera más efectiva. El trabajo destaca que la inyección estática de habilidades es insuficiente; en su lugar, se requiere una política adaptable y aprendible para asegurar que las habilidades permanezcan reutilizables, accionables y de un tamaño apropiado para la resolución futura de tareas.

Limitaciones Reconocidas por los Autores:

• El sistema actual se centra en habilidades de instrucción en lenguaje natural y aún no genera scripts ejecutables, APIs o definiciones de herramientas.
• El espacio de acciones se restringe a una operación sobre una habilidad candidata a la vez, limitando la capacidad de expresar decisiones complejas de mantenimiento de múltiples habilidades (por ejemplo, dividir una habilidad amplia o coordinar múltiples actualizaciones simultáneamente).