Resumen Técnico: Dirigir, No Resolver

Declaración del Probleo

El entrenamiento de extremo a extremo de agentes de código es intensivo en recursos y a menudo se estanca respecto al razonamiento a nivel de estrategia necesario para resolver problemas de código complejos. La evidencia empírica sugiere que, si bien los agentes pueden aprender habilidades de implementación de bajo nivel (ejecutar llamadas a herramientas, editar código), su razonamiento de alto nivel (resolución de problemas, planificación, búsqueda) permanece subdesarrollado cuando se optimizan conjuntamente con la ejecución. Aproximadamente el 65% de los fallos de los agentes de código se deben a un razonamiento defectuoso más que a acciones incorrectas. Los métodos de post-entrenamiento actuales que vinculan el razonamiento a nivel de estrategia con el comportamiento de implementación tienden a saturarse rápidamente, dejando al agente incapaz de generalizar patrones de manera efectiva. Además, los modelos críticos existentes son típicamente post-hoc, puntuando trayectorias completadas en lugar de proporcionar guía intra-trayectoria para dirigir al agente lejos del fallo durante la ejecución.

Metodología

Los autores proponen un paradigma de "Dirigir, No Resolver": congelar el agente de código y entrenar un modelo crítico separado y pequeño para proporcionar retroalimentación de alto nivel y de nivel estratégico durante la ejecución del agente.

Arquitectura Central

1. Agente Congelado ($\pi_A$): El agente de código (por ejemplo, variantes de CWM-32B, Qwen3) permanece congelado durante todo el proceso. Es responsable de todas las acciones concretas, llamadas a herramientas y ediciones de código.
2. Intervención del Crítico: Cada $k$ pasos (por ejemplo, $k=5$ o $10$), un modelo crítico $C$ inspecciona la trayectoria parcial $\tau_{1:t}$ y el historial del agente.
3. Bucle de Retroalimentación: El crítico genera una crítica textual breve $f_t$ que se añade al contexto del agente antes de su siguiente paso. El crítico no interactúa directamente con el entorno.

Diseño y Entrenamiento del Crítico

• Destilación de Profesor: Un modelo de frontera (Claude-Opus-4.6) actúa como un crítico profesor ($C_T$) para generar datos de entrenamiento. El crítico estudiante ($C_\theta$) es un modelo más pequeño (Qwen3-8B) entrenado mediante Ajuste Fino Supervisado (SFT) sobre estas críticas.
• Prompts Concisos vs. Detallados: El artículo identifica una elección de diseño crítica respecto al formato de retroalimentación.
  • Prompt Detallado: Permite al profesor proporcionar instrucciones específicas a nivel de acción (por ejemplo, "ejecuta este comando", "edita este archivo"). Aunque es efectivo para el profesor fuerte, esto conduce al "backseat driving" (conducir desde el asiento de atrás), donde el agente simplemente copia la solución del profesor en lugar de razonar.
  • Prompt Conciso: Restringe al profesor únicamente a la retroalimentación de alto nivel. Prohíbe cambios de código específicos o enfoques técnicos, centráéndose en cambio en la taxonomía de errores (por ejemplo, "Repetición de Pasos", "Desviación de la Tarea") y la redirección estratégica. El estudiante entrenado es destilado de este prompt conciso para asegurar que aprenda a dirigir en lugar de dictar.
• Conciencia del Presupuesto: Durante la inferencia, una vez que el agente se acerca a su límite de pasos (por ejemplo, paso 100 de 150), se añaden instrucciones conscientes del presupuesto a la entrada del crítico, instándolo a priorizar la recomendación de envío si el agente está estancado o tiene una solución.
• Datos de Entrenamiento: Las trayectorias se recolectan ejecutando el agente congelado con la intervención del crítico profesor. El corpus de entrenamiento utiliza una señal de supervisión "concisa". Para asegurar la transferibilidad, los autores recolectan datos de un agente (CWM-32B) y los prueban en otros, o mezclan trayectorias de los agentes objetivo en el corpus.

Configuración de Evaluación

• Benchmark: SWE-bench Verified (500 problemas de GitHub verificados por humanos).
• Agentes Probados: CWM-32B (denso), Qwen3-32B (denso) y Qwen3-Next-80B-A3B (MoE).
• Métricas: Tasa de Resolución (pasando pruebas ocultas), Tasa Localizada, Tasa de No Vacío y Costo (USD por instancia).
• Mecanismo de Respaldo: Si una ejecución guiada por el crítico falla al enviar dentro del presupuesto, se ejecuta una ejecución base (sin crítico) para asegurar una comparación de costos justa.

Resultados Clave

1. Ganancias de Rendimiento: El crítico entrenado mejora significativamente la tasa de resolución de los agentes congelados.
   • En CWM-32B, un crítico entrenado solo en trayectorias de CWM-32B mejoró la tasa de resolución en +3.8 puntos (29.2% $\to$ 33.0%).
   • En Qwen3-32B, el mismo crítico (entrenado solo con datos de CWM-32B) mejoró la tasa de resolución en +3.4 puntos (9.6% $\to$ 13.0%).
   • En Qwen3-Next-80B-A3B, la ganancia fue de +3.0 puntos (20.8% $\to$ 23.8%).
   • Añadir trayectorias del agente objetivo al corpus de entrenamiento aumentó aún más las ganancias, alcanzando +5.2 puntos en Qwen3-32B y +4.4 puntos en Qwen3-Next-80B-A3B.
2. Transferibilidad: Un crítico entrenado en las trayectorias de un solo agente se transfiere eficazmente a agentes no vistos con diferentes arquitecturas (denso vs. MoE) y tamaños, lo que sugiere que la señal de dirección aprendida es agnóstica al agente.
3. Eficiencia de Costos:
   • El crítico entrenado de 8B cuesta 30–92$\times$ menos que el profesor Claude-Opus-4.6.
   • Crucialmente, en el agente Qwen3-Next-80B-A3B, el sistema guiado por el crítico es más barato de extremo a extremo ($0.04 vs. $0.11) que el agente no guiado. Esto se debe a que el crítico acorta las trayectorias del agente (reduciendo el cómputo del agente) lo suficiente como para compensar el costo de las llamadas al crítico.
4. Hallazgos de Ablación:
   • El entrenamiento es esencial: Un crítico de 8B sin entrenar (estándar) no proporcionó ninguna ganancia de rendimiento sobre la línea base.
   • El formato del prompt importa: Mientras que el profesor funcionó mejor con prompts detallados, el estudiante entrenado funcionó mejor con prompts concisos. El prompt detallado causó que el profesor realizara "backseat driving", un comportamiento que el estudiante de 8B no pudo replicar fielmente o generalizar, lo que llevó a un menor rendimiento al ser destilado.

Significado y Reivindicaciones

El artículo afirma ser el primer estudio de entrenamiento de modelos críticos específicamente para agentes de código como una alternativa de separación de responsabilidades al escalado del propio agente.

• Complemento Práctico: Los resultados demuestran que un crítico pequeño y bien entrenado es un complemento práctico y rentable para escalar el entrenamiento de agentes. Recupera las capacidades de razonamiento a nivel de estrategia que el entrenamiento de extremo a extremo deja subdesarrolladas.
• Separación de Responsabilidades: Al desacoplar la estrategia (crítico) de la ejecución (agente), el sistema aprende patrones más simples y generalizables. El crítico maneja el diagnóstico y la redirección de alto nivel, mientras que el agente maneja la implementación.
• Eficiencia: El enfoque logra mejoras de Pareto óptimas, ofreciendo mayor precisión a menores costos en comparación tanto con agentes no guiados como con sistemas que utilizan costosos modelos de frontera como críticos.

Los autores concluyen que el entrenamiento de modelos críticos es un camino viable para mejorar los agentes de código sin los costos prohibitivos de reentrenar los agentes mismos o depender de profesores costosos y de caja negra en el tiempo de inferencia.