Resumen Técnico: Harness-R1

Planteamiento del Problema

Los agentes de Modelos de Lenguaje de Gran Escala (LLM) desplegados en entornos dinámicos acumulan trayectorias de interacción que contienen tanto experiencias exitosas como fallos sistemáticos (por ejemplo, uso incorrecto de herramientas, pérdida de estado, violaciones de protocolos). Mientras que los enfoques actuales para la mejora de agentes se centran principalmente en actualizar los pesos del modelo mediante el ajuste fino (fine-tuning) o el aprendizaje por refuerzo (RL), el "harness del agente" —el código de ejecución en tiempo de ejecución que construye el contexto, media las herramientas, valida las acciones y gestiona la recuperación— suele permanecer estático.

La modificación del harness es crítica porque los mismos pesos de un modelo pueden producir capacidades muy distintas bajo diferentes configuraciones de harness. Sin embargo, la modificación directa del harness es poco fiable. Las reglas fijas (por ejemplo, Self-Refine) suelen degradar el rendimiento, y pedir a modelos frontera de gran tamaño que editen el harness resulta en ganancias inestables porque estos modelos optimizan para la plausibilidad textual en lugar de para el éxito verificado de la tarea. El desafío central es desarrollar un método que aprenda a editar un entorno de ejecución ejecutable existente basándose en los fallos observados del agente, asegurando que las ediciones sean validadas por una mejora real en el rendimiento en lugar de por un razonamiento teórico.

Metodología: Harness-R1

Harness-R1 introduce un paradigma de entrenamiento que trata la edición del harness como un problema de aprendizaje por refuerzo (RL) en línea para un modelo dedicado de "ingeniero de harness", manteniendo el agente objetivo congelado. El sistema opera en un bucle de fallo-edición-reejecución:

1. Formulación del Problema

• Objetivo Congelado: El agente objetivo $A$ (modelo + runtime base) permanece fijo.
• Paquetes de Fallos: Se ejecuta un lote de tareas $B$, y un extractor determinista compila los episodios fallidos en "paquetes de fallos" ($s_B$) que contienen restricciones de la tarea, fragmentos de acción-observación y resultados.
• El Ingeniero ($H_\theta$): Un modelo dedicado de 9B actúa como el editor. Lee un paquete de fallos y genera una superposición ejecutable (parche) $P$.
• Hooks Ejecutables: El parche $P$ envuelve el ciclo de vida del agente en cuatro puntos específicos sin alterar los pesos del modelo:
  1. Inicialización del Episodio: Configura el contexto y el estado.
  2. Pre-Decisión: Aumenta el contexto con guía/restricciones.
  3. Pre-Acción: Valida, reescribe o veta las acciones propuestas.
  4. Post-Retroalimentación: Inspecciona las observaciones y activa la recuperación.
• Señal de Recompensa: El objetivo con el parche vuelve a ejecutar el mismo lote de tareas. La recompensa es la diferencia en el rendimiento ($\Delta_B$) entre las ejecuciones con y sin parche. Esto crea un objetivo transductivo del mismo lote donde la recompensa no es diferenciable y solo es observable tras la ejecución.

2. Pipeline de Entrenamiento

Harness-R1 emplea un proceso de entrenamiento de dos etapas:

• SFT de Arranque en Frío (Cold-Start Supervised Fine-Tuning): Un modelo profesor fuerte propone respuestas de edición a partir de paquetes de fallos. Estas se validan contra el objetivo congelado; solo se conservan los parches ejecutables y no regresivos para formar un conjunto de datos para inicializar la política del ingeniero.
• Optimización de Política de Grupo Relativa de Resultados (Outcome-Grounded Group Relative Policy Optimization - GRPO):
  • El ingeniero muestrea $K$ parches candidatos para un paquete de fallos.
  • Cada candidato se valida e instala; el objetivo congelado vuelve a ejecutar el lote de tareas.
  • Las recompensas se normalizan dentro del grupo de $K$ candidatos para calcular las ventajas.
  • Los parámetros del ingeniero se actualizan para maximizar el objetivo de sustitución recortado promediado por tokens, optimizando la utilidad realizada de los parches.

Contribuciones Clave

1. Formulación: El artículo formula la edición del harness condicionada al fallo y a lo largo de todo el ciclo de vida como un problema de RL en línea para un ingeniero dedicado, distinto de la actualización de los pesos del modelo.
2. Marco de Trabajo Harness-R1: Propone un sistema que combina SFT de arranque en frío con GRPO basado en resultados. A diferencia de trabajos previos que usan editores para la búsqueda de programas o la selección de candidatos, Harness-R1 actualiza directamente la política del editor basándose en los resultados de ejecución de sus parches sobre un objetivo congelado.
3. Coevolución: El método demuestra que un ingeniero de harness y un agente objetivo pueden coevolucionar. Un ingeniero entrenado en un objetivo vanilla mejora este, y un ingeniero reentrenado puede mejorar aún más un objetivo que ya ha pasado por un ajuste fino directo.

Resultados Experimentales

El método fue evaluado en tres benchmarks interactivos: WebShop (navegación web), ALFWorld (tareas basadas en texto con cuerpo) y DBBench (consultas de bases de datos).

• Ganancias de Rendimiento (Objetivo Vanilla): Para un agente Qwen3.5-9B congelado, Harness-R1 aumentó la tasa de éxito promedio del 44.3% al 53.6% (+9.3 puntos porcentuales). Esto superó a las estrategias basadas en prompts (por ejemplo, Self-Refine, que disminuyó el rendimiento) y a los modelos frontera usados como editores (por ejemplo, GLM-5.2 con 48.8%).
• Ganancias de Rendimiento (Objetivo con Ajuste Fino): Tras el ajuste fino directo del agente objetivo (elevando la línea base a 59.2%), un ingeniero específico de Harness-R1 aumentó aún más el éxito al 64.2% (+5.0 puntos), demostrando que la optimización del harness sigue siendo efectiva incluso después de actualizar los pesos del modelo.
• Generalización:
  • Inter-Modelo: La política de edición aprendida se transfirió a 20 modelos objetivo no vistos (que oscilan entre 1B y 70B de parámetros de las familias Llama, Gemma y Qwen), obteniendo ganancias positivas en cada objetivo sin necesidad de reajuste por objetivo.
  • Inter-Tarea: Utilizando evidencia de fallo dispersa (10 fallos), el ingeniero generó parches que mejoraron tareas no vistas en +8.9 puntos, superando significativamente a los grandes modelos frontera que mostraron resultados negativos o inestables en datos no vistos.
• Ablación: Eliminar hooks específicos del ciclo de vida (por ejemplo, la mediación pre-acción o la recuperación post-retroalimentación) redujo el rendimiento, confirmando que las ganancias se distribuyen a lo largo del ciclo de vida del agente y dependen del entorno específico.

Significancia y Reivindicaciones

El artículo postula que la construcción del harness es una capacidad aprendible que complementa las actualizaciones tradicionales de pesos. Su principal significancia radica en desplazar el objetivo de optimización desde la toma de decisiones interna del agente (pesos) hacia los mecanismos externos de ejecución (harness).

• Fiabilidad sobre Plausibilidad: Los autores argumentan que pedir a grandes modelos que editen código es poco fiable porque optimiza para "parecer correcto". Harness-R1 aprende de los resultados realizados, asegurando que las ediciones sean genuinamente beneficiosas.
• Adaptabilidad: A diferencia de las estrategias fijas (por ejemplo, Self-Refine) que aplican reglas uniformes, Harness-R1 genera ediciones condicionadas a modos de fallo específicos, adaptándose a las debilidades únicas del agente objetivo.
• Coevolución: Los resultados sugieren un camino hacia agentes que mejoran continuamente tras su despliegue, no solo mediante el reentrenamiento del modelo, sino mediante la evolución del entorno de ejecución que lo rodea. El artículo concluye que este enfoque permite que el ingeniero y el objetivo coevolucionen, ofreciendo una vía robusta para la mejora de agentes post-despliegue.