Resumen Técnico: Co-Harness: Co-Evolución de Arneses y Pesos de Modelo para Agentes de LLM

1. Declaración del Problema

El post-entrenamiento de agentes para la investigación automatizada de IA implica tradicionalmente optimizar los parámetros del modelo mientras se trata el sistema de ejecución —el "Arnés" (Harness)— como un andamio fijo y estático. El Arnés abarca prompts, herramientas, habilidades, middleware, políticas de memoria y lógica de reintento. Los pipelines actuales crean un desajuste fundamental: el modelo se actualiza mediante ajuste fino supervisado (SFT) o aprendizaje por refuerzo basado en trayectorias generadas por un Arnés estático, pero el propio Arnés nunca se optimiza basándose en los fallos observados durante el entrenamiento.

Esta asimetría genera un cuello de botella donde un andamiaje subóptimo (por ejemplo, prompts ambiguos, esquemas de herramientas incorrectos, falta de hooks de reintento o desbordamiento de memoria) impide la generación de trayectorias de entrenamiento de alta calidad. En consecuencia, el modelo no puede aprender a superar estas limitaciones ambientales, y el Arnés fijo se convierte en un techo para el rendimiento del agente, particularmente en entornos complejos de Razonamiento Integrado con Herramientas (TIR), donde un solo error de esquema puede abortar toda una sesión de múltiples turnos.

2. Metodología: Marco de Trabajo Co-Harness

Los autores proponen Co-Harness, un marco de trabajo de doble bucle que optimiza conjuntamente el arnés del agente ($\phi$) y los parámetros del modelo ($\theta$) a través de un proceso alternante. La hipótesis central es que un mejor Arnés produce trayectorias más limpias e informativas, lo que entrena un modelo más fuerte; este modelo más fuerte, a su vez, expone cuellos de botella de orden superior en el Arnés que antes eran invisibles, permitiendo mejoras adicionales en el andamiaje.

El marco opera en dos bucles alternantes por cada ronda $t$:

A. El Bucle Co-Harness (Optimización del Arnés)

En esta fase, el modelo $\theta_t$ se mantiene fijo mientras el Arnés $\phi_t$ evoluciona.

1. Recolección de Fallos: El agente ejecuta tareas bajo $(\theta_t, \phi_t)$, recolectando un conjunto de trayectorias fallidas $F^-_t$.
2. Análisis HarnessCritic: Un componente basado en LLM, el HarnessCritic ($C$), analiza estos fallos y los atribuye a una causa raíz estructurada dentro de la configuración del Arnés (por ejemplo, ambigüedad de prompt, error de esquema de herramienta, falta de habilidad, desajuste de middleware o desbordamiento de memoria).
3. Generación de Diffs y Validación: El HarnessCritic propone parches locales (diferencias) para el Arnés. Estos parches se validan ejecutando pruebas de "rollout" para asegurar que mejoren el modo de fallo objetivo sin causar regresiones en comportamientos previamente establecidos.
4. Actualización del Registro: Los parches validados se registran en un registro de versiones del Arnés, actualizando la configuración activa a $\phi^*_t$.

B. El Bucle de Alineación del Modelo (Optimización del Modelo)

En esta fase, el Arnés evolucionado $\phi^*_t$ se mantiene fijo mientras el modelo se actualiza.

1. Recolección de Trayectorias de Alta Calidad: El modelo actual $\theta_t$ se ejecuta bajo el Arnés mejorado $\phi^*_t$ para generar un nuevo conjunto de datos $D_t$ de trayectorias de alta calidad.
2. Ajuste Fino Supervisado (SFT): El modelo se ajusta mediante SFT sobre $D_t$ para interiorizar los comportamientos habilitados por el andamiaje mejorado, resultando en un modelo actualizado $\theta_{t+1}$.
3. Iteración: El nuevo modelo $\theta_{t+1}$ y el Arnés evolucionado $\phi^*_t$ se convierten en el punto de partida para la siguiente ronda, donde el modelo más fuerte puede revelar nuevas y más complejas limitaciones del Arnés.

Taxonomía de Atribución de Fallos

HarnessCritic clasifica los fallos en cinco dimensiones accionables del Arnés y una etiqueta de abstención:

• Ambigüedad de Prompt ($P$): Subespecificación de instrucciones o metas conflictivas.
• Error de Esquema de Herramienta ($T$): Llamadas a herramientas inválidas, esquemas de argumentos defectuosos o desajustes con el backend.
• Falta de Habilidad ($S$): Ausencia de rutinas reutilizables o primitivas de descomposición.
• Desajuste de Middleware ($Mid$): Protocolos de bucle defectuosos, comportamientos de hooks o lógica de gestión de contexto.
• Desbordamiento de Memoria ($M$): Desbordamiento de estado persistente, memoria obsoleta o fallos de recuperación.
• Error del Agente: Casos donde el fallo es intrínseco al razonamiento del modelo y no al Arnés.

3. Contribuciones Clave

1. Formulación de Optimización Conjunta: El artículo formula el post-entrenamiento de agentes como un problema de optimización conjunta sobre los pesos del modelo y el Arnés de ejecución, yendo más allá del paradigma de tratar los prompts y las herramientas como infraestructura fija.
2. HarnessCritic: La introducción de un procedimiento impulsado por fallos que realiza una atribución estructurada de errores a componentes específicos del Arnés y propone diffs locales validados para su reparación.

• Mecanismo de Ganancias Compuestas: La demostración de que la alternancia entre la evolución del Arnés y la Alineación del Modelo crea un bucle de retroalimentación positiva, donde las mejoras en el andamiaje conducen a mejores datos de entrenamiento, lo que a su vez genera modelos más fuertes capaces de aprovechar un andamiaje aún más sofisticado.

4. Resultados Experimentales

El marco fue evaluado en tareas de Razonamiento Integrado con Herramientas (TIR) utilizando benchmarks matemáticos (AIME 2024, AIME 2025, HMMT 2025) y dos escalas de modelos (Qwen3-8B y Qwen3-32B).

• Ganancias de Rendimiento: Dos rondas de co-evolución de Co-Harness resultaron en una mejora promedio de la precisión de +20.4 puntos porcentuales (pp) en los benchmarks y escalas de modelos comparado con el baseline (un Arnés evolucionado una sola vez sin SFT del modelo).
  • La mayor ganancia se observó en el benchmark más difícil (HMMT 2025) para el modelo Qwen3-32B, con una mejora de +27.2 pp.
  • El sistema superó a configuraciones de Arnés estáticas cuidadosamente diseñadas por un promedio de +24.7 pp.
• Estudio de Caso Autónomo: En una ejecución autónoma de más de 200 horas en AIME 2024, el sistema:
  • Se recuperó de un fallo inicial del sistema (error de caché KV de vllm).
  • Mejoró la eficiencia de inferencia en 8.7× (reduciendo el tiempo de reloj de 3.78h a 1.11h) mediante inferencia por lotes globales.
  • Descubrió una estrategia de ensamble (votación por mayoría de semillas diversas) que alcanzó la mejor precisión (63.3%) dentro del presupuesto de tiempo, todo esto sin intervención humana.
• Robustez: El sistema detectó y revirtió con éxito regresiones (por ejemplo, prompts de dominio específico que conflictaban con el razonamiento interno del modelo) utilizando su registro controlado por versiones.

5. Significado y Reivindicaciones

El artículo argumenta que Co-Harness aborda una limitación crítica en el desarrollo actual de agentes: la separación del entrenamiento del modelo del entorno que genera los datos de entrenamiento. Al tratar el Arnés como una variable aprendible en lugar de un andamio estático, Co-Harness permite la auto-mejora compuesta.

Los autores afirman que este enfoque realiza una "espiral de retroalimentación positiva" donde:

1. Un mejor Arnés produce un uso de herramientas más limpio y menos colapsos evitables.
2. Estas trayectorias más limpias entrenan un modelo más fuerte.
3. El modelo más fuerte puede explotar configuraciones de Arnés más ricas y complejas que antes eran inutilizables.

Esto contrasta con trabajos previos que u optimizan el modelo para un Arnés fijo (SFT/RL estándar) o optimizan el Arnés para un modelo fijo (búsqueda en tiempo de inferencia). Co-Harness se presenta como el primer marco que co-evoluciona ambos, sugiriendo que la interdependencia entre el andamiaje y los pesos del modelo es un eje primario para mejorar las capacidades de los agentes más allá del post-entrenamiento de un solo arnés fijo.

Limitaciones señaladas por los autores: El enfoque requiere un LLM crítico capaz, un volumen suficiente de trayectorias de fallo para el arranque en frío (cold-start) y un cómputo significativo para múltiples rondas de SFT. Además, la precisión de la atribución puede degradarse para modos de fallo que requieren razonamiento contrafáctico complejo, y el rediseño estructural del Arnés sigue siendo responsabilidad humana.