Resumen Técnico: HarnessX – Una Fundición de Harnesses de Agentes Componibles, Adaptables y Evolutivos

1. Declaración del Problema

El rendimiento de los agentes de IA modernos depende críticamente no solo del modelo fundacional subyacente, sino también del harness de tiempo de ejecución (entorno de ejecución)—el sistema de prompts, herramientas, memoria y flujo de control que media cómo un modelo observa, razona y actúa. El desarrollo actual de harnesses sufre tres deficiencias primarias:

1. Estático y Artesanal: Los harnesses son artefactos hechos a medida y diseñados manualmente. Cambiar una versión del modelo, un conjunto de herramientas o un dominio de tarea requiere una reimplementación manual, sin un mecanismo para la mejora impulsada por la experiencia.
2. Arquitectónicamente Entrelazado: Componentes como plantillas de prompts, envoltorios de herramientas (tool wrappers) y políticas de memoria suelen estar confluentes en las mismas rutas de código. Esto hace que las modificaciones sean frágiles; cambiar un componente puede romper silenciosamente otros, y la reutilización a través de dominios se reduce a copiar en lugar de componer.
3. Desconectado del Entrenamiento del Modelo: Los datos de trayectoria recolectados durante la optimización del harness suelen descartarse. Por el contrario, las mejoras del modelo no se traducen en mejoras del harness, creando un "techo de andamiaje" donde el harness no puede explotar un modelo más fuerte, y un "techo de señal de entrenamiento" donde el modelo no puede aprender de un mejor harness.

2. Metodología

HarnessX aborda estas brechas tratando al harness como un objeto de primera clase, componible, que puede ser adaptado y evolucionado junto con el modelo. El marco consta de tres pilares fundamentales:

A. Composición de Harness (La Fundición)

HarnessX formaliza el harness como una entidad tipada y sustituible compuesta por procesadores conectados a hooks (ganchos) de ciclo de vida.

• Abstracción de Procesador: Un procesador es un componente atómico tipado que consume un evento (p. ej., StepStartEvent) y genera cero o más eventos. Soporta cinco resultados: paso directo (pass-through), transformación, división (split), interceptación o interrupción.
• Taxonomía de Nueve Dimensiones: El espacio de comportamiento se organiza en nueve dimensiones ortogonales:
  1. Selección de Modelo
  2. Ensamblaje de Contexto
  3. Gestión de Memoria
  4. Ecosistema de Herramientas
  5. Entorno de Ejecución
  6. Evaluación y Recompensa
  7. Control y Seguridad
  8. Observabilidad
  9. Puente de Entrenamiento
• Álgebra de Sustitución: Los harnesses se componen insertando procesadores en puntos de hook tipados. Esto garantiza la seguridad de tipos y permite la definición explícita del alcance de los cambios de comportamiento, permitiendo el aislamiento de variantes.

B. Adaptación de Harness (AEGIS)

AEGIS (AEGIS: Adaptive Evolutionary Governance for Intelligent Systems) es un motor de evolución impulsado por trazas y de múltiples agentes que trata la adaptación del harness como un problema de aprendizaje sobre artefactos simbólicos. Mapea la evolución del harness hacia el Aprendizaje por Refuerzo (RL) mediante un Espejo Operacional:

• Estado: Configuración del harness + almacén de trazas.
• Acción: Ediciones a nivel de código tipadas (prompts, herramientas, procesadores).
• Retroalimentación: Trazas de ejecución y puntuaciones de verificadores.

AEGIS emplea un pipeline de cuatro etapas impulsado por un meta-agente LLM:

1. Digester (Digestor): Comprime trazas de ejecución crudas (hasta ~10M de tokens) en resúmenes estructurados por tarea (categorías de fallo, componentes implicados).
2. Planner (Planificador): Construye un "paisaje de adaptación" para identificar tareas fallidas y tipos de edición no probados, defendiéndose contra la sub-exploración.
3. Evolver (Evolucionador): Genera candidatos de edición de harness con manifiestos de cambio explícitos y pruebas de humo (smoke tests).
4. Critic & Deterministic Gate (Crítico y Puerta Determinista): El Crítico evalúa los candidatos para detectar efectos no locales y ataques de recompensa (reward hacking). Una puerta determinista impone la restricción de balancín (seesaw constraint): un candidato solo se implementa si no causa una regresión en ninguna de las tareas previamente resueltas (previniendo el olvido catastrófico).

Para manejar conjuntos de tareas heterogéneas donde un solo harness no puede optimizar todas las tareas simultáneamente, HarnessX introduce el Aislamiento de Variantes (Ensemble Routing), manteniendo múltiples variantes de harness y dirigiendo las tareas a la variante con la mayor tasa de éxito estimada.

C. Co-evolución Harness-Modelo

HarnessX cierra el ciclo entrelazando la evolución del harness con el entrenamiento del modelo.

• Shared Replay Buffer (Almacén de Repetición Compartido): Las trazas de ejecución sirven para dos propósitos: evidencia diagnóstica para AEGIS y datos de entrenamiento para el modelo.
• Cross-Harness GRPO: El modelo se entrena utilizando Optimización de Política Relativa de Grupo (GRPO). Las trayectorias se agrupan por identidad de tarea a través de diferentes versiones de harness y checkpoints del modelo. Esto permite que el modelo internalice estrategias que tienen éxito a través de diversos andamios, rompiendo el techo donde un modelo fijo no puede explotar un mejor harness o un harness fijo no puede evocar nuevas capacidades del modelo.
• Eficiencia Off-Policy: El sistema reutiliza las mismas trazas de ejecución tanto para la evolución del harness como para el entrenamiento del modelo, sin incurrir en costos adicionales de inferencia para la actualización del modelo.

3. Contribuciones Clave

1. Composición de Harness: Una formalización del harness como un objeto de primera clase y tipado compuesto por procesadores. Una taxonomía de nueve dimensiones y un álgebra de sustitución permiten la configuración segura por tarea y el aislamiento de variantes.
2. Adaptación de Harness (AEGIS): Un motor de evolución impulsado por trazas que mapea las patologías de RL (ataque de recompensa, olvido catastrófico, sub-exploración) a riesgos de diseño concretos, abordados mediante un pipeline de cuatro etapas con puertas deterministas.
3. Co-evolución Harness-Modelo: Un bucle unificado que entrelaza el entrenamiento del modelo con la evolución del harness sobre un buffer compartido, permitiendo que el agente mejore simultáneamente a lo largo de los ejes de andamiaje (harness) y cognitivo (modelo).
4. Validación Empírica: Evaluación exhaustiva en cinco benchmarks y tres familias de modelos demostrando ganancias significativas de rendimiento.

4. Resultados Experimentales

Los autores evaluaron HarnessX a través de cinco benchmarks (ALFWorld, GAIA, WebShop, τ 3-Bench, SWE-bench Verified) usando tres familias de agentes-tarea (Claude Sonnet 4.6, GPT-5.4, Qwen3.5-9B) durante hasta 15 rondas de evolución.

• Rendimiento General: HarnessX produjo una ganancia absoluta promedio de +14.5% a través de 15 configuraciones de modelo-benchmark, con ganancias individuales que variaron desde un 0.0% hasta un +44.0%.
• Escalado Inverso: Las ganancias fueron mayores donde las líneas base eran más bajas. Por ejemplo, en ALFWorld, el agente más débil (Qwen3.5-9B) mejoró un +44.0% (53.0% → 97.0%), mientras que los modelos más fuertes vieron ganancias relativas menores. Esto sugiere que los harnesses evolucionados abordan brechas de comportamiento que los modelos más débiles no pueden autocorregir.
• Aislamiento de Variantes: En conjuntos de tareas heterogéneas como GAIA, una estrategia de harness único (Global) se estancó (0.0% de ganancia para GPT-5.4) debido a ediciones conflictivas. El aislamiento de variantes resolvió esto, logrando una ganancia de +13.6% (87.4% final, sin degradación).
• Co-evolución: Entrelazar el entrenamiento del modelo con la evolución del harness proporcionó una ganancia adicional de +4.7% sobre la evolución solo de harness en GAIA y WebShop, rompiendo el "techo de andamiaje".
• Análisis de Fallos: El sistema detectó y mitigó con éxito las patologías predichas:
  • Ataque de Recompensa (Reward Hacking): Detectado mediante análisis de trazas (p. ej., explotación de formato vs. recuperación genuina) y mitigado añadiendo guardias.
  • Olvido Catastrófico: Detectado mediante el análisis de concentración del Crítico y mitigado mediante ediciones estructurales.
  • Sub-exploración: Diagnosticado por la caída en la "precisión de predicción de envío" y corregido cambiando de ediciones de prompts a cambios estructurales en herramientas/procesadores.

5. Significado y Reivindicaciones

El artículo sostiene que el progreso de los agentes no debe depender únicamente del escalado de los modelos. En su lugar, componer y evolucionar las interfaces de tiempo de ejecución a partir de la retroalimentación de la ejecución es un apalancamiento accionable y complementario para mejorar el rendimiento de los agentes.

• Reivindicaciones Modestas: Los autores declaran explícitamente que la generalización a tareas no vistas no fue evaluada (todas las ganancias se midieron en el conjunto de evolución). Reconocen que el "Espejo Operacional" es una heurística de diseño más que una garantía formal de convergencia.
• Perspectiva Central: El trabajo demuestra que el "andamiaje" (harness) y el "núcleo" (modelo) son complementarios. Un aparato más afilado (harness) no puede compensar un núcleo débil, ni un núcleo más fuerte puede compensar un aparato que nunca lo invoca. La co-evolución apunta a este cuello de botella.
• Cambio de Ingeniería: HarnessX propone un cambio de los harnesses estáticos y artesanales hacia un modelo de fundición donde los harnesses son tipados, sustituibles y continuamente optimizados mediante un bucle de retroalimentación, tratando al harness como un componente aprendible junto con los pesos del modelo.