Resumen Técnico: Harness-1

Planteamiento del Problema

Los agentes de búsqueda, implementados típicamente como modelos de lenguaje que interactúan con herramientas de recuperación, suelen ser entrenados para operar sobre transcripciones crecientes. En esta formulación, la política debe gestionar simultáneamente las decisiones de búsqueda semántica (por ejemplo, qué consultar, qué documentos leer) y la gestión rutinaria del estado (por ejemplo, recordar documentos vistos, rastrear restricciones, mantener un conjunto curado de evidencia). Los autores argumentan que forzar a la política a reconstruir un estado útil a partir de observaciones puras y de solo adición es ineficiente y conduce a un aprendizaje por refuerzo (RL) mal condicionado. A medida que las transcripciones crecen, las consultas difíciles pueden arrojar resultados casi idénticos de conjunto vacío, los vocabularios de herramientas pueden colapsar en llamadas de búsqueda repetitivas, y la distinción entre el fallo de búsqueda y el fallo de curación se vuelve difusa.

Metodología: Harness-1

El artículo presenta Harness-1, un agente de búsqueda de 20 mil millones de parámetros entrenado con aprendizaje por refuerzo dentro de un entorno de búsqueda con estado (stateful search harness). El principio central es la descarga cognitiva con estado (stateful cognitive offloading): el entorno (harness) mantiene el estado recuperable, mientras que la política retiene únicamente las decisiones semánticas.

El Entorno con Estado (The Stateful Harness)

El entorno mantiene una WORKINGMEMORY (memoria de trabajo) con dos niveles:

1. Nivel Interno (orientado al prompt): Un resumen compacto y renderizado del estado de la búsqueda que incluye:
   • Pool de Candidatos ($P_t$): Resultados de búsqueda comprimidos y deduplicados.
   • Conjunto Curado ($C_t$) y Etiquetas de Importancia ($I_t$): Un conjunto limitado (máximo 30 documentos) de documentos seleccionados con etiquetas (muy alta, alta, media, baja).
   • Grafo de Evidencia ($G_t$): Un resumen de los enlaces entre documentos basado en entidades, fechas y documentos puente.
   • Registros de Verificación ($V_t$): Registros de afirmaciones contrastadas con el texto fuente.
   • Historial de Búsqueda ($H_t$) y Marcadores de Presupuesto ($B_t$): Resúmenes de progreso y límites de contexto.
2. Nivel Externo (Texto Completo): Un almacén de texto completo ($D_t$) de fragmentos recuperados, accesible mediante review_docs sin necesidad de nuevas llamadas al corpus.

Acciones de la Política

La política opera emitiendo acciones estructuradas que editan este estado en lugar de extender una transcripción:

• Recuperación: fan_out_search, search_corpus, grep_corpus, read_document.
• Curación: curate (añadir/eliminar documentos y asignar etiquetas de importancia).
• Verificación: verify (contrastar afirmaciones escritas por la política contra los documentos almacenados).
• Terminación: end_search.

Pipeline de Entrenamiento

1. Ajuste Fino Supervisado (SFT): Un agente profesor (GPT-5.4) se ejecuta dentro del entorno completo para generar trayectorias. La política aprende la mecánica de la interfaz: formatos de llamada a herramientas, el ritmo de búsqueda-curación, el etiquetado de importancia y las normas de verificación.
2. Aprendizaje por Refuerzo (RL): La política se entrena on-policy usando CISPO sobre episodios de búsqueda completos. La función de recompensa combina:
   • Calidad del Conjunto: Recall ponderado del conjunto curado final.
   • Cobertura de la Trayectoria: Crédito por encontrar evidencia en cualquier parte del pool.
   • Evidencia de la Respuesta: Recompensas por incluir documentos que aportan la respuesta y penalizaciones por omitirlos.
   • Diversidad de Herramientas: Un bono por utilizar un conjunto diverso de herramientas para evitar el colapso en búsquedas repetitivas.
   • Penalización por Turno: Para fomentar la eficiencia.

Requisitos Clave de Diseño

Los autores identifican tres requisitos para que un entorno de búsqueda con estado sea entrenable:

1. Curación con Inicio en Caliente (Warm-started Curation): Sembrado automático del conjunto curado con los mejores resultados de la primera búsqueda exitosa para proporcionar una señal de aprendizaje inicial.
2. Renderizado de Estado Derivado Compacto: Resumir el estado mediante etiquetas de importancia, grafos de evidencia y registros de verificación para evitar la saturación del contexto.
3. Incentivos de Preservación de la Diversidad: Estructuras de recompensa que fomenten un ritmo de búsqueda, curación, revisión y verificación.

Contribuciones Clave

1. Formulación: El artículo plantea el diseño del entorno como un problema central en el RL de agentes de recuperación, proponiendo la "descarga cognitiva con estado" para separar las decisiones semánticas de la contabilidad de datos.
2. Sistema Harness-1: Un agente de búsqueda de 20B que cuenta con un conjunto curado con etiquetas de importancia, un grafo de evidencia compacto, registros de verificación y renderizado de contexto consciente del presupuesto.
3. Requisitos de Entrenabilidad: Identificación del inicio en caliente, el renderizado compacto y los incentivos de diversidad como condiciones necesarias para un RL efectivo en la búsqueda con estado.
4. Validación Empírica: Demostración de que el entorno con estado mejora la calidad de la recuperación y la precisión de las respuestas derivadas en ocho benchmarks diversos.

Resultados

Harness-1 fue evaluado en ocho benchmarks que abarcan la web, finanzas, patentes y QA de múltiples saltos (ej. BrowseComp+, SEC, HotpotQA).

• Rendimiento: Harness-1 logró un recall curado promedio de 0.730, superando al siguiente subagente de búsqueda abierto más fuerte (Tongyi DeepResearch 30B) por +11.4 puntos. Se mantiene competitivo con modelos de frontera mucho más grandes (ej. GPT-5.4, Opus-4.6), superando a varios en el recall curado promedio.
• Generalización de Transferencia: El modelo mostró ganancias particularmente fuertes en benchmarks de transferencia no utilizados en entrenamiento (LongSealQA, Seal0QA, FRAMES, HotpotQA). La ganancia promedio en estas tareas de transferencia (+17.0 puntos sobre Context-1) fue 2.2 veces mayor que la ganancia en los benchmarks de la familia de origen (+7.9 puntos), lo que sugiere que las operaciones aprendidas sobre el estado explícito generalizan mejor que los patrones específicos de un dominio.
• Estudios de Ablación: Deshabilitar mecanismos individuales del entorno (ej. etiquetas de importancia, grafo de evidencia, inicio en caliente) provocó caídas significativas en el Recall de la Respuesta Final (hasta -7.9%). Deshabilitar todos los mecanismos simultáneamente causó una caída del -12.2% en el Recall, confirmando que las ganancias de rendimiento provienen del diseño del entorno y no solo de la capacidad inherente del modelo.
• Dinámicas de Entrenamiento: Los experimentos mostraron que sin una recompensa de diversidad de herramientas, la política colapsaba en una estrategia centrada excesivamente en la búsqueda con baja calidad de curación. El bono de diversidad fue esencial para estabilizar el uso de herramientas y mejorar el recall final.

Significado y Reivindicaciones

El artículo sostiene que el diseño de un entorno con estado (stateful harness design) es un eje crítico y previamente poco explorado en el RL de agentes de recuperación. Al delegar la contabilidad mecánica al entorno, la política puede centrarse en decisiones semánticas de alto nivel, lo que conduce a un entrenamiento más estable y una mejor generalización.

Los autores afirman que Harness-1 demuestra que un modelo más pequeño (20B) con una interfaz con estado bien diseñada puede superar a modelos abiertos más grandes y competir con modelos de frontera en tareas de búsqueda complejas. Los resultados sugieren que "la interfaz misma" es una parte central de lo que la política aprende a utilizar, en lugar de ser meramente un envoltorio de herramientas. El trabajo apunta hacia un futuro donde los agentes de recuperación se definan por la sinergia entre una política entrenable y un entorno de descarga cognitiva con estado.

El artículo concluye liberando los pesos del modelo, el código del entorno, el pipeline de generación de datos y la receta de RL para facilitar la investigación adicional en esta dirección.