Resumo Técnico: Harness-1

Declaração do Problema

Agentes de busca, tipicamente implementados como modelos de linguagem que interagem com ferramentas de recuperação, são frequentemente treinados para operar sobre transcrições crescentes. Nesta formulação, a política deve gerenciar simultaneamente decisões de busca semântica (ex: o que consultar, quais documentos ler) e o gerenciamento de rotina de estado (ex: lembrar documentos vistos, rastrear restrições, manter um conjunto curado de evidências). Os autores argumentam que forçar a política a reconstruir um estado útil a partir de observações brutas e de adição exclusiva (append-only) é ineficiente e leva a um aprendizado por reforço (RL) mal condicionado. À medida que as transcrições crescem, consultas difíceis podem resultar em recompensas de conjunto vazio quase idênticas, o vocabulário de ferramentas pode colapsar em chamadas de busca repetitivas, e a distinção entre falha de busca e falha de curadoria torna-se obscura.

Metodologia: Harness-1

O artigo introduz o Harness-1, um agente de busca de 20 bilhões de parâmetros treinado com aprendizado por reforço dentro de um harness de busca com estado (stateful). O princípio central é o descarregamento cognitivo com estado (stateful cognitive offloading): o ambiente (harness) mantém o estado recuperável, enquanto a política retém apenas as decisões semânticas.

O Harness com Estado (Stateful Harness)

O harness mantém uma WORKINGMEMORY (memória de trabalho) com dois níveis:

1. Nível Interno (Voltado ao Prompt): Um resumo compacto e renderizado do estado da busca incluindo:
   • Pool de Candidatos ($P_t$): Resultados de busca comprimidos e deduplicados.
   • Conjunto Curado ($C_t$) & Tags de Importância ($I_t$): Um conjunto limitado (máximo de 30 documentos) de documentos selecionados com tags (muito alta, alta, razoável, baixa).
   • Grafo de Evidências ($G_t$): Um resumo de links entre documentos baseados em entidades, datas e documentos de ponte.
   • Registros de Verificação ($V_t$): Logs de alegações verificadas contra o texto fonte.
   • Histórico de Busca ($H_t$) & Marcadores de Orçamento ($B_t$): Resumos de progresso e limites de contexto.
2. Nível Externo (Texto Completo): Um repositório de texto completo ($D_t$) de fragmentos recuperados, acessível via review_docs sem novas chamadas ao corpus.

Ações da Política

A política opera emitindo ações estruturadas que editam este estado em vez de estender uma transcrição:

• Recuperação: fan_out_search, search_corpus, grep_corpus, read_document.
• Curadoria: curate (adicionar/remover documentos e atribuir tags de importância).
• Verificação: verify (verificar alegações escritas pela política contra os documentos armazenados).
• Terminação: end_search.

Pipeline de Treinamento

1. Ajuste Fino Supervisionado (SFT): Um agente professor (GPT-5.4) executa dentro do harness completo para gerar trajetórias. A política aprende a mecânica da interface: formatos de chamada de ferramenta, o ritmo de busca-curadoria, a marcação de importância e normas de verificação.
2. Aprendizado por Reforço (RL): A política é treinada on-policy usando CISPO sobre episódios de busca completos. A função de recompensa combina:
   • Qualidade do Conjunto: Recall ponderado do conjunto curado final.
   • Cobertura de Trajetória: Crédito por encontrar evidências em qualquer lugar do pool.
   • Evidência da Resposta: Recompensas por incluir documentos que trazem a resposta e penalidades por omiti-los.
   • Diversidade de Ferramentas: Um bônus por usar um conjunto diversificado de ferramentas para evitar o colapso em buscas repetitivas.
   • Penalidade de Turno: Para incentivar a eficiência.

Requisitos Chave de Design

Os autores identificam três requisitos para que um harness de busca com estado seja treinável:

1. Curadoria de Inicialização Quente (Warm-started Curation): Semear automaticamente o conjunto curado com os principais resultados da primeira busca bem-sida para fornecer um sinal de aprendizado inicial.
2. Renderização de Estado Derivado Compacta: Resumir o estado via tags de importância, grafos de evidências e registros de verificação para evitar a inflação do contexto.
3. Incentivos de Preservação de Diversidade: Estruturas de recompensa que incentivem um ritmo de busca, curadoria, revisão e verificação.

Contribuições Principais

1. Formulação: O artigo enquadra o design de harness como um problema central no RL de agentes de recuperação, propondo o "descarregamento cognitivo com estado" para separar decisões semânticas de tarefas de contabilidade (bookkeeping).
2. Sistema Harness-1: Um agente de busca de 20B apresentando um conjunto curado com tags de importância, grafo de evidências compacto, registros de verificação e renderização de contexto consciente do orçamento.
3. Requisitos de Treinabilidade: Identificação de inicialização quente, renderização compacta e incentivos de diversidade como condições necessárias para um RL eficaz em busca com estado.
4. Validação Empírica: Demonstração de que o uso de harness com estado melhora a qualidade da recuperação e a precisão da resposta subsequente em oito benchmarks diversos.

Resultados

O Harness-1 foi avaliado em oito benchmarks abrangendo web, finanças, patentes e QA de múltiplos saltos (ex: BrowseComp+, SEC, HotpotQA).

• Desempenho: O Harness-1 alcançou um recall curado médio de 0,730, superando o próximo subagente de busca aberto mais forte (Tongyi DeepResearch 30B) em +11,4 pontos. Ele permanece competitivo com modelos de fronteira muito maiores (ex: GPT-5.4, Opus-4.6), superando vários deles em recall curado médio.
• Generalização de Transferência: O modelo mostrou ganhos particularmente fortes em benchmarks de transferência não vistos (LongSealQA, Seal0QA, FRAMES, HotpotQA), que não foram usados no SFT ou RL. O ganho médio nessas tarefas de transferência (+17,0 pontos sobre o Context-1) foi 2,2 vezes maior do que o ganho nos benchmarks da família de origem (+7,9 pontos), sugerindo que as operações aprendidas sobre o estado explícito generalizam melhor do que padrões específicos de domínio.
• Estudos de Ablação: Desativar mecanismos individuais do harness (ex: tags de importância, grafo de evidências, inicialização automática) levou a quedas significativas no Recall da Resposta Final (até -7,9%). Desativar todos os mecanismos simultaneamente causou uma queda de -12,2% no Recall, confirmando que os ganhos de desempenho derivam do design do harness e não apenas da capacidade inerente do modelo.
• Dinâmica de Treinamento: Experimentos mostraram que, sem uma recompensa de diversidade de ferramentas, a política colapsava em uma estratégia pesada de busca com baixa qualidade de curadoria. O bônus de diversidade foi essencial para estabilizar o uso de ferramentas e melhorar o recall final.

Significância e Alegações

O artigo afirma que o design de harness com estado é um eixo crítico e anteriormente subexplorado para o RL de agentes de recuperação. Ao descarregar a contabilidade mecânica para o ambiente, a política pode focar em decisões semânticas de alto nível, levando a um treinamento mais estável e melhor generalização.

Os autores afirmam que o Harness-1 demonstra que um modelo menor (20B) com uma interface de estado bem desenhada pode superar modelos abertos maiores e competir com modelos de fronteira em tarefas de busca complexas. Os resultados sugerem que a "própria interface" é uma parte central do que a política aprende a usar, e não meramente um invólucro de ferramenta (tool wrapper). O trabalho aponta para um futuro onde os agentes de recuperação são definidos pela sinergia entre uma política treinável e um harness de descarregamento cognitivo com estado.

O artigo conclui liberando os pesos do modelo, o código do harness, o pipeline de geração de dados e a receita de RL para facilitar pesquisas adicionais nesta direção.