Sintesi Tecnica: Harness-1

Problema

Gli agenti di ricerca, tipicamente implementati come modelli linguistici che interagiscono con strumenti di recupero, sono spesso addestrati per operare su trascrizioni in crescita. In questa formulazione, la policy deve gestire simultaneamente le decisioni di ricerca semantica (ad esempio, cosa interrogare, quali documenti leggere) e la gestione di routine dello stato (ad esempio, ricordare i documenti visti, tracciare i vincoli, mantenere un set curato di evidenze). Gli autori sostengono che costringere la policy a ricostruire uno stato utile da osservazioni grezze e append-only sia inefficiente e porti a un apprendimento per rinforzo (RL) mal condizionato. Man mano che le trascrizioni crescono, le query difficili possono produrre serie di ricompense quasi identiche a set vuoti, il vocabolario degli strumenti può collassare in chiamate di ricerca ripetitive e la distinzione tra fallimento della ricerca e fallimento della curatela diventa oscura.

Metodologia: Harness-1

Il documento introduce Harness-1, un agente di ricerca da 20 miliardi di parametri addestrato con l'apprendimento per rinforzo all'interno di un harness di ricerca stateful. Il principio fondamentale è lo scarico cognitivo stateful (stateful cognitive offloading): l'ambiente (harness) mantiene lo stato recuperabile, mentre la policy conserva solo le decisioni semantiche.

L'Harness Stateful

L'harness mantiene una WORKINGMEMORY con due livelli:

1. Livello Interno (rivolto al prompt): Un riepilogo compresso e renderizzato dello stato di ricerca che include:
   • Pool di Candidati ($P_t$): Risultati di ricerca compressi e deduplicati.
   • Set Curato ($C_t$) & Tag di Importanza ($I_t$): Un set limitato (massimo 30 documenti) di documenti selezionati con tag (molto alto, alto, discreto, basso).
   • Grafo delle Evidenze ($G_t$): Un riepilogo dei collegamenti cross-document basati su entità, date e documenti ponte.
   • Record di Verifica ($V_t$): Log di affermazioni controllate rispetto al testo sorgente.
   • Cronologia di Ricerca ($H_t$) & Marker di Budget ($B_t$): Riepiloghi dei progressi e dei limiti di contesto.
2. Livello Esterno (Testo Completo): Un archivio di testo completo ($D_t$) di chunk recuperati, accessibile tramite review_docs senza nuove chiamate al corpus.

Azioni della Policy

La policy opera emettendo azioni strutturate che modificano questo stato invece di estendere una trascrizione:

• Recupero (Retrieval): fan_out_search, search_corpus, grep_corpus, read_document.
• Curatela (Curation): curate (aggiungere/rimuovere documenti e assegnare tag di importanza).
• Verifica (Verification): verify (controllare le affermazioni scritte dalla policy rispetto ai documenti memorizzati).
• Terminazione (Termination): end_search.

Pipeline di Addestramento

1. Fine-Tuning Supervisionato (SFT): Un agente insegnante (GPT-5.4) opera all'interno dell'harness completo per generare traiettorie. La policy apprende la meccanica dell'interfaccia: formati di chiamata agli strumenti, il ritmo ricerca-curatela, il tagging dell'importanza e le norme di verifica.
2. Apprendimento per Rinforzo (RL): La policy è addestrata on-policy usando CISPO su episodi di ricerca completi. La funzione di ricompensa combina:
   • Qualità del Set: Recall pesata del set curato finale.
   • Copertura della Traiettoria: Credito per il ritrovamento di evidenze ovunque nel pool.
   • Evidenza della Risposta: Ricompense per l'inclusione di documenti che contengono la risposta e penalità per la mancata inclusione degli stessi.
   • Diversità degli Strumenti: Un bonus per l'uso di un set diversificato di strumenti per prevenire il collasso in ricerche ripetitive.
   • Penalità per Turno: Per incoraggiare l'efficienza.

Requisiti Chiave di Design

Gli autori identificano tre requisiti affinché un harness di ricerca stateful sia addestrabile:

1. Curatela con Avvio a Caldo (Warm-started Curation): Auto-popolamento del set curato con i primi risultati di successo per fornire un segnale di apprendimento iniziale.
2. Rendering dello Stato Derivato Compatto: Riassumere lo stato tramite tag di importanza, grafi di evidenza e record di verifica per evitare il bloat del contesto.
3. Incentivi di Preservazione della Diversità: Strutture di ricompensa che incoraggino un ritmo di ricerca, curatela, revisione e verifica.

Contributi Chiave

1. Formulazione: Il documento inquadra il design dell'harness come un problema centrale nel RL per agenti di recupero, proponendo lo "scarico cognitivo stateful" per separare le decisioni semantiche dalla gestione contabile.
2. Sistema Harness-1: Un agente di ricerca da 20B caratterizzato da un set curato con tag di importanza, un grafo di evidenza compatto, record di verifica e rendering del contesto consapevole del budget.
3. Requisiti di Addestrabilità: Identificazione di warm-starting, rendering compatto e incentivi alla diversità come condizioni necessarie per un RL efficace nella ricerca stateful.
4. Validazione Empirica: Dimostrazione che l'harnessing stateful migliora la qualità del recupero e l'accuratezza delle risposte a valle in otto diversi benchmark.

Risultati

Harness-1 è stato valutato su otto benchmark che spaziano dal web alla finanza, brevetti e multi-hop QA (es. BrowseComp+, SEC, HotpotQA).

• Performance: Harness-1 ha raggiunto una recall curata media di 0,730, superando il prossimo sub-agente di ricerca open più forte (Tongyi DeepResearch 30B) di +11,4 punti. Rimane competitivo con modelli frontier molto più grandi (es. GPT-5.4, Opus-4.6), superandone diversi nella recall curata media.
• Generalizzazione del Transfer: Il modello ha mostrato guadagni particolarmente forti sui benchmark di transfer non visti durante l'addestramento (LongSealQA, Seal0QA, FRAMES, HotpotQA), che non erano stati utilizzati in SFT o RL. Il guadagno medio su questi task di transfer (+17,0 punti rispetto a Context-1) è stato 2,2 volte maggiore rispetto al guadagno sui benchmark della stessa famiglia (+7,9 punti), suggerendo che le operazioni apprese sullo stato esplicito si generalizzano meglio rispetto ai pattern specifici del dominio.
• Studi di Ablazione: Disabilitare i singoli meccanismi dell'harness (es. tag di importanza, grafo delle evidenze, auto-seeding) ha portato a cali significativi nella Recall della Risposta Finale (fino a -7,9%). Disabilitare tutti i meccanismi simultaneamente ha causato un calo del -12,2% nella Recall, confermando che i guadagni di performance derivano dal design dell'harness piuttosto che dalla sola capacità intrinseca del modello.
• Dinamiche di Addestramento: Gli esperimenti hanno mostrato che senza una ricompensa per la diversità degli strumenti, la policy collassa in una strategia pesante sulla ricerca con bassa qualità di curatela. Il bonus di diversità è stato essenziale per stabilizzare l'uso degli strumenti e migliorare la recall finale.

Significato e Claim

Il documento sostiene che il design di un harness stateful sia un asse critico, precedentemente poco esplorato, per il RL di agenti di recupero. Scaricando la gestione meccanica all'ambiente, la policy può concentrarsi su decisioni semantiche di alto livello, portando a un addestramento più stabile e a una migliore generalizzazione.

Gli autori affermano che Harness-1 dimostra che un modello più piccolo (20B) con un'interfaccia stateful ben progettata può superare modelli open più grandi e competere con i modelli frontier in compiti di ricerca complessi. I risultati suggeriscono che "l'interfaccia stessa" è una parte centrale di ciò che la policy impara a usare, piuttosto che essere un semplice wrapper di strumenti. Il lavoro punta verso un futuro in cui gli agenti di ricerca sono definiti dalla sinergia tra una policy addestrabile e un harness di scarico cognitivo stateful.

Il documento conclude rilasciando i pesi del modello, il codice dell'harness, la pipeline di generazione dei dati e la ricetta RL per facilitare ulteriore ricerca in questa direzione.