💬 NLP

Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents

Co-Harness è un framework che ottimizza congiuntamente l'harness di runtime di un agente LLM e i parametri del modello attraverso un processo alternato di raffinamento dell'harness e fine-tuning del modello, consentendo il recupero autonomo, guadagni di efficienza e la scoperta di strategie oltre i limiti del post-training a harness fisso.

Autori originali: Zhengyu Chen, Teng Xiao, Huaisheng Zhu, Yige Yuan, Luan Zhang, Jingang Wang

Pubblicato 2026-07-28

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zhengyu Chen, Teng Xiao, Huaisheng Zhu, Yige Yuan, Luan Zhang, Jingang Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un apprendista brillante ma inesperto come risolvere enigmi complessi. Nel mondo dell'intelligenza artificiale, questo apprendista è un "Large Language Model" (LLM) — un programma informatico capace di leggere, scrivere e ragionare. Ma un LLM non lavora nel vuoto; ha bisogno di una bottega. Questa bottega è chiamata "Harness" (Imbracatura). Pensa all'Harness come al set di strumenti, al manuale di istruzioni, ai parapetti di sicurezza e alla banca dati che l'apprendista usa per svolgere il suo lavoro. Include cose come il modo in cui il computer comunica con una calcolatrice, come ricorda i passaggi precedenti e come sa quando chiedere aiuto.

Per molto tempo, gli scienziati hanno trattato l'apprendista e la bottega come due cose separate. Passavano anni ad addestrare l'apprendista per renderlo più intelligente, ma mantenevano la bottega esattamente la stessa, usando gli stessi vecchi strumenti e le stesse istruzioni progettate a mano. Il problema è che, se la bottega ha un tavolo traballante o una mappa confusa, anche l'apprendista più intelligente inciamperà. Potrebbero fallire non perché non siano abbastanza intelligenti, ma perché l'ambiente in cui lavorano è guasto. Questo articolo pone una domanda semplice ma potente: E se non ci limitassimo ad addestrare l'apprendista, ma sistemassimo anche la bottega nello stesso momento? E se l'apprendista potesse aiutarci a capire cosa c'era di sbagliato negli strumenti e poi potessimo insegnargli usando i nuovi, migliori strumenti?

Questo è esattamente ciò che i ricercatori dietro a Co-Harness hanno scoperto. Hanno creato un sistema in cui il modello di IA e la sua "bottega" (l'Harness) evolvono insieme, come due partner di danza che imparano a muoversi in sincronia. Invece di limitarsi a correggere l'IA sperando nel meglio, il loro sistema analizza ogni volta che l'IA fallisce un compito. Si chiede: "È successo perché l'IA era confusa, o perché lo strumento che stava impugnando era rotto?". Se il problema era lo strumento — ad esempio un'istruzione confusa o un gancio di sicurezza mancante — il sistema corregge automaticamente quello strumento. Poi, utilizza il successo dell'IA con il nuovo strumento per insegnare all'IA come diventare ancora più brava.

I risultati sono come guardare una palla di neve che diventa un masso. I ricercatori hanno testato questo approccio su difficili enigmi matematici e logici. Hanno scoperto che, lasciando che l'IA e i suoi strumenti migliorassero insieme, il sistema diventava significativamente più intelligente. Dopo soli due round di questa "co-evoluzione", l'accuratezza dell'IA nei test matematici difficili è aumentata di oltre 20 punti percentuali in media. In un caso specifico, il sistema è rimasto in funzione per oltre 200 ore senza alcun aiuto umano, correggendo i propri crash, velocizzando il proprio lavoro e persino inventando una nuova strategia di combinazione di più tentativi per ottenere la risposta corretta. Il documento suggerisce che questo approccio a "doppio ciclo" — correggere l'ambiente e addestrare il cervello simultaneamente — è un modo molto più potente per costruire agenti intelligenti rispetto al vecchio metodo di mantenere l'ambiente statico. Si scopre che, per creare un genio, a volte bisogna prima costruire un parco giochi migliore.

Sintesi Tecnica: Co-Harness: Co-Evoluzione di Harness e Pesi del Modello per Agenti LLM

1. Definizione del Problema

Il post-training degli agenti per la ricerca automatizzata dell'IA implica tradizionalmente l'ottimizzazione dei parametri del modello trattando il sistema di runtime — l' "Harness" (Impalcatura) — come uno scaffold fisso e statico. L'Harness comprende prompt, strumenti, skill, middleware, policy di memoria e logica di retry. Le pipeline attuali creano un disallineamento fondamentale: il modello viene aggiornato tramite supervised fine-tuning (SFT) o reinforcement learning basandosi su traiettorie generate da un Harness statico, eppure l'Harness stesso non viene mai ottimizzato in base ai fallimenti osservati durante il training.

Questa asimmetria porta a un collo di bottiglia in cui uno scaffolding subottimale (ad esempio, prompt ambigui, schemi di tool errati, mancanza di hook di retry o overflow di memoria) impedisce la generazione di traiettorie di training di alta qualità. Di conseguenza, il modello non può apprendere come superare queste limitazioni ambientali, e l'Harness fisso diventa un soffitto per le prestazioni dell'agente, particolarmente in contesti complessi di Tool-Integrated Reasoning (TIR), dove un singolo errore di schema può interrompere un'intera sessione multi-turn.

2. Metodologia: Framework Co-Harness

Gli autori propongono Co-Harness, un framework a doppio loop che ottimizza congiuntamente l'Harness dell'agente ( $\phi$ ) e i parametri del modello ( $\theta$ ) attraverso un processo alternato. L'ipotesi centrale è che un migliore Harness produca traiettorie più pulite e informative, che a loro volta addestrano un modello più forte; questo modello più forte, a sua volta, espone colli di bottiglia dell'Harness di ordine superiore che prima erano invisibili, consentendo ulteriori miglioramenti dello scaffolding.

Il framework opera in due loop alternati per ogni round $t$ :

A. Il Loop Co-Harness (Ottimizzazione dell'Harness)

In questa fase, il modello $\theta_t$ viene mantenuto fisso mentre l'Harness $\phi_t$ viene evoluto.

Raccolta dei Fallimenti: L'agente esegue i task sotto $(\theta_t, \phi_t)$ , raccogliendo un set di traiettorie fallite $F^-_t$ .
Analisi HarnessCritic: Una componente basata su LLM, HarnessCritic ( $C$ ), analizza questi fallimenti. Essa attribuisce ogni fallimento a una causa radice strutturata all'interno della configurazione dell'Harness (ad esempio, ambiguità del prompt, errore di schema dello strumento, mancanza di skill, mismatch del middleware o overflow di memoria).
Generazione di Diff e Validazione: HarnessCritic propone patch locali (differenze) all'Hress. Queste patch vengono validate eseguendo test di "rollout" per garantire che migliorino la modalità di fallimento target senza causare regressioni nei comportamenti precedentemente validati.
Aggiornamento del Registro: Le patch validate vengono salvate in un registro versionato dell'Harness, aggiornando la configurazione attiva in $\phi^*_t$ .

B. Il Loop di Allineamento del Modello (Ottimizzazione del Modello)

In questa fase, l'Harness evoluto $\phi^*_t$ viene mantenuto fisso mentre il modello viene aggiornato.

Raccolta di Traiettorie di Alta Qualità: L'attuale modello $\theta_t$ viene eseguito sotto l'Harness migliorato $\phi^*_t$ per generare un nuovo dataset $D_t$ di traiettorie di alta qualità.
Supervised Fine-Tuning (SFT): Il modello viene sottoposto a fine-tuning su $D_t$ per interiorizzare i comportamenti abilitati dallo scaffolding migliorato, risultando in un modello aggiornato $\theta_{t+1}$ .
Iterazione: Il nuovo modello $\theta_{t+1}$ e l'Harness evoluto $\phi^*_t$ diventano il punto di partenza per il round successivo, dove il modello più forte potrebbe rivelare nuovi e più complessi limiti dell'Harness.

Tassonomia di Attribuzione dei Fallimenti

HarnessCritic classifica i fallimenti in cinque dimensioni azionabili dell'Harness e un'etichetta di astensione:

Ambiguità del Prompt ( $P$ ): Sotto-specificazione delle istruzioni o obiettivi conflittuali.
Errore di Schema dello Strumento ( $T$ ): Chiamate agli strumenti non valide, cattivi schemi di argomenti o mismatch del backend.
Skill Mancante ( $S$ ): Assenza di routine riutilizzabili o primitive di decomposizione.
Mismatch del Middleware ($Mid$): Protocolli di loop difettosi, comportamenti degli hook o logica di gestione del contesto.
Overflow di Memoria ( $M$ ): Overflow dello stato persistente, memoria obsoleta o fallimenti nel retrieval.
Errore dell'Agente: Casi in cui il fallimento è intrinseco al ragionamento del modello piuttosto che all'Harness.

3. Contributi Chiave

Formulazione di Ottimizzazione Congiunta: Il paper formula il post-training dell'agente come un problema di ottimizzazione congiunta sui pesi del modello e sull'Harness di runtime, andando oltre il paradigma che tratta i prompt e gli strumenti come infrastrutture fisse.
HarnessCritic: L'introduzione di una procedura guidata dai fallimenti che esegue un'attribuzione strutturata degli errori a componenti specifiche dell'Harness e propone diff locali validati per la riparazione.
Meccanismo di Guadagni Composti: La dimostrazione che l'alternanza tra evoluzione dell'Harness e Allineamento del Modello crea un ciclo di feedback positivo, in cui il miglioramento dello scaffolding porta a dati di training migliori, che generano modelli più forti capaci di sfruttare configurazioni di Harness ancora più sofisticate.

4. Risultati Sperimentali

Il framework è stato valutato su task di Tool-Integrated Reasoning (TIR) utilizzando benchmark matematici (AIME 2024, AIME 2025, HMMT 2025) e due scale di modelli (Qwen3-8B e Qwen3-32B).

Guadagni di Performance: Due round di co-evoluzione Co-Harness hanno portato a un miglioramento medio dell'accuratezza di 20,4 punti percentuali (pp) attraverso i benchmark e le scale dei modelli rispetto al baseline (un Harness evoluto una sola volta senza SFT del modello).
- Il guadagno maggiore è stato osservato sul benchmark più difficile (HMMT 2025) per il modello Qwen3-32B, con un miglioramento di 27,2 pp.
- Il sistema ha superato configurazioni di Harness statiche e accuratamente progettate a mano con una media di +24,7 pp.
Caso di Studio Autonomo: In una corsa autonoma di oltre 200 ore su AIME 2024, il sistema:
- È guarito da un crash iniziale del sistema (errore vllm KV cache).
- Ha migliorato l'efficienza dell'inferenza di 8,7× (riducendo il tempo di esecuzione da 3,78h a 1,11h) attraverso l'inferenza a batch globale.
- Ha scoperto una strategia di ensemble (voto di maggioranza di seed diversificati) che ha raggiunto l'accuratezza massima (63,3%) entro il budget temporale, il tutto senza intervento umano.
Robustezza: Il sistema ha rilevato con successo e riportato indietro (rollback) le regressioni (ad esempio, prompt specifici del dominio che entravano in conflitto con il ragionamento interno del modello) utilizzando il suo registro versionato.

5. Significato e Rivendicazioni

Il paper sostiene che Co-Harness affronta un limite critico nello sviluppo attuale degli agenti: il disaccoppiamento dell'addestramento del modello dall'ambiente che genera i dati di training. Trattando l'Harness come una variabile apprendibile piuttosto che come uno scaffold statico, Co-Harness abilita l'auto-miglioramento composto.

Gli autori affermano che questo approccio realizza una "spirale di feedback positivo" dove:

Un migliore Harness produce un uso degli strumenti più pulito e meno crash evitabili.
Queste traiettorie più pulite addestrano un modello più forte.
Il modello più forte può sfruttare configurazioni di Harness più ricche e complesse che prima erano inutilizzabili.

Ciò contrasta con il lavoro precedente che o ottimizza il modello per un Harness fisso (standard SFT/RL) o ottimizza l'Harness per un modello fisso (ricerca al tempo di inferenza). Co-Harness è presentato come il primo framework che co-evolve entrambi, suggerendo che l'interdipendenza tra scaffolding e pesi del modello è un asse primario per migliorare le capacità degli agenti oltre il post-training a harness fisso.

Limitazioni note dagli autori: L'approccio richiede un LLM critico capace, un volume sufficiente di traiettorie di fallimento per il cold-start e una computazione significativa per i multi-round di SFT. Inoltre, l'accuratezza dell'attribuzione può degradare per modalità di fallimento che richiedono un ragionamento controfattuale complesso, e la riprogettazione strutturale dell'Harness rimane una responsabilità umana.