Sintesi Tecnica: Harness-R1

Problematica

Gli agenti basati su Large Language Model (LLM) impiegati in ambienti dinamici accumulano traiettorie di interazione che contengono sia esperienze di successo che fallimenti sistematici (ad esempio, uso errato di strumenti, perdita di stato, violazioni di protocolli). Mentre gli approcci attuali al miglioramento degli agenti si concentrano principalmente sull'aggiornamento dei pesi del modello tramite fine-tuning o apprendimento per rinforzo, l' "harness dell'agente" — il codice di runtime eseguibile che costruisce il contesto, media gli strumenti, valida le azioni e gestisce il recupero — rimane tipicamente statico.

La modifica di questo harness è critica perché pesi identici del modello possono produrre capacità vastamente diverse sotto diverse configurazioni di harness. Tuttavia, la modifica diretta dell'harness è inaffidabile. Le regole fisse (ad esempio, Self-Refine) spesso degradano le prestazioni, e sollecitare modelli frontier tramite prompt per modificare l'harness produce guadagni instabili poiché questi modelli ottimizzano per la plausibilità testuale piuttosto che per il successo verificato del compito. La sfida centrale è sviluppare un metodo che impari a modificare un runtime eseguibile esistente basandosi sui fallimenti osservati dell'agente, garantendo che le modifiche siano validate da reali miglioramenti delle prestazioni piuttosto che da ragionamenti teorici.

Metodologia: Harness-R1

Harness-R1 introduce un paradigma di addestramento che tratta l'editing dell'harness come un problema di apprendimento per rinforzo (RL) online per un modello dedicato di "ingegnere dell'harness", mantenendo il target agent congelato. Il sistema opera su un ciclo di fallimento-modifica-riesecuzione:

1. Formulazione del Problema

• Target Congelato: L'agente target $A$ (modello + runtime base) rimane fisso.
• Failure Packets: Un batch di compiti $B$ viene eseguito, e un estrattore deterministico compila gli episodi falliti in "failure packets" ($s_B$) contenenti vincoli del compito, frammenti di azione-osservazione e risultati.
• L'Ingegnere ($H_\theta$): Un modello dedicato da 9B agisce come editor. Legge un failure packet e genera un overlay eseguibile (patch) $P$.
• Hook Eseguibili: La patch $P$ avvolge il ciclo di vita dell'agente in quattro punti specifici senza alterare i pesi del modello:
  1. Inizializzazione dell'Episodio: Configura il contesto e lo stato.
  2. Pre-Decisione: Aumenta il contesto con guida/vincoli.
  3. Pre-Azione: Valida, riscrive o mette in veto le azioni proposte.
  4. Post-Feedback: Ispeziona le osservazioni e innesca il recupero.
• Segnale di Reward: Il target patchato riesegue lo stesso batch di compiti. Il reward è la differenza nelle prestazioni ($\Delta_B$) tra le esecuzioni patchata e non patchata. Ciò crea un obiettivo trasduttivo, sullo stesso batch, dove il reward è non differenziabile e osservabile solo dopo l'esecuzione.

2. Pipeline di Addestramento

Harness-R1 impiega un processo di addestramento in due fasi:

• Cold-Start Supervised Fine-Tuning (SFT): Un forte modello insegnante propone risposte di editing partendo dai failure packets. Queste vengono validate contro il target congelato; solo le patch eseguibili e non regressive vengono trattenute per formare un dataset per l'inizializzazione della policy dell'ingegnere.
• Outcome-Grounded Group Relative Policy Optimization (GRPO):
  • L'ingegnere campiona $K$ patch candidate per un failure packet.
  • Ogni candidato viene validato e installato; il target congelato riesegue il batch di compiti.
  • I reward sono normalizzati all'interno del gruppo di $K$ candidati per calcolare i vantaggi.
  • I parametri dell'ingegnere vengono aggiornati per massimizzare l'obiettivo surrogato clippato mediato sui token, ottimizzando l'utilità realizzata delle patch.

Contributi Chiave

1. Formulazione: Il paper formula l'editing dell'harness condizionato dal fallimento e su tutto il ciclo di vita come un problema di RL online per un ingegnere dedicato, distinto dall'aggiornamento dei pesi del modello.
2. Framework Harness-R1: Propone un sistema che combina cold-start SFT con GRPO basato sugli esiti. A differenza del lavoro precedente che usa editor per la ricerca di programmi o la selezione di candidati, Harness-R1 aggiorna direttamente la policy dell'editor basandosi sugli esiti di esecuzione delle sue patch sul target congelato.
3. Co-evoluzione: Il metodo dimostra che un ingegnere dell'harness e un agente target possono co-evolvere. Un ingegnere addestrato su un target vanilla migliora quest'ultimo, e un ingegnere ri-addestrato può migliorare ulteriormente un target che ha già subito un fine-tuning diretto.

Risultati Sperimentali

Il metodo è stato valutato su tre benchmark interattivi: WebShop (navigazione web), ALFWorld (compiti embodiment basati su testo) e DBBench (query a database).

• Guadagni di Performance (Target Vanilla): Per un agente Qwen3.5-9B vanilla, Harness-R1 ha aumentato il tasso medio di successo dal 44.3% al 53.6% (+9.3 punti percentuali). Questo ha superato le strategie basate su prompt (ad esempio, Self-Refine, che ha diminuito le prestazioni) e i modelli frontier usati come editor (ad esempio, GLM-5.2 al 48.8%).
• Guadagni di Performance (Target Fine-Tuned): Dopo il fine-tuning diretto del target agent (che ha alzato il baseline al 59.2%), un ingegnere Harness-R1 specifico per il target ha ulteriormente aumentato il successo al 64.2% (+5.0 punti), dimostrando che l'ottimizzazione dell'harness rimane efficace anche dopo l'aggiornamento dei pesi del modello.
• Generalizzazione:
  • Cross-Model: La policy di editing appresa è stata trasferita su 20 modelli target non visti (range da 1B a 70B parametri tra le famiglie Llama, Gemma e Qwen), producendo guadagni positivi su ogni target senza ri-tuning per target.
  • Cross-Task: Utilizzando prove di fallimento scarse (10 fallimenti), l'ingegnere ha generato patch che hanno migliorato i compiti non visti di +8.9 punti, superando significativamente i grandi modelli frontier che hanno mostrato risultati negativi o instabili sui dati non visti.
• Ablation: Rimuovere specifici hook del ciclo di vita (ad esempio, la mediazione pre-azione o il recupero post-feedback) ha ridotto le prestazioni, confermando che i guadagni sono distribuiti lungo l'intero ciclo di vita dell'agente e dipendono dall'ambiente specifico.

Significato e Rivendicazioni

Il paper sostiene che la costruzione dell'harness è una capacità apprendibile che completa i tradizionali aggiornamenti dei pesi. Il suo significato primario risiede nello spostamento dell'obiettivo di ottimizzazione dal processo decisionale interno dell'agente (pesi) ai meccanismi di runtime esterni (harness).

• Affidabilità rispetto alla Plausibilità: Gli autori sostengono che sollecitare grandi modelli a editare codice sia inaffidabile perché ottimizza per l'aspetto di "correttezza". Harness-R1 impara dagli esiti realizzati, garantendo che le modifiche siano realmente benefiche.
• Adattività: A differenza delle strategie fisse (ad esempio, Self-Refine) che applicano regole uniformi, Harness-R1 genera editi condizionati su specifici modi di fallimento, adattandosi alle debolezze uniche del target agent.
• Co-evoluzione: I risultati suggeriscono una strada verso agenti che migliorano continuamente dopo il deployment non solo attraverso il retraining del modello, ma evolvendo l'ambiente di runtime che lo circonda. Il paper conclude che questo approccio permette all'ingegnere e al target di co-evolvere, offrendo un percorso robusto per il miglioramento post-deployment degli agenti.