Riepilogo Tecnico: Scalare l'Intelligenza dell'Harness tramite l'Evoluzione dell'Harness Just-in-Time

1. Definizione del Problema

La capacità di un agente LLM non è determinata unicamente dai pesi del modello di base, ma è definita congiuntamente dall'agent harness (l'impalcatura operativa): lo scaffold operativo che comprende la gestione della memoria, le strategie di pianificazione, i protocolli di azione e l'orchestrazione di strumenti/competenze. Sebbene un modello forte possa fallire sotto un harness inappropriato, un harness robusto può sbloccare il potenziale solo se il modello è in grado di interpretarlo e seguirlo.

Gli approcci attuali all'ottimizzazione dell'harness si affidano prevalentemente a metodi Ahead-of-Time (AOT). Questi sistemi trattano l'harness come un artefatto duraturo, ottimizzato su uno stream di esperienze per generalizzare su task futuri. Tuttavia, gli approveri AOT faticano con la dipendenza dall'istanza: diversi task (ad esempio, ricerca estesa vs. task terminali vs. ricerca profonda) richiedono prior dell'harness fondamentalmente differenti. Ottimizzare un singolo harness AOT attraverso richieste eterogenee è laborioso, richiede spazi di progettazione vasti e l'accumulo di traiettorie, fallendo spesso nel corrispondere alla struttura specifica di un nuovo problema. Il paper sostiene che la progettazione dell'harness debba passare da un compito di ingegneria manuale e statico a una capacità Just-in-Time (JIT), in cui un meta-agente addestrato sintetizza un harness specifico per il task al volo.

2. Metodologia: JIT-Agent

Gli autori propongono JIT-Agent, un meta-agente compatto progettato per sintetizzare, riparare ed evolvere harness adattivi al task per arbitrari LLM agentici off-the-shelf.

2.1 Formalizzazione: Il Protocollo a Quattro Moduli

Per rendere la generazione dell'harness fattibile e strutturata, il paper formalizza l'agent harness come un artefatto composibile e generabile da macchine, governato da un protocollo a quattro moduli fissi $\Pi = (M, P, A, F)$:

1. Memoria ($M$): Comprime la cronologia in una vista ($v_t$) della cronologia realizzata.
2. Pianificazione ($P$): Converte la vista in una direttiva locale ($d_t$).
3. Orchestrazione delle Capacità ($F$): Seleziona e sequenzia strumenti/competenze rilevanti ($C_t$) basandosi sulla direttiva.
4. Azione ($A$): Consuma il contesto assemblato per aggiornare lo stato del controller ed emettere la successiva azione ($e_t$).

Questa fattorizzazione trasforma programmi eterogenei in coordinate confrontabili all'interno di uno spazio conforme al protocollo ($H_\Pi$). Gli autori introducono HarnessFactory, un codebase unificato che implementa 13 scaffold contemporanei rappresentativi (ad esempio, ReAct, Plan-and-Execute, agenti ricorsivi) sotto questa interfaccia comune per servire come banca di semi ($B_0$).

2.2 Pipeline di Addestramento

JIT-Agent è addestrato tramite una pipeline in tre stadi per raggiungere l'Harness Intelligence (adattività, affidabilità ed evolvibilità):

• Stadio I: Personalizzazione Condizionata al Task

  • Obiettivo: Insegnare al modello a mappare una specifica di task e un piccolo contesto di riferimento in un harness conforme al protocollo.
  • Metodo: Un modello teacher più forte e congelato sintetizza harness adattati al task. I dati di addestramento includono sia il supervised fine-tuning (SFT) su generazioni valide che l'apprendimento delle preferenze. L'obiettivo di preferenza ($L_{pref}$) ottimizza gli harness che migliorano il reward del task senza degradare l'efficienza (latenza o costo), utilizzando una regola di preferenza di tipo Pareto.

• Stadio II: Riparazione degli Harness

  • Obiettivo: Garantire l'affidabilità imparando a recuperare dai fallimenti di sintesi.
  • Metodo: Le generazioni fallite (errori del compilatore, mismatch di interfaccia, eccezioni a runtime) vengono convertite in traiettorie di riparazione limitate. Un modello teacher propone revisioni strutturate ($\Delta$) per correggere l'harness. Il modello viene addestrato a imitare queste transizioni di riparazione, imparando a usare il feedback di esecuzione per ripristinare l'esecuzione conforme al protocollo entro un breve orizzonte (massimo 2 round).

• Stadio III: Evoluzione tramite Evolutionary Group-Decoupled Policy Optimization (Evo-GDPO)

  • Obiettivo: Abilitare l'evoluzione online dove il modello impara a proporre harness che superino la frontiera dell'archivio corrente.
  • Metodo: Durante l'addestramento, il modello propone un gruppo di harness candidati. Questi vengono valutati rispetto a un incumbent (il miglior harness nella banca attuale per quel task). Il segnale di reward è disaccoppiato in tre canali:
    1. Reward: Segnale primario; i candidati devono eguagliare o superare il reward dell'incumbent.
    2. Latenza e Costo: Segnali di efficienza attivati solo se il reward è preservato.
  • La policy viene aggiornata utilizzando un obiettivo di tipo PPO guidato da un vantaggio aggregato e normalizzato che premia il superamento della frontiera mantenendo l'efficienza. La banca di harness ($B_n$) viene aggiornata conservativamente, trattenendo solo i design che fanno avanzare la frontiera.

2.3 Architettura di Inferenza

JIT-Agent supporta due modalità di inferenza:

• Inferenza Statica: Genera $N$ harness in parallelo, ne seleziona uno ed esegue. Utile per massimizzare la diversità dei candidati senza aumentare i rollout nell'ambiente.
• Inferenza in Streaming: Progettata per stream di task. Il modello recupera riferimenti da una banca in evoluzione, genera un harness, lo esegue e aggiorna la banca basandosi sul feedback. Ciò consente il trasferimento dell'esperienza tra i task senza aggiornare i parametri del modello durante il deployment.

3. Risultati Chiave

Il paper valuta JIT-Agent attraverso nove benchmark che coprono ricerca profonda, lavoro quotidiano, pianificazione e task di workspace, utilizzando backbone tra cui GLM-5.2, DeepSeek-V4-Flash, Qwen3.6 e Mimo-V2.5.

• Guadagni di Performance: Sostituire gli scaffold predefiniti con harness generati da JIT produce miglioramenti costanti.

  • GLM-5.2: Miglioramento medio di +7.7 punti su nove benchmark. Guadagni notevoli includono +20.2 su DeepPlanning-Travel e +4.3 su OdysseyBench.
  • DeepSeek-V4-Flash: Miglioramento medio di +8.8 punti. Supera GPT-5.6 su DeepSearchQA (+9.1).
  • Generalizzazione: JIT-Agent migliora le performance in tutte le famiglie di modelli testate (DeepSeek, Qwen, Mimo) e varianti (Flash/Pro), indicando che la capacità è trasferibile attraverso i pesi del modello.

• Competitività con Harness Fissi:

  • Gli harness generati da JIT sono competitivi in termini di performance con runtime maturi come OpenCode e Claude Code.
  • Su DeepSeek-V4-Flash, JIT-Agent supera il più forte harness fisso (NanoBot) di +4.7 punti su DeepSearchQA e +4.0 punti su xBench-DS.

• Efficienza dei Costi:

  • JIT-Agent raggiunge il minor consumo di token e il minor costo API in tutti i setting controllati.
  • Rispetto all'harness fisso più economico, riduce i costi per caso del 14.9–54.1% (media 36.0%) migliorando al contempo le performance. Ad esempio, su DeepSeek-V4-Flash xBench-DS, l'uso di token è sceso da 527K a 212K mentre le performance sono salite da 78.0 a 82.0.
  • L'analisi della frontiera di Pareto mostra che JIT-Agent sposta i punti operativi verso l'alto a sinistra (maggiori performance, minori costi), provando che i guadagni non derivano da traiettorie più lunghe ma da una migliore orchestrazione.

• Evoluzione al Tempo di Test:

  • JIT in Streaming (che aggiorna la banca di harness su uno stream di task) supera costantemente la JIT Statica (generazioni indipendenti) in accuratezza cumulativa, dimostrando il valore dell'apprendimento dal feedback di esecuzione.

4. Significato e Rivendicazioni

Il paper sostiene di aver stabilito l'Harness Intelligence come una nuova dimensione di capacità, addestraibile e trasferibile, ortogonale allo scaling del modello.

• Cambio di Paradigma: Il lavoro sposta l'ingegneria dell'harness da "Ahead-of-Time" (ottimizzazione di un artefatto statico) a "Just-in-Time" (sintesi di uno scaffold specifico per il task al volo).
• Modello-come-Harness: Dimostra che un meta-agente addestrato può generare scaffold operativi che permettono a backbone più deboli o più efficienti di competere o superare modelli più forti con harness fissi.
• Scalabilità: Formalizzando l'harness come un protocollo composibile e addestrando un generatore per evolverlo, il paper suggerisce una via per scalare la capacità degli agenti attraverso l'ottimizzazione dell'ambiente di esecuzione stesso, piuttosto che esclusivamente attraverso lo scaling dei parametri del modello.
• Direzione Futura: Gli autori vedono questo come un passo verso il Co-Design Model-Harness, dove i modelli di base potrebbero eventualmente interiorizzare la capacità di costruire, rivedere ed evolvere i propri sistemi di esecuzione.

Il paper conclude che l'intelligenza dell'harness non è un semplice dettaglio di implementazione, ma un determinante di primo ordine delle performance dell'agente, capace di recuperare una capacità sostanziale che altrimenti richiederebbe costoso scaling del backbone.