Supplement Generation Training for Enhancing Agentic Task Performance

1. Il Problema

L'addestramento di modelli fondazionali di grandi dimensioni (LLM) per compiti specifici di agenti è diventato sempre meno praticabile a causa di tre fattori principali:

• Costi computazionali elevati: Il fine-tuning di modelli massicci richiede risorse immense.
• Cicli di iterazione lunghi: Il processo di ottimizzazione è lento.
• Obsolescenza rapida: Nuovi modelli fondazionali vengono rilasciati continuamente, rendendo i modelli specifici per task obsoleti prima che il costo del loro addestramento possa essere ammortizzato.

Inoltre, molti dei modelli più capaci sono disponibili solo tramite API chiuse (closed-source), dove l'accesso ai gradienti per il fine-tuning non è possibile. Di conseguenza, l'ottimizzazione deve spostarsi dal modello stesso all'input. Sebbene l'ottimizzazione dei prompt (Prompt Optimization) sia la risposta naturale, i metodi attuali si limitano spesso a selezionare o riorganizzare template esistenti, senza generare nuovi contenuti specifici per l'istanza o strutture di ragionamento adattive.

2. Metodologia: Supplement Generation Training (SGT)

Gli autori propongono SGT, una strategia efficiente e sostenibile che disaccoppia l'ottimizzazione specifica del task dal modello fondazionale grande. L'idea centrale è addestrare un modello LLM più piccolo (il "Generatore di Supplementi") per produrre testo supplementare utile, che viene concatenato all'input originale prima di essere inviato al modello attore grande e congelato (frozen).

Definizione di "Supplemento"

Un supplemento è un'informazione ausiliaria generata per migliorare il contesto del task. Il paper definisce otto tipi predefiniti di supplementi:

1. Answer: Risposta diretta (simile a un dibattito multi-agente).
2. Background: Contesto o conoscenza esterna.
3. Chain-of-Thought (CoT): Ragionamento passo-passo.
4. Rephrase: Riformulazione del task per ridurre ambiguità.
5. Summary: Sintesi delle informazioni chiave.
6. Mistakes: Avvertimenti su errori comuni.
7. One-shot: Esempio sintetico per guidare il task.
8. Pairs: Esempi contrastanti (corretti vs. errati) per evidenziare trappole.

Pipeline di Addestramento

Il processo di addestramento è strutturato in due fasi principali (illustrate nella Figura 2):

1. Warm-Start SFT (Supervised Fine-Tuning):

   • Poiché un modello non addestrato tende a risolvere il task invece di generare supplementi, si inizia con una fase SFT.
   • Si crea un dataset campionando supplementi per ogni query usando i 8 tipi predefiniti più uno "Free Style".
   • Si utilizzano i risultati dell'attore per identificare quali supplementi hanno portato a soluzioni di successo (segnali di reward proxy).
   • Il modello viene addestrato su questi supplementi di successo per allinearsi al comportamento desiderato.

2. Iterative DPO (Direct Preference Optimization):

   • Questa fase mira a perfezionare la selezione del tipo di supplemento e la qualità della generazione.
   • Si utilizza un approccio di "selezione naturale": per ogni query, si generano molteplici supplementi. Quelli che portano l'attore a un esito positivo formano la classe preferita ($S^+$), quelli falliti la classe negativa ($S^-$).
   • Si costruiscono coppie di preferenza di due tipi:
     • Cross-Type: Confronto tra diversi tipi di supplementi (per imparare a scegliere il tipo giusto).
     • Within-Type: Confronto tra supplementi dello stesso tipo (per migliorare la qualità interna).
   • Il modello viene aggiornato iterativamente (fino a 5 iterazioni) utilizzando una combinazione di perdita DPO e NLL (Negative Log-Likelihood).

Segnale di Reward Proxy

Poiché il modello attore è "black-box" (spesso via API), non si può usare il reward diretto per l'addestramento del generatore. Si utilizza invece il risultato finale del task come proxy reward: se l'attore risolve correttamente il task con un certo supplemento, quel supplemento è considerato di alta qualità.

3. Contributi Chiave

• Nuovo Framework (SGT): Introduzione di un metodo che addestra un piccolo modello per generare supplementi testuali specifici per input, migliorando le prestazioni di grandi LLM senza modificarne i pesi.
• Pipeline di Addestramento Scalabile: Sviluppo di un processo che combina SFT iniziale e DPO iterativo, sfruttando reward basati sugli esiti da modelli attori black-box.
• Validazione Empirica Completa: SGT è stato valutato su 5 benchmark diversi, mostrando un miglioramento significativo rispetto alle baseline e una forte capacità di generalizzazione tra diverse famiglie di modelli.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su cinque benchmark: Spider (SQL), DS-1000 (Codice), HotpotQA (Ragionamento multi-hop), HLE (Conoscenza avanzata) e superGPQA.

• Modelli: Il generatore di supplementi è stato un Qwen3-1.7B, mentre gli attori sono stati v3.5-sonnet-v2 e GPT-OSS-120B.
• Performance: SGT ha superato la baseline (attore senza supplementi) di un 21% in media.
  • Le iterazioni iniziali del DPO mostrano già un miglioramento del +10%.
  • Al 5° iterazione, il guadagno raggiunge il +21%.
• Confronto con Baseline: SGT supera metodi di ottimizzazione dei prompt esistenti come TextGrad e DSPy, che mostrano miglioramenti marginali o inconsistenti.
• Analisi per Task:
  • I guadagni maggiori si osservano in task di ragionamento strutturato (es. Spider, DS-1000), dove i supplementi aiutano a esternalizzare i passaggi intermedi e chiarire i vincoli.
  • I task basati sulla memoria fattuale (es. HotpotQA) mostrano miglioramenti più modesti, suggerendo che i supplementi sono più utili quando il collo di bottiglia è l'organizzazione del ragionamento piuttosto che l'accesso alla conoscenza.

5. Significato e Implicazioni

Il lavoro dimostra che è possibile ottenere prestazioni di livello "agente" avanzato senza il costo proibitivo del fine-tuning di modelli massicci.

• Efficienza dei Costi: Invece di addestrare modelli da centinaia di miliardi di parametri, SGT addestra un modello leggero (1.7B parametri) che è veloce e economico.
• Adattabilità Dinamica: Il sistema impara a selezionare e generare il tipo di supplemento più adatto per ogni singola istanza di input e per il modello attore specifico, superando l'approccio "taglia unica" dei prompt statici.
• Generalizzazione: La strategia funziona bene attraverso diverse famiglie di modelli (Qwen, Sonnet, GPT-OSS) e diversi tipi di task, rendendola una soluzione robusta per il deployment di agenti LLM nel mondo reale.

In sintesi, SGT trasforma l'ottimizzazione del prompt da un processo di selezione di template a un processo di generazione dinamica di contesto, agendo come un "assistente" intelligente che prepara il terreno affinché un "esecutivo" (il modello grande congelato) possa operare al meglio delle sue capacità.