Riepilogo Tecnico: Agentic-DPO

1. Definizione del Problema

Gli agenti basati su Large Language Model (LLM) vengono frequentemente addestrati tramite Supervised Fine-Tuning (SFT) su traiettorie di esperti. Sebbene l'SFT sia semplice e a basso costo, tratta il comportamento multi-turno dell'agente come una ordinaria imitazione testuale. Questo approccio eredita i limiti del behavior cloning: il modello impara a imitare la sequenza di token dell'esperto, ma non impara come scegliere l'azione corretta quando si trova di fronte a errori plausibili in uno stato specifico.

I metodi esistenti per affrontare questo problema, come l'apprendimento delle preferenze o il Reinforcement Learning (RL), richiedono spesso costosi rollout nell'ambiente, modelli di ricompensa o l'esplorazione dell'intera traiettoria da parte dello studente. Inoltre, l'applicazione ingenua dell'apprendimento delle preferenze alle azioni dell'agente è problematica perché le stringhe di azione mescolano la decisione latente della policy con la resa specifica dello schema (ad esempio, JSON rispetto al formato ReAct). Se non controllato, il modello potrebbe ottimizzare lo stile di resa piuttosto che la decisione sottostante.

La sfida centrale consiste nel convertire le traiettorie degli esperti in preferenze d'azione condizionate dallo stato che insegnino all'agente come evitare i propri errori probabili, senza il carico computazionale dell'RL online o la necessità di modelli di ricompensa esterni.

2. Metodologia: Agentic-DPO

Gli autori propongono Agentic-DPO, un metodo leggero di ottimizzazione della policy dell'agente offline. Esso trasforma le traiettorie degli esperti in supervisione delle preferenze contrastando l'azione dell'esperto con una "azione errata plausibile" campionata dalla policy dello studente corrente allo stesso stato.

Meccanismo Core

1. Costruzione delle Preferenze Condizionate allo Stato:

   • Per ogni passo dell'esperto $(s_t, u^+_t)$ in una traiettoria, il metodo tratta l'azione dell'esperto come la scelta "preferita".
   • Campiona un'azione a un singolo passo dalla policy dello studente attuale ($\pi_{\theta_{student}}$) allo stesso stato $s_t$.
   • L'azione campionata dallo studente viene analizzata (parsed) in una decisione latente. Se è equivalente all'azione dell'esperto (stesso strumento/argomenti), viene scartata. Se è una decisione diversa ma valida, funge da campione "scartato" (negativo) ($u^-_t$).
   • Ciò crea una tripla di preferenza $(s_t, u^+_t, u^-_t)$ in cui il modello è addestrato a preferire l'azione dell'esperto rispetto all'errore specifico che lo studente è probabile che commetta.

2. Funzione di Perdita (Loss Function):

   • Il metodo utilizza una funzione di perdita in stile Direct Preference Optimization (DPO), ottimizzata solo sui token dell'azione generata.
   • Per gestire le diverse lunghezze delle azioni tra diversi strumenti o interazioni GUI, viene utilizzato un coefficiente di preferenza scalato sulla lunghezza $\beta_{eff}$ per evitare che azioni lunghe dominino il gradiente semplicemente a causa del conteggio dei token.

Strategie di Stabilizzazione

Per garantire la stabilità e impedire al modello di ottimizzare la formattazione superficiale invece della logica decisionale, Agentic-DPO introduce due componenti chiave:

• SFT Anchor:

  • L'addestramento inizia con un warm-up SFT per garantire che lo studente comprenda i formati di azione validi.
  • Durante l'addestramento DPO, viene utilizzata una policy di riferimento congelata ($\pi_{ref}$) derivata dalla fase SFT.
  • La perdita totale combina il termine contrastivo DPO con un termine SFT ($L_{train} = L_{ADPO} + \lambda L_{SFT}$). Questa ancora impedisce alla perdita di preferenza di sopprimere troppo aggressivamente la probabilità dell'azione dell'esperto e mantiene la policy vicina a una sintassi valida.

• Policy-Preserving Augmentation (PPA):

  • PPA renderizza la stessa traiettoria latente sotto molteplici viste di schema (ad esempio, cambiando i nomi degli strumenti, passando tra i formati ReAct e JSON, o iniettando contesti di recupero).
  • Campionando diverse viste $\phi$ per la stessa coppia di preferenze latenti durante l'addestramento, il metodo media i gradienti relativi alle forme specifiche dello schema ($H_\theta$), assicurando che il modello ottimizzi il margine della decisione latente ($G_\theta$).

Procedura di Addestramento

L'addestramento avviene in "round di aggiornamento" (refresh rounds). In ogni round, la attuale policy dello studente viene utilizzata per campionare nuove azioni negative per un sottoinsieme di dati dell'esperto. Ciò consente ai campioni negativi di evolversi man mano che lo studente migliora, fornendo un segnale di "hard negative" dinamico senza richiedere l'interazione con l'ambiente.

3. Contributi Chiave

1. Agentic-DPO: Un metodo leggero di ottimizzazione della policy offline che costruisce preferenze d'azione condizionate dallo stato contrastando le azioni degli esperti con i negativi a singolo passo dello studente, eliminando la necessità di rollout dell'ambiente online o modelli di ricompensa.
2. Policy-Preserving Augmentation (PPA): Una tecnica che renderizza le traiettorie latenti sotto molteplici schemi per ridurre i gradienti di preferenza dominati dallo schema, stabilizzando il DPO a livello di azione.
3. Validazione Empirica: Dimostrazione che Agentic-DPO migliora le prestazioni dell'agente attraverso diversi benchmark (uso di strumenti, interazione utente a lungo raggio e grounding web-GUI) e scale di modello, superando l'SFT standard e pareggiando i metodi RL online a una frazione del costo.

4. Risultati Sperimentali

Gli autori hanno valutato Agentic-DPO su tre benchmark: StableToolBench (uso di strumenti), $\tau$-bench retail (interazione intercalata con l'utente a lungo raggio) e Mind2Web (grounding web-GUI), utilizzando modelli Qwen3.5 (2B, 4B, 9B) e Gemma3-4B.

• Guadagni di Prestazione: Agentic-DPO ha costantemente superato SFT e altri baseline (PPA+SFT, DFT, ETO, GRPO) in tutte le scale dei modelli.
  • Su $\tau$-bench retail, Agentic-DPO ha elevato l'accuratezza di un modello da 9B dal 21.7% (SFT) al 41.4%, eguagliando le prestazioni di GRPO online (40.0%) ma senza i rollout dell'RL online.
  • Su StableToolBench, ha migliorato un modello da 2B dal 57.1% (SFT) al 90.9%, superando i forti baseline.
  • Su Mind2Web, ha raggiunto un tasso di successo medio per step del 64.4% sugli split tenuti fuori (held-out).
• Efficienza: Agentic-DPO è significativamente più economico dell'RL online. Su $\tau$-bench, costa 1.6x il tempo di esecuzione per step rispetto a SFT, mentre GRPO costa 13.6x a causa dei multi-turn rollout.
• Studi di Ablazione:
  • Rimuovere il warm-up SFT ha causato il collasso delle prestazioni allo 0.0% (rigetto del parser).
  • Rimuovere l'ancora SFT durante l'addestramento ha portato a una maggiore varianza e a una minore accuratezza.
  • Rimuovere PPA ha mantenuto un'alta accuratezza canonica ma ha ampliato significativamente il divario tra l'accuratezza canonica e quella perturbata (out-of-distribution), indicando che PPA è cruciale per la robustezza.
• Scaling: Il metodo mostra rendimenti decrescenti sul numero di negativi campionati ($K$) oltre i 2–4, suggerendo che il beneficio principale derivi dal trovare un errore locale plausibile piuttosto che dall'approssimare una distribuzione completa di rollout. È anche altamente efficiente nei dati, funzionando bene con solo il 25% dei dati dell'esperto.

5. Significato e Rivendicazioni

Il paper sostiene che le traiettorie degli esperti possono supportare un ottimizzazione della policy agentica a basso costo quando la loro struttura stato-azione viene utilizzata direttamente. Convertendo le dimostrazioni in preferenze d'azione a livello di stato, Agentic-DPO colma il divario tra semplice imitazione (SFT) e costoso reinforcement learning online.

Gli autori sottolineano che Agentic-DPO fornisce un segnale di addestramento "consapevole dello studente" (student-aware) — insegnando al modello come evitare i propri errori probabili — senza i costi dominanti dell'RL (ripetuti rollout completi della traiettoria nell'ambiente e addestramento del modello di ricompensa). Sebbene sia un metodo offline limitato agli stati presenti nei dati dell'esperto (a differenza dell'RL online che può esplorare nuovi stati), i risultati suggeriscono che sia un approccio altamente efficace e pratico per migliorare il processo decisionale dell'agente in vari paradigmi di interazione.