Sintesi Tecnica: GRPO Non Colma il Gap di Coordinazione Multi-Agente

Definizione del Problema

Il documento investiga la capacità dei Large Language Models (LLM) di coordinarsi come più agenti che condividono una risorsa comune, una capacità critica per i sistemi in cui gli LLM agiscono come lavoratori, crawler o analisti autonomi. Gli autori utilizzano il problema dei Filosofi Pensanti (Dijkstra [1971]) come un banco di prova pulito. In questa configurazione, $N$ agenti siedono attorno a un tavolo circolare con $N$ forchette; ogni agente deve possedere due forchette adiacenti per mangiare. Il gruppo ha successo solo se tutti gli agenti mangiano senza deadlock (uno stato in cui ogni agente tiene una forchetta e attende indefinitamente).

Lo studio affronta due domande primarie:

1. Quanto bene i modelli frontier e open-weight attuali coordinano in questo setting multi-agente?
2. Può la Group Relative Policy Optimization (GRPO), perfezionata (fine-tuned) su rollout derivati dal compito stesso, colmare il divario di prestazioni tra i modelli open-weight più deboli e i sistemi frontier?

Metodologia

Configurazione Sperimentale

• Modelli Valutati: Lo studio valuta sette modelli attraverso 630 episodi (30 episodi per modello per conteggi di filosofi $N \in \{5, 10, 15\}$).
  • Frontier Closed-Source: Claude Opus 4.7, GPT-5.4, Gemini 3.1 Pro, Grok 4.2.
  • Baseline Open-Source: Mistral-Small 24B.
  • Modelli Target: Qwen3-14B (base) e Qwen3-14B fine-tuned con GRPO.
  • Supplementari: Un esperimento su scala ridotta (270 episodi) che coinvolge Qwen3-8B, Qwen3-8B+GRPO e DeepSeek-R1-Distill-Qwen-7B.
• Ambiente: Ogni filosofo è implementato come un agente LangGraph che avvolge l'LLM. Gli agenti interagiscono tramite sei strumenti: pick-up-left, pick-up-right, put-down-left, put-down-right, eat e think.
• Funzione di Ricompensa: Una ricompensa scalare a quattro componenti ($r$) è calcolata per episodio:
  $$r = \alpha \cdot r_{nd} + \beta \cdot r_{thru} - \gamma \cdot r_{fair} - \delta \cdot r_{idle}$$
  Dove:
  • $r_{nd}$: Indicatore binario per assenza di deadlock (peso $\alpha=1.0$).
  • $r_{thru}$: Throughput normalizzato (pasti consumati).
  • $r_{fair}$: Varianza nei pasti per filosofo (penalità).
  • $r_{idle}$: Frazione di azioni think (no-op) (penalità).
  • Nota: I pesi sono $\alpha=1.0, \beta=0.5, \gamma=0.3, \delta=0.1$.

Procedura di Training

• Algoritmo: Group Relative Policy Optimization (GRPO) come implementato in OpenPipe ART.
• Configurazione:
  • Modelli base: Qwen3-14B e Qwen3-8B.
  • Adapter: LoRA (rank 8).
  • Dati: Rollout raccolti con $N=5$ filosofi, 5 round per episodio.
  • Passaggi di Training: 16 passaggi totali, con 2 gruppi di 3 episodi campionati per passaggio.
  • Checkpointing: La policy predefinita salva l'adapter dall'ultimo step (Step 15).

Risultati Chiave

1. Il Gap di Coordinazione

Esiste un divario di prestazioni statisticamente significativo tra i modelli frontier e l'open-weight Qwen3-14B:

• Modelli Frontier: Raggiungono una ricompensa media tra 0,45 e 0,87 a $N=5$. I tassi di deadlock variano da 0,10 a 0,53.
• Mistral-Small 24B: Raggiunge una ricompensa media di 0,83 a $N=5$ (e fino a 0,99 a scale superiori), superando diversi modelli frontier a scale maggiori.
• Qwen3-14B (Base): Raggiunge una ricompensa media di soli 0,13 a $N=5$, con un tasso di deadlock di 0,87.

2. Inefficacia del Fine-Tuning Naive con GRPO

Il fine-tuning di Qwen3-14B con GRPO su rollout del compito non ha colmato il gap:

• Significatività Statistica: Un t-test di Welch sulle ricompense per episodio a $N=5$ ha prodotto $p=0,66$ e Hedges' $g = -0,11$. Il modello addestrato (0,092) era numericamente leggermente peggiore del base (0,128), ma la differenza non era statisticamente significativa.
• Scalabilità: La mancanza di miglioramento è persistita a $N=10$ e $N=15$.
• Conclusione: Il collo di bottiglia per il modello 14B non è la capacità di calcolo ma la metodologia di training.

3. Dinamiche di Training e Problemi di Checkpoint

• Collasso della Ricompensa: Le traiettorie della ricompensa di training per entrambi i run (8B e 14B) hanno raggiunto il picco al Passaggio 9 e successivamente sono declinate.
• Checkpoint Subottimale: Il checkpoint salvato di default (Passaggio 15) era strettamente peggiore sulla distribuzione di training rispetto alle prestazioni di picco al Passaggio 9. Gli autori notano che, senza un set di validazione, la policy predefinita "salva l'ultimo step" ha selezionato un modello degradato.

4. Degenerazione della Funzione di Ricompensa

Il paper identifica un difetto critico nella formulazione della ricompensa:

• Massimo Degenerato: La formula della ricompensa permette un punteggio massimo di 1,0 per un episodio con zero pasti e zero azioni, a patto che non si verifichi un deadlock (poiché $r_{nd}=1$ e tutti gli altri termini sono zero).
• Evidenza Empirica:
  • DeepSeek-R1-Distill-Qwen-7B: Ha ottenuto 1,0 in tutte le configurazioni perché non ha emesso chiamate a tool parseabili (inazione), evitando così il deadlock.
  • Mistral-Small 24B: A $N=5$, ha ottenuto una ricompensa media di 0,83 con zero pasti, indicando che ha compiuto azioni che non hanno portato a mangiare ma hanno evitato il deadlock.
• Implicazione: Il segnale di ricompensa privilegia il "non fallire" (no deadlock) rispetto al "fare progressi" (mangiare), il che può incentivare l'inazione o strategie banali.

Significato e Assertive

Il paper sostiene che la sola capacità non produce un comportamento coordinato multi-agente alla scala open-weight di 14B. I principali contributi sono:

1. Risultato Nullo Empirico: Dimostrare che il fine-tuning standard con GRPO su rollout del compito fallisce nel migliorare la coordinazione multi-agente per Qwen3-14B, lasciandolo molto indietro rispetto ai modelli frontier e persino a una baseline open-source da 24B.
2. Critica Metodologica: Identificare che la "ricetta predefinita" per il fine-tuning RL (specificamente la selezione del checkpoint e la modellazione della ricompensa) è insufficiente. Gli autori sostengono che il collo di bottiglia non sia la capacità intrinseca del modello ma la metodologia di training.
3. Tre Interventi: Il paper propone tre aree specifiche per interventi futuri per migliorare i risultati:
   • Reward Shaping: Modificare la ricompensa per prevenire il massimo degenerato (ad esempio, richiedendo almeno un pasto per il bonus di assenza di deadlock).
   • Disciplina del Checkpoint: Selezionare il miglior checkpoint basandosi sulla ricompensa di training o su un set di validazione tenuto separato, piuttosto che sull'ultimo step.
   • Curriculum: Implementare un curriculum attraverso diverse scale del problema (conteggi dei filosofi), che non è stato testato in questo studio.

Gli autori mantengono una posizione modesta, notando che le loro scoperte sono limitate alla specifica esecuzione GRPO con "ricetta predefinita" su Qwen3-14B a $N=5$. Non sostengono che GRPO sia fondamentalmente incapace di risolvere il problema, ma piuttosto che la specifica implementazione e gli iperparametri utilizzati sono falliti nel colmare il gap di coordinazione.