Riepilogo Tecnico: F-TIS – Sfruttare Modelli Diversi in GRPO Collaborativo

Enunciato del Problema

L'Ottimizzazione della Politica Relativa di Gruppo (GRPO) si è affermata come metodo dominante per l'addestramento post-iniziale dei Modelli Linguistici su Grande Scala (LLM), in particolare per potenziare le capacità di ragionamento. A differenza dell'Ottimizzazione della Politica Prossimale (PPO), la GRPO elimina la necessità di un modello di valore separato calcolando i vantaggi rispetto a un gruppo di completamenti generati per un singolo prompt. Tuttavia, la natura auto-regressiva della generazione degli LLM crea un significativo collo di bottiglia computazionale durante la fase di inferenza.

Per affrontare questo problema, lavori precedenti hanno esplorato la distribuzione del passo di generazione su più nodi. Gli approcci distribuiti esistenti assumono largamente modelli omogenei (architetture e parametri identici) per mantenere condizioni "on-policy". Tale assunzione è poco pratica per scenari di addestramento decentralizzato dove i partecipanti possiedono risorse e preferenze eterogenee. In tali ambienti, emergono tre tipi di eterogeneità:

1. Dimensione del Modello: I nodi possono eseguire modelli con conteggi di parametri drasticamente diversi (ad es. 1B vs 3B).
2. Competenza del Modello: I nodi possono possedere modelli di dimensioni simili ma con specializzazioni diverse (ad es. generalista vs codificatore).
3. Parametri Addestrabili: I nodi possono impiegare diverse strategie di fine-tuning (ad es. fine-tuning completo vs Fine-Tuning Efficiente in Parametri come LoRA).

Quando modelli eterogenei collaborano senza adeguamenti, i dati di addestramento diventano altamente off-policy. La divergenza tra la politica generante ($\pi_{gen}$) e la politica di aggiornamento ($\pi_{\theta}$) introduce rumore distruttivo, portando al collasso della politica o a prestazioni significativamente degradate rispetto all'addestramento in isolamento.

Metodologia: Campionamento per Importanza Troncato Filtrato (F-TIS)

Gli autori propongono F-TIS, un framework unificato progettato per abilitare un addestramento GRPO collaborativo stabile su modelli eterogenei minimizzando al contempo l'overhead di comunicazione. La metodologia combina due meccanismi chiave: Campionamento per Importanza Troncato (TIS) e Filtraggio dei Campioni.

1. Campionamento per Importanza Troncato (TIS)

La GRPO standard assume dati on-policy. Per gestire campioni off-policy, gli autori adattano la funzione di perdita utilizzando il campionamento per importanza. Confrontano tre approcci:

• NoIS (Nessun Campionamento per Importanza): Tratta tutti i campioni come on-policy (baseline per il fallimento).
• VIS (Campionamento per Importanza Vanilla): Applica il rapporto di importanza $\frac{\pi_{\theta}}{\pi_{gen}}$ a ogni token.
• TIS (Campionamento per Importanza Troncato): Tronca il rapporto di importanza a una costante $C$ (ad es. $C=2$) per impedire che pesi estremi destabilizzino l'addestramento. Il rapporto viene spostato fuori dalla somma interna sui token.

La formulazione della perdita TIS è:
$$\mathcal{L}_{GRPO} = \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|a_i|} \sum_{t=1}^{|a_i|} \min \left( \frac{\pi_{\theta}(a_{i,t}|p \circ a_{i,<t})}{\pi_{gen}(a_{i,t}|p \circ a_{i,<t})}, C \right) \cdot \min \left( R_{i,\theta} \hat{A}_i, \text{clip}(R_{i,\theta} \hat{A}_i, 1-\epsilon, 1+\epsilon) \right)$$
Dove $R_{i,\theta}$ è il rapporto staccato e $\hat{A}_i$ è il vantaggio di gruppo.

2. Filtraggio dei Campioni

Gli autori osservano che i campioni off-policy con vantaggi negativi ($\hat{A}_i < 0$) possono amplificare token improbabili, portando a completamenti incomprensibili. Introducono un meccanismo di filtraggio basato su:

• Vantaggio: I campioni con $\hat{A}_i < 0$ vengono scartati per il passo di aggiornamento.
• Divergenza KL: Vengono filtrati anche i campioni in cui la divergenza KL tra la politica corrente e la politica generante supera una soglia $g$ ($D_{KL}(\pi_{\theta} \parallel \pi_{gen}) > g$).

I campioni filtrati vengono comunque utilizzati per calcolare il vantaggio di gruppo (per mantenere la classificazione relativa del gruppo) ma sono esclusi dall'aggiornamento del gradiente.

3. Il Framework F-TIS

F-TIS integra TIS e filtraggio. Il termine di vantaggio $\hat{A}_{t,i}$ nella funzione di perdita viene impostato a 0 se il campione è filtrato (cioè se $\hat{A}_i \leq 0$ OPPURE $D_{KL} > g$).

• Efficienza di Comunicazione: Il framework richiede una comunicazione minima, trasmettendo solo token e log-probabilità (circa 8 byte per token), rendendolo adatto a reti decentralizzate.

Contributi Chiave

1. Identificazione delle Sfide dell'Eterogeneità: Il documento dimostra empiricamente che la GRPO standard fallisce in ambienti decentralizzati eterogenei (NoIS), portando a un degrado delle prestazioni rispetto all'addestramento isolato.
2. Algoritmo F-TIS: Un nuovo paradigma di addestramento che sfrutta con successo campioni off-policy da modelli diversi (dimensioni, competenze e configurazioni PEFT differenti) senza causare il collasso della politica.
3. Efficienza di Comunicazione: L'approccio mantiene un basso overhead di comunicazione, richiedendo solo log-probabilità e token, a differenza di metodi che richiedono la sincronizzazione completa del modello o scambi pesanti di modelli di valore.
4. Studi di Ablazione: Gli autori analizzano sistematicamente l'impatto della soglia di filtraggio $g$ e confrontano F-TIS con F-VIS (Campionamento per Importanza Vanilla Filtrato), dimostrando la superiorità del troncamento nelle fasi successive dell'addestramento.

Risultati Sperimentali

Gli autori hanno valutato F-TIS sul dataset GSM8k per l'addestramento e sul dataset MATH-500 per il test fuori distribuzione (OOD), utilizzando modelli Qwen2.5 (1.5B e 3B, varianti Base e Coder).

• Convergenza: F-TIS raggiunge una convergenza finale del modello identica all'addestramento puramente on-policy (omogeneo) in tutti gli setup eterogenei.
• Generalizzazione (OOD): In diverse configurazioni, F-TIS ha superato l'addestramento on-policy isolato su compiti OOD. Noto:
  • Il modello 3B Coder accoppiato con un modello Base ha migliorato le sue prestazioni su MATH-500 del 5,2%.
  • Il modello 3B Coder accoppiato con un modello Coder più piccolo ha migliorato le prestazioni del 12%.
  • Il modello 3B PEFT ha migliorato le prestazioni del 7% quando addestrato in collaborazione.
• Soglia di Filtraggio ($g$): Gli studi di ablazione hanno rivelato che valori di $g$ più piccoli beneficiano inizialmente i modelli più piccoli (1.5B) rimuovendo il rumore casuale, mentre i modelli più grandi (3B) beneficiano di valori di $g$ più alti (ad es. 50) nelle fasi successive dell'addestramento, permettendo una maggiore esplorazione dello spazio.
• Verticale vs Orizzontale: Il documento rileva che la collaborazione verticale (un nodo genera l'intero gruppo per un prompt) è superiore alla collaborazione orizzontale (i nodi generano sottoinsiemi). La collaborazione orizzontale introduce un bias nel calcolo del vantaggio rispetto alla media dello sciame, degradando le prestazioni.

Significato e Affermazioni

Il documento posiziona F-TIS come un passo fondamentale verso il RL collaborativo decentralizzato per gli LLM. Gli autori affermano che il loro lavoro è tra i primi a studiare e abilitare con successo il RL collaborativo su modelli eterogenei.

Le affermazioni chiave includono:

• Fattibilità: È possibile addestrare modelli diversi insieme in una singola esecuzione GRPO senza il collasso delle prestazioni tipicamente associato ai dati off-policy.
• Efficienza: Il metodo è efficiente nella comunicazione, rendendolo praticabile per sistemi decentralizzati con vincoli di rete variabili.
• Ragionamento Potenziato: Oltre a eguagliare le prestazioni on-policy, l'uso collaborativo di campioni off-policy può agire come regolarizzatore o potenziatore dell'esplorazione, portando a una migliore generalizzazione su compiti fuori distribuzione (fino al 12% di miglioramento) rispetto all'addestramento di modelli in isolamento.
• Praticità: Il framework accoglie vincoli reali in cui gli utenti possiedono diverse capacità hardware (dimensioni dei modelli) e necessità specializzate (modelli esperti o PEFT), permettendo loro di contribuire a un obiettivo di apprendimento condiviso senza richiedere infrastrutture identiche.