Technische Samenvatting: F-TIS – Het Benutten van Diverse Modellen in Collaboratieve GRPO

Probleemstelling

Group Relative Policy Optimization (GRPO) heeft zich ontwikkeld tot een dominante methode voor het post-trainen van Large Language Models (LLM's), met name voor het verbeteren van redeneervermogens. In tegenstelling tot Proximal Policy Optimization (PPO) elimineert GRPO de noodzaak van een apart waardenmodel door voordelen te berekenen ten opzichte van een groep voltooiingen die voor één prompt zijn gegenereerd. De auto-regressieve aard van LLM-generatie creëert echter een aanzienlijke computatieflesnek tijdens de inferentiefase.

Om dit aan te pakken, hebben eerdere studies het verdelen van de generatiestap over meerdere knooppunten onderzocht. Bestaande gedistribueerde benaderingen gaan grotendeels uit van homogene modellen (identieke architecturen en parameters) om "on-policy"-condities te handhaven. Deze aanname is onpraktisch voor gedecentraliseerde trainingsscenario's waarbij deelnemers heterogene middelen en voorkeuren hebben. In dergelijke omgevingen ontstaan drie soorten heterogeniteit:

1. Modelgrootte: Knooppunten kunnen modellen draaien met sterk verschillende parameteraantallen (bijv. 1B versus 3B).
2. Modelexpertise: Knooppunten kunnen modellen bezitten van vergelijkbare grootte maar met verschillende specialisaties (bijv. generalist versus coder).
3. Trainbare parameters: Knooppunten kunnen verschillende fine-tuningstrategieën toepassen (bijv. volledige fine-tuning versus Parameter-Efficient Fine-Tuning zoals LoRA).

Wanneer heterogene modellen samenwerken zonder aanpassing, wordt de trainingsdata sterk off-policy. De divergentie tussen het genererende beleid ($\pi_{gen}$) en het bijwerkende beleid ($\pi_{\theta}$) introduceert destructieve ruis, wat leidt tot instorting van het beleid of aanzienlijk verslechterde prestaties in vergelijking met training in isolatie.

Methodologie: Gefilterde Gereduceerde Importance Sampling (F-TIS)

De auteurs stellen F-TIS voor, een unifyend raamwerk ontworpen om stabiele collaboratieve GRPO-training over heterogene modellen mogelijk te maken terwijl de communicatie-overhead wordt geminimaliseerd. De methodologie combineert twee kernmechanismen: Gereduceerde Importance Sampling (TIS) en Stekfiltering.

1. Gereduceerde Importance Sampling (TIS)

Standaard GRPO gaat uit van on-policy data. Om off-policy steekproeven te verwerken, passen de auteurs de verliesfunctie aan met behulp van importance sampling. Ze vergelijken drie benaderingen:

• NoIS (Geen Importance Sampling): Behandelt alle steekproeven als on-policy (baseline voor falen).
• VIS (Vanilla Importance Sampling): Past de importance-ratio $\frac{\pi_{\theta}}{\pi_{gen}}$ toe op elke token.
• TIS (Gereduceerde Importance Sampling): Beperkt de importance-ratio tot een constante $C$ (bijv. $C=2$) om te voorkomen dat extreme gewichten de training destabiliseren. De ratio wordt buiten de binnenste sommatie over tokens geplaatst.

De TIS-verliesformulering is:
$$\mathcal{L}_{GRPO} = \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|a_i|} \sum_{t=1}^{|a_i|} \min \left( \frac{\pi_{\theta}(a_{i,t}|p \circ a_{i,<t})}{\pi_{gen}(a_{i,t}|p \circ a_{i,<t})}, C \right) \cdot \min \left( R_{i,\theta} \hat{A}_i, \text{clip}(R_{i,\theta} \hat{A}_i, 1-\epsilon, 1+\epsilon) \right)$$
Waarbij $R_{i,\theta}$ de losgekoppelde ratio is en $\hat{A}_i$ het groepsvoordeel.

2. Steekproeffiltering

De auteurs observeren dat off-policy steekproeven met negatieve voordelen ($\hat{A}_i < 0$) onwaarschijnlijke tokens kunnen versterken, wat leidt tot onzinvolledingen. Ze introduceren een filtermechanisme gebaseerd op:

• Voordeel: Steekproeven met $\hat{A}_i < 0$ worden verworpen voor de update-stap.
• KL-Divergentie: Steekproeven waarbij de KL-divergentie tussen het huidige beleid en het genererende beleid een drempel $g$ overschrijdt ($D_{KL}(\pi_{\theta} \parallel \pi_{gen}) > g$), worden eveneens gefilterd.

Gefilterde steekproeven worden nog steeds gebruikt om het groepsvoordeel te berekenen (om de relatieve rangschikking van de groep te handhaven), maar worden uitgesloten van de gradiëntupdate.

3. Het F-TIS Raamwerk

F-TIS integreert TIS en filtering. De voordeelterm $\hat{A}_{t,i}$ in de verliesfunctie wordt ingesteld op 0 als de steekproef is gefilterd (d.w.z. als $\hat{A}_i \leq 0$ OF $D_{KL} > g$).

• Communicatie-efficiëntie: Het raamwerk vereist minimale communicatie en transmits alleen tokens en log-kansen (ongeveer 8 bytes per token), waardoor het geschikt is voor gedecentraliseerde netwerken.

Belangrijkste Bijdragen

1. Identificatie van Heterogeniteitsuitdagingen: Het artikel toont empirisch aan dat standaard GRPO faalt in gedecentraliseerde heterogene omgevingen (NoIS), wat leidt tot prestatieverlies in vergelijking met training in isolatie.
2. F-TIS Algorithmus: Een nieuw trainingsparadigma dat succesvol off-policy steekproeven van diverse modellen (verschillende groottes, expertise en PEFT-configuraties) benut zonder het beleid te laten instorten.
3. Communicatie-efficiëntie: De aanpak handhaaft een lage communicatie-overhead en vereist alleen log-kansen en tokens, in tegenstelling tot methoden die volledige model-synchronisatie of zware uitwisselingen van waardenmodellen vereisen.
4. Ablatiestudies: De auteurs analyseren systematisch de impact van de filterdrempel $g$ en vergelijken F-TIS met F-VIS (Gefilterde Vanilla Importance Sampling), waarbij de superioriteit van truncatie in latere trainingsfasen wordt aangetoond.

Experimentele Resultaten

De auteurs evalueerden F-TIS op de GSM8k-dataset voor training en de MATH-500-dataset voor out-of-distribution (OOD) testen, met gebruikmaking van Qwen2.5-modellen (1.5B en 3B, Base en Coder varianten).

• Convergentie: F-TIS bereikt een finale modelconvergentie die identiek is aan puur on-policy (homogene) training in alle heterogene opstellingen.
• Generalisatie (OOD): In verschillende configuraties presteerde F-TIS beter dan geïsoleerde on-policy training op OOD-taken. Opmerkelijk:
  • Het 3B Coder-model, gekoppeld aan een Base-model, verbeterde zijn MATH-500-prestatie met 5,2%.
  • Het 3B Coder-model, gekoppeld aan een kleiner Coder-model, verbeterde met 12%.
  • Het 3B PEFT-model verbeterde met 7% bij collaboratieve training.
• Filterdrempel ($g$): Ablatiestudies toonden aan dat kleinere $g$-waarden aanvankelijk kleiner modellen (1.5B) ten goede komen door willekeurige ruis te verwijderen, terwijl grotere modellen (3B) later in de training profiteren van hogere $g$-waarden (bijv. 50), wat meer exploratie van de ruimte mogelijk maakt.
• Verticaal versus Horizontaal: Het artikel concludeert dat verticale collaboratie (één knooppunt genereert de volledige groep voor een prompt) superieur is aan horizontale collaboratie (knooppunten genereren subsets). Horizontale collaboratie introduceert bias in de berekening van het voordeel ten opzichte van het zwermgemiddelde, wat de prestaties verslechtert.

Betekenis en Claims

Het artikel positioneert F-TIS als een fundamentele stap richting gedecentraliseerde collaboratieve RL voor LLM's. De auteurs beweren dat hun werk tot de eerste behoort die collaboratieve RL over heterogene modellen succesvol bestudeert en mogelijk maakt.

Belangrijke claims zijn:

• Haalbaarheid: Het is mogelijk om diverse modellen samen te trainen in één GRPO-run zonder de prestatie-instorting die typisch geassocieerd wordt met off-policy data.
• Efficiëntie: De methode is communicatie-efficiënt, waardoor deze levensvatbaar is voor gedecentraliseerde systemen met variërende netwerkbeperkingen.
• Verbeterd Redeneren: Naast het evenaren van on-policy prestaties, kan het collaboratieve gebruik van off-policy steekproeven fungeren als regularisator of exploratie-booster, wat leidt tot betere generalisatie op out-of-distribution taken (tot 12% verbetering) in vergelijking met het trainen van modellen in isolatie.
• Praktijktoepasbaarheid: Het raamwerk komt tegemoet aan real-world beperkingen waarbij gebruikers verschillende hardwarecapaciteiten (modelgroottes) en gespecialiseerde behoeften (expertmodellen of PEFT) hebben, waardoor ze kunnen bijdragen aan een gedeeld leerdoel zonder identieke infrastructuur te vereisen.