Technische Samenvatting: GRPO sluit de kloof in multi-agent coördinatie niet

Probleemstelling

Het paper onderzoekt het vermogen van Large Language Models (LLM's) om te coördineren als meerdere agenten die een gemeenschappelijke bron delen, een cruciale capaciteit voor systemen waarbij LLM's fungeren als autonome werkers, crawlers of analisten. De auteurs gebruiken het Dining Philosophers-probleem (Dijkstra [1971]) als een zuivere testomgeving. In deze opzet zitten $N$ agenten rond een ronde tafel met $N$ vorken; elke agent moet twee aangrenzende vorken vasthouden om te kunnen eten. De groep slaagt alleen als alle agenten eten zonder deadlocks (een toestand waarin elke agent één vork vasthoudt en eindeloos wacht).

De studie behandelt twee primaire vragen:

1. Hoe goed coördineren huidige frontier- en open-weight LLM's in deze multi-agent setting?
2. Kan Group Relative Policy Optimization (GRPO), gefinetuned op rollouts van de taak zelf, de prestatiekloof tussen zwakkere open-weight modellen en frontier-systemen dichten?

Methodologie

Experimentele Opzet

• Geëvalueerde Modellen: De studie evalueert zeven modellen over 630 episodes (30 episodes per model bij filosofenaantallen $N \in \{5, 10, 15\}$).
  • Frontier Closed-Source: Claude Opus 4.7, GPT-5.4, Gemini 3.1 Pro, Grok 4.2.
  • Open-Source Baseline: Mistral-Small 24B.
  • Doelmodellen: Qwen3-14B (base) en Qwen3-14B gefinetuned met GRPO.
  • Aanvullend: Een kleinschaliger experiment (270 episodes) met Qwen3-8B, Qwen3-8B+GRPO, en DeepSeek-R1-Distill-Qwen-7B.
• Omgeving: Elke filosoof is geïmplementeerd als een LangGraph-agent die de LLM omhult. Agenten interageren via zes tools: pick-up-left, pick-up-right, put-down-left, put-down-right, eat, en think.
• Beloningsfunctie: Een beloning met vier componenten ($r$) wordt per episode berekend:
  $$r = \alpha \cdot r_{nd} + \beta \cdot r_{thru} - \gamma \cdot r_{fair} - \delta \cdot r_{idle}$$
  Waar:
  • $r_{nd}$: Binaire indicator voor geen deadlock (gewicht $\alpha=1.0$).
  • $r_{thru}$: Genormaliseerde throughput (gegeten maaltijden).
  • $r_{fair}$: Variantie in maaltijden per filosoof (straf).
  • $r_{idle}$: Fractie van think (no-op) acties (straf).
  • Opmerking: De gewichten zijn $\alpha=1.0, \beta=0.5, \gamma=0.3, \delta=0.1$.

Trainingsprocedure

• Algoritme: Group Relative Policy Optimization (GRPO) zoals geïmplementeerd in OpenPipe ART.
• Configuratie:
  • Basismodellen: Qwen3-14B en Qwen3-8B.
  • Adapter: LoRA (rank 8).
  • Data: Rollouts verzameld bij $N=5$ filosofen, 5 rondes per episode.
  • Trainingsstappen: 1al 16 stappen totaal, met 2 groepen van 3 episodes gesampled per stap.
  • Checkpointing: Het standaard beleid slaat de adapter op van de laatste stap (Stap 15).

Belangrijkste Resultaten

1. De Coördinatiekloof

Er is een statistisch significante prestatiekloof tussen frontier-modellen en de open-weight Qwen3-14B:

• Frontier Modellen: Bereiken gemiddelde beloningen tussen 0,45 en 0,87 bij $N=5$. Deadlock-percentages variëren van 0,10 tot 0,53.
• Mistral-Small 24B: Bereikt een gemiddelde beloning van 0,83 bij $N=5$ (en tot 0,99 bij hogere $N$), waarmee het verschillende frontier-modellen bij grotere schaal overtreft.
• Qwen3-14B (Base): Bereikt een gemiddelde beloning van slechts 0,13 bij $N=5$, met een deadlock-percentage van 0,87.

2. Ineffectiviteit van Naïeve GRPO Fine-Tuning

Fine-tuning van Qwen3-14B met GRPO op taak-rollouts heeft de kloof niet gedicht:

• Statistische Significantie: Een Welch's t-test op beloningen per episode bij $N=5$ leverde $p=0,66$ en Hedges' $g = -0,11$ op. Het getrainde model (0,092) was numeriek iets slechter dan de basisversie (0,128), maar het verschil was niet statistisch significant.
• Schaalbaarheid: Het gebrek aan verbetering hield aan bij $N=10$ en $N=15$.
• Conclusie: De bottleneck voor het 14B-model is niet de rekenkracht, maar de trainingsmethodologie.

3. Trainingsdynamiek en Checkpoint-problemen

• Beloningsinstorting (Reward Collapse): De trainingsbeloningscurven voor zowel de 8B als de 14B runs piekten op Stap 9 en daalden vervolgens.
• Suboptimaal Checkpoint: Het standaard opgeslagen checkpoint (Stap 15) was strikt slechter op de trainingsdistributie dan de piekprestatie bij Stap 9. De auteurs merken op dat zonder validatieset het standaard "save last step"-beleid een gedegradeerd model selecteerde.

4. Degeneratie van de Beloningsfunctie

Het paper identificeert een kritieke fout in de formulering van de beloning:

• Degenerat Maximum: De beloningsformule staat een maximale score van 1,0 toe voor een episode met nul maaltijden en nul acties, mits er geen deadlock optreedt (aangezien $r_{nd}=1$ en alle andere termen nul zijn).
• Empirisch Bewijs:
  • DeepSeek-R1-Distill-Qwen-7B: Scoorde 1,0 over alle configuraties omdat het geen parseerbare tool-calls genereerde (inactie), waardoor het deadlock vermeed.
  • Mistral-Small 24B: Behaalde bij $N=5$ een gemiddelde beloning van 0,83 met nul maaltijden, wat aangeeft dat het acties ondernam die niet resulteerden in eten, maar wel deadlock voorkwamen.
• Implicatie: Het beloningssignaal geeft prioriteit aan "niet falen" (geen deadlock) boven "vooruitgang boeken" (eten), wat inactiviteit of triviale strategieën kan stimuleren.

Betekenis en Claims

Het paper beweert dat capaciteit alleen geen gecoördineerd multi-agent gedrag produceert op de open-weight 14B-schaal. De primaire bijdragen zijn:

1. Empirisch Nulresultaat: Het aantonen dat standaard GRPO fine-tuning op taak-rollouts faalt om de multi-agent coördinatie van Qwen3-14B te verbeteren, waardoor het ver achterblijft bij frontier-modellen en zelfs een 24B open-source baseline.
2. Methodologische Kritiek: Het identificeren dat de "standaard receptuur" voor RL fine-tuning (specifiek checkpoint-selectie en reward shaping) onvoldoende is. De auteurs stellen dat de bottleneck niet de inherente capaciteit van het model is, maar de trainingsmethodologie.
3. Drie Interventies: Het paper stelt drie specifieke gebieden voor toekomstige interventie voor om resultaten te verbeteren:
   • Reward Shaping: De beloning aanpassen om het degenerat maximum te voorkomen (bijv. door minimaal één maaltijd te vereisen voor de no-deadlock bonus).
   • Checkpoint Discipline: Het beste checkpoint selecteren op basis van de trainingsbeloning of een apart gehouden validatieset, in plaats van de laatste stap.
   • Curriculum: Het implementeren van een curriculum over verschillende probleem-schalen (filosofenaantallen), wat niet in deze studie is getest.

De auteurs houden een bescheiden standpunt en merken op dat hun bevindingen beperkt zijn tot de specifieke "default-recipe" GRPO-run op Qwen3-14B bij $N=5$. Ze beweren niet dat GRPO fundamenteel ongeschikt is om het probleem op te lossen, maar dat de specifieke implementatie en hyperparameters die gebruikt zijn, er niet in slaagden de coördinatiekloof te overbruggen.