Technische Samenvatting: Coöperatieve Co-evolutie voor Middelenbeperkte Agentic LLM Post-training

Probleemstelling

Tool-gebruikende Large Language Model (LLM) agenten genereren lange, multi-turn trajecten om complexe taken op te lossen. Hoewel post-training met verifieerbare beloningen (bijv. via Reinforcement Learning) een schaalbare methode is om agentgedrag te verbeteren, vormt dit een kritieke bottleneck in omgevingen met beperkte middelen.

Gradiëntgebaseerde methoden, zoals Group Relative Policy Optimization (GRPO), vereisen backpropagation door deze lange trajecten. Dit noodzaakt het opslaan van modelgewichten, gradiënten, optimizer-states en, cruciaal, tussenliggende activaties. Naarmate de contextlengte toeneemt, wordt het geheugengebruik van activaties prohibitief, wat vaak high-end GPU-clusters vereist die voor veel onderzoekers niet beschikbaar zijn. Daartegenover staan Evolution Strategies (ES), die een geheugenefficiënt alternatief bieden door backpropagation volledig te vermijden; zij vereisen enkel forward generatie en beloningsevaluatie. Echter, standaard ES is computationeel duur en vereist doorgaans aanzienlijk meer GPU-uren dan gradiëntgebaseerde methoden om een vergelijkbare prestatie te behalen. In scenario's met beperkte middelen en een beperkt aantal GPU's vertaalt deze hoge computationele vraag zich in onpraktisch lange wandklok-trainingstijden.

De kernuitdaging die wordt aangepakt, is hoe de optimalisatie-efficiëntie van ES kan worden verbeteren zonder de geheugenvoordelen op te offeren, specifiek voor full-parameter agentic LLM post-training.

Methodologie: Cooperative Parameter-Subspace Evolution Strategy (CoPES)

Om de efficiëntiebottleneck aan te pakken, stellen de auteurs Cooperative Parameter-subspace Evolution Strategy (CoPES) voor, een coöperatieve co-evolutie methode aangepast voor full-parameter ES.

Kernmechanisme

CoPES decomponeert de hoogdimensionale full parameter ruimte ($\mathbb{R}^d$) in $K$ lagerdimensionale, onderling disjuncte subruimtes. In plaats van de volledige parameterruimte simultaan te verstoren voor elke evaluatie, voert CoPES coöperatieve zoekopdrachten uit binnen deze subruimtes:

1. Willekeurige Partitionering: Bij elke trainingsstap worden de parameterindices willekeurig verdeeld in $K$ even grote subruimtes ($S_1, \dots, S_K$).
2. Coöperatieve Subruimte Zoekopdracht: Het totale perturbatiebudget $N$ wordt verdeeld over de subruimtes ($N_k = N/K$). Voor elke subruimte $k$ worden $N_k$ geperturbeerde modellen gegenereerd door ruis toe te voegen aan enkel de parameters in $S_k$, terwijl alle andere parameters vastgezet blijven op hun huidige waarden. Dit biedt een gedeelde full-model context voor het evalueren van de impact van wijzigingen in een specifieke subruimte.
3. Dimensie-bewuste Perturbatie Schaling: Om ervoor te zorgen dat de magnitude van de subruimte-perturbaties overeenkomt met de verwachte kwadratische norm van een full-space perturbatie, wordt de perturbatieschaal $\sigma_k$ aangepast: $\sigma_k = \sqrt{K}\sigma$.
4. Gezamenlijke Beloningsstandaardisatie: In tegen tegenstelling tot standaard ES, die beloningen binnen een enkele populatie standaardiseert, poolt CoPES de beloningen van alle $N$ geperturbeerde modellen over alle $K$ subruimtes. Het berekent een globale gemiddelde ($\mu_c$) en standaarddeviatie ($s_c$) om alle beloningen te standaardiseren ($\hat{r}_{k,i}$). Dit zorgt voor stabiele normalisatiestatistieken en een gemeenschappelijke beloningsschaal voor het combineren van subruimte-updates.
5. Synchrone Update: De subruimte-richtingen worden geschat en samengesteld tot een full-parameter update: $\theta_{t+1} = \theta_t + \alpha \sum_{k=1}^K P_k g_k$, waarbij $g_k$ de geschatte gradiëntrichting voor subruimte $k$ is.

Implementatiedetails

Om de geheugenefficiëntie te behouden, maakt CoPES gebruik van:

• Seed Replay: Perturbaties worden geregenereerd vanuit random seeds in plaats van volledige perturbatievectoren op te slaan.
• Gewicht Back-up: Pre-perturbatie gewichten worden gebackupt in het CPU-geheugen om te garanderen dat elke evaluatie start vanaf exact dezelfde modeltoestand, waardoor floating-point residuele fouten worden voorkomen.
• Chunked Verwerking: Parameters worden in chunks verwerkt om het geheugengebruik te beheren.

Belangrijkste Bijdragen

1. Nieuw Algoritme: CoPES wordt gepresenteerd als de eerste coöperatieve co-evolutie methode die specifiek is ontworpen voor full-parameter agentic LLM post-training. Het combineert parameterruimte-decompositie met gezamenlijke beloningsstandaardisatie.
2. Efficiëntie-Geheugen Afweging: De methode verbetert de optimalisatie-efficiëntie bij een vast budget, terwijl het de geheugenefficiënte, full-parameter aard van standaard ES behoudt. Het vermijdt de backpropagation overhead van gradiëntgebaseerde methoden en de hoge wandklok-tijd van standaard ES.
3. Empirische Validatie: Uitgebreide experimenten op wiskunde en multi-hop vraag-antwoord (QA) taken valideren de methode over meerdere metrieken, inclusclusief hardware-haalbaarheidstesten en gecontroleerde ablatiestudies.

Experimentele Resultaten

De auteurs evalueerden CoPES op een Qwen3.5-4B model op vijf wiskunde benchmarks (AIME 2024, AIME 2025, GSM8K, MATH-500, MATH-Test) en drie QA benchmarks (HotpotQA, 2Wiki, MuSiQue).

Prestaties vs. Gradiëntgebaseerde RL (GRPO)

• Geheugenefficiëntie: Theoretische analyse toont aan dat CoPES minder dan 1/8ste van het GPU-geheugen van full-parameter GRPO vereist. In de praktijk kan CoPES getraind worden op een enkele 24GB GPU, terwijl full-parameter GRPO 8x 48GB GPU's vereist voor 128K contextlengtes.
• Prestaties bij Vast Budget: Onder een GPU-uur budget gelijk aan het beste validatie-checkpoint van full-parameter GRPO (16 trainingsstappen):
  • CoPES herstelde 92% van de validatie-accuraatheidswinst bereikt door full-parameter GRPO.
  • Standaard ES herstelde slechts 67%.
  • CoPES presteerde consequent beter dan zowel standaard ES als LoRA-gebaseerde GRPO op alle pass@k metrieken op de vijf wiskunde benchmarks.
• Schaalbaarheid: Op de uitdagende AIME 2024 en AIME 2025 benchmarks overtrof CoPES full-parameter GRPO bij grotere $k$-waarden (pass@k), ondanks hetzelfde vaste trainingsbudget.

Prestaties vs. Standaard ES

• Coalesce presteerde significant beter dan standaard ES over alle geëvalueerde metrieken.
• Ablatiestudies:
  • Aantal Subruimtes ($K$): De prestaties verbeterden naarmate $K$ toenam van 1 naar 4, maar daalden scherp bij $K=8$ door een onvoldoende populatie per subruimte ($N_k=5$).
  • Gezamenlijke Standaardisatie: Het gebruik van gezamenlijke beloningsstandaardisatie over alle subruimtes leverde hogere pass@1 scores op vergeleken met onafhankelijke standaardisatie binnen elke subruimte.
  • Perturbatie Schaal: De prestatiewinst kwam niet enkel voort uit de grotere per-coördinaat perturbatieschaal ($\sigma_k = \sqrt{K}\sigma$); standaard ES met dezelfde verhoogde schaal presteerde slechter.

Multi-Hop QA

In vraag-antwoordtaken presteerde CoPES beter dan standaard ES op alle benchmark-metriekcombinaties en bleef het competitief met full-parameter GRPO, wat de toepasbaarheid van de methode buiten wiskundig redeneren aantoont.

Betekenis en Claims

Het artikel claimt dat CoPES een praktische oplossing biedt voor agentic LLM post-training onder beperkte middelen. Door de zoekruimte te deconstrueren en beloningen gezamenlijk te standaardiseren, bereikt CoPES een superieur evenwicht tussen geheugeneisen en trainingstijd. Het maakt het gebruik van full-parameter evolutie strategieën mogelijk op consumenten-grade of beperkte GPU-hardware (bijv. enkele 24GB GPU's) waar gradiëntgebaseerde full-parameter methoden onhaalbaar zijn vanwege geheugenlimieten, en waar standaard ES te traag is door computationele kosten. De auteurs benadrukken dat hun aanpak het "forward-only" voordeel van ES behoudt terwijl het de primaire computationele nadelen ervan verzacht.