Technische Samenvatting: Leren, Snel en Langzaam: Op Weg naar LLM's die Continu Adapteren

Probleemstelling

Grote Taalmodellen (LLM's) worden doorgaans aangepast aan downstream-taken via parameterupdates, zoals Supervised Fine-Tuning (SFT) of Reinforcement Learning (RL). Hoewel deze aanpak effectief is, dwingt deze het model om alle taakspecifieke informatie op te nemen in één enkele, persistente set gewichten. Dit creëert een fundamenteel knelpunt: updates die de prestaties binnen het domein verbeteren, verschuiven het model tegelijkertijd weg van zijn basisgedrag, verlagen de output-entropie, verslechteren de generalisatie buiten de verdeling (OOD) en veroorzaken "plasticiteitsverlies" – het onvermogen om effectief te adapteren aan toekomstige taken. Omgekeerd maakt contextueel leren (bijvoorbeeld promptoptimalisatie) snelle, goedkope aanpassingen mogelijk zonder gewichten te wijzigen, maar faalt het over het algemeen om de prestatieplafonds te bereiken die haalbaar zijn via parameterupdates. Het artikel betoogt dat het beperken van leren tot óf contextuele óf in-weights-mechanismen suboptimaal is en dat huidige methoden falen in het benutten van de complementaire sterke punten van beide.

Methodologie: Snel-Langzaam Training (FST)

De auteurs introduceren Fast-Slow Training (FST), een raamwerk dat twee complementaire adaptatiekanalen gezamenlijk optimaliseert:

1. Langzame Gewichten ($\theta$): De modelparameters, die zelden en kostbaar worden bijgewerkt via Reinforcement Learning met Verifieerbare Beloningen (RLVR). Deze coderen langlevende, persistente gedragingen.
2. Snelle Gewichten ($\Phi$): Een populatie van tekstuele contexten (prompts, instructies), die frequent en goedkoop worden bijgewerkt via Reflective Prompt Evolution (GEPA). Deze vangen tijdelijke, taakspecifieke signalen op.

De Trainingslus

FST verweeft twee update-loops binnen cycli van lengte $T$:

• Snelle Loop (Contextoptimalisatie): Met behulp van het huidige beleid $\pi_\theta$ genereert het systeem rollouts. Een bevroren "reflectie"-LLM analyseert deze rollouts (inclusief gedachten, tool-aanroepen, fouten en feedback) om tekstuele mutaties voor te stellen. GEPA onderhoudt een Pareto-frontierpopulatie van $K$ prompts in plaats van één enkele beste prompt. Deze populatie behoudt diversiteit, waardoor verschillende prompts zich kunnen specialiseren op verschillende subsets van de taakverdeling.
• Langzame Loop (Parameterupdate): Het beleid $\theta$ wordt bijgewerkt met Group Relative Policy Optimization (GRPO) met een afgeknipt surrogaatdoel (CISPO). Cruciaal is dat, tijdens het genereren van rollouts voor de RL-update, het systeem steekt uit de hele populatie van $K$ snelle prompts. De voordeelsberekening normaliseert beloningen over de hele groep, waarbij variatie die wordt veroorzaakt door zowel de prompts als het steekproefproces wordt gemengd.

Deze co-evolutie stelt de snelle gewichten in staat om taakspecifieke lessen (bijvoorbeeld specifieke heuristieken of foutcorrecties) direct op te nemen, waardoor het model wordt gestuurd naar beter redeneren. De langzame gewichten worden vervolgens bijgewerkt onder deze evoluerende context, waardoor wordt voorkomen dat het model te sterk specialiseert in één statische prompt of te ver afwijkt van het basisbeleid.

Belangrijkste Bijdragen

1. Raamwerkinstantiatie: Het artikel zet het theoretische concept van snelle/langzame gewichten (oorspronkelijk uit de neurowetenschap en vroege neurale netwerkliteratuur) om voor post-training van LLM's, specifiek door RLVR voor gewichten en GEPA voor prompts te combineren.
2. Pareto-Frontier Promptpopulatie: In tegenstelling tot eerdere werken die één enkele prompt optimaliseren, onderhoudt FST een diverse populatie van prompts. Dit stelt het RL-agent in staat om antwoorden te vergelijken over verschillende conditionerende gedragingen binnen dezelfde voordeelsberekening, waardoor rijker gradiëntsignalen worden verkregen.
3. Verweven Optimalisatie: De methode vermijdt het sequentiële "trainen en dan afstemmen"-paradigma. In plaats daarvan stelt het het beleid en de promptpopulatie in staat om samen te evolueren, waarbij de promptpopulatie zich aanpast aan het huidige beleid, en het beleid zich aanpast aan de evoluerende prompts.

Experimentele Resultaten

De auteurs evalueren FST op drie redeneringsdomeinen: CodeIO (voorspelling van code-uitvoer), Polaris (wiskunde) en HoVer-hard (multi-hop feitelijke verificatie), met Qwen3-8B als basismodel.

• Data-efficiëntie: FST bereikt het lopende piekprestatieniveau van standaard RL in aanzienlijk minder stappen: 3,0× minder op CodeIO, 1,4× minder op Wiskunde en 3,0× minder op HoVer-hard.
• Prestatieasymptoot: FST bereikt consequent een hoger prestatieplafond dan RL alleen. Bijvoorbeeld, op HoVer-hard verbetert de gefit asymptoot van 17,3% (RL) naar 25,0% (FST).
• Verminderde Modeldrift: Bij overeenkomstige beloningsniveaus vertonen FST-getrainde modellen tot 70% lagere KL-divergentie ten opzichte van het basisbeleid in vergelijking met RL-only-modellen. Dit geeft aan dat de langzame gewichten dichter bij de basisconfiguratie blijven.
• Behouden Plasticiteit: In een twee-fase trainingsexperiment (trainen op Taak X, vervolgens Taak Y) behouden FST-geïnitieerde modellen het vermogen om Taak Y effectief te leren. Daarentegen collapseert RL-only-modellen vaak tot bijna nul prestaties op de tweede taak, wat ernstig plasticiteitsverlies aantoont.
• Continu Leren: In een setting waar taakdomeinen elke 200 stappen wisselen, past FST zich snel aan nieuwe doelen aan, terwijl RL-only-modellen vastlopen of falen om nieuwe taken na de eerste te verwerven.
• Mechanismeanalyse:
  • Observatie 1: Snelle gewichten verwerven taaksignalen veel sneller dan langzame gewichten. In een synthetische ster-graafopdracht behaalde FST meetbare beloningen bij stap ~50, gedreven door promptevolutie, terwijl RL-only tot stap ~300 dicht bij nul bleef.
  • Observatie 2: Het prestatieplafond wordt verhoogd omdat beide kanalen optimaliseren voor beloning. Het distilleren van de snelle gewichten in de langzame gewichten (FST-distill) verbetert de prestaties ten opzichte van prompt-only-methoden, maar haalt het plafond van de gezamenlijke FST-aanpak niet, wat bevestigt dat beide componenten noodzakelijk zijn voor maximale prestaties.

Betekenis en Beweringen

Het artikel beweert dat effectieve post-training van LLM's niet moet worden gezien als parameterleren gevolgd door promptafstemming, maar eerder als optimalisatie over meerdere adaptatiekanalen.

• Verdeling van Arbeid: Door taakspecifieke en snel evoluerende verbeteringen te routeren via snelle tekstuele gewichten, worden de langzame parametrische gewichten vrijgemaakt om persistente, algemene redeneergedragingen te consolideren.
• Continu Leren: Deze verdeling van arbeid biedt een weg naar post-training-methoden die data-efficiënter zijn, minder destructief (lagere KL-drift) en beter geschikt voor continu leren, waarmee het fenomeen "plasticiteitsverlies" dat wordt waargenomen in diep continu leren wordt aangepakt.
• Informatie-efficiëntie: Het raamwerk maakt gebruik van rijke tekstuele feedback (gedachten, fouten) in de contextupdate, waardoor de "1-bit-per-episode" informatielimiet die vaak geassocieerd wordt met binaire RLVR-beloningen wordt overwonnen.

De auteurs concluderen dat FST een veelbelovende richting voor redeneermodellen vertegenwoordigt, en suggereren dat niet alle taakspecifieke informatie in modelgewichten moet worden gedistilleerd, en dat het handhaven van een scheiding tussen declaratieve (prompt) en procedurele (gewicht) kennis cruciaal is voor algemeen toepasbare redenaars.