Technische Samenvatting: Modularized Reinforcement Learning op LLM's

Probleemstelling

Reinforcement Learning (RL) is centraal komen te staan in de post-training van Large Language Models (LLM's), primair voor afstemming op menselijke voorkeuren en het verbeteren van redeneervermogen. De huidige pipelines worden echter gedomineerd door een smalle subset van RL-methoden, specifiek Proximal Policy Optimization (PPO) en Group Relative Policy Optimization (GRPO). De bestaande literatuur is gefragmenteerd, waarbij recente modelreleases en onderzoeksartikelen geïsoleerde modificaties voorstellen (bijv. nieuwe advantage-estimators, clipping-strategieën of curriculum-schema's) zonder deze bijdragen te situeren binnen een verenigd kader van RL-ontwerpbeslissingen. Dit gebrek aan een gedeeld conceptueel kader maakt het moeilijk om substantiële verschillen tussen methoden te onderscheiden, onverkende ontwerpopzichten te identificen of bewezen klassieke RL-technieken systematisch over te dragen naar het LLM-domein.

Methodologie

Dit werk stelt een principieel, modulair taxonomie voor om RL-algoritmen voor LLM's te analyseren en te construeren. In plaats van te organiseren op basis van toepassing of trainingsfase, structureert de survey de examinatie rond drie kernstadia van algoritmeconstructie en een extra categorie voor bredere kaders:

1. MDP Creatie: De survey formaliseert LLM-generatie als een Markov Decision Process (MDP). Het analyseert de ontwerpkeuzes voor:

   • Beloningsfuncties (Reward Functions): Het categoriseert bronnen in geleerde modellen (RLHF), regelgebaseerde/verifieerbare beloningen (RLVR) en LLM-als-Judge. Verder wordt reward shaping onderzocht (bijv. lengte, formaat) en het fenomeen van reward hacking.
   • Toestands- en Actieruimtes (State and Action Spaces): Het beoordeelt representaties variërend van volledige tokensequenties tot gecomprimeerde latente embeddings, en actieruimtes van de volledige vocabulaire tot beperkte of latente acties.
   • Terminatie en Discounting: Bespreekt hoe episode-lengte wordt gecontroleerd (harde cutoffs versus reward shaping) en de standaardpraktijk van het instellen van de discount factor $\gamma=1$ voor eindige-horizon LLM-taken.

2. Exploratie: Het artikel categoriseert mechanismen die worden gebruikt om divers gedrag te stimuleren en lokale optima te vermijden:

   • Stochastische Sampling: Temperature sampling en entropie-regularisatie.
   • Intrinsieke Motivatie: Nieuwigheidssignalen gebaseerd op token-niveau of traject-niveau voorspellingsfouten, pseudo-counts en onzekerheid.
   • Gestructureerde Zoektochten (Structured Search): Tree search-methoden (bijv. MCTS) die vertakken bij divergentiepunten.
   • Curriculum Learning: Strategieën voor datasampling, initialisatie van de starttoestand en reward-signaal scheduling (dense-naar-sparse).

3. Leren (Learning): De survey brengt LLM-trainingsmethoden in kaart aan de hand van vier klassieke RL-dimensies:

   • Model-Free vs. Model-Based: Merkt op dat LLM's voornamelijk via model-free updates worden getraind, hoewel het voorgetrainde model kan worden beschouwd als een impliciet dynamisch model.
   • Oplossingsrepresentatie: Contrasteert value-based, policy-based (critic-vrij) en actor-critic methoden. Het benadrukt de dominantie van critic-vrije policy gradients (bijv. GRPO, RLOO) in LLM's, in contrast met de value-based dominantie in klassieke RL.
   • Databron: Analyseert de prevalentie van on-policy methoden (PPO, GRPO) versus off-policy benaderingen (bijv. DPO, experience replay varianten), en de uitdagingen van distributiemismatch en de "deadly triad" in de LLM-context.
   • Credit Assignment: Onderzoekt hoe beloningen aan tokens worden toegewezen, waarbij Monte Carlo (volledig traject) methoden wordt gecontrasteerd met bootstrapping (TD) benaderingen. Het details recente verfijningen aan GRPO met betrekking tot advantage estimation, importance sampling en clipping.

4. Andere Kaders: De survey behandelt kort Meta-RL, Multi-Agent RL (MARL), Offline RL en Hiërarchische RL (HRL) als opkomende paradigma's in LLM-training.

Belangrijkste Bijdragen

• Verenigde Taxonomie: De primaire bijdrage is een gestructureerde taxonomie die de gefragmenteerde LLM-literatuur in kaart brengt binnen een uitgebreid RL-ontwerpplan. Dit maakt een systematische vergelijking mogelijk van methoden die anders ongerelateerd zouden lijken.
• Identificatie van Onderzoeksgebieden (Research Gaps): Door de huidige inspanningen op deze taxonomie te mappen, onthult het artikel een opvallend niet-uniforme verdeling van onderzoek. Het identificeert dat terwijl critic-vrije policy gradients en Monte Carlo credit assignment dichtbevolkt zijn, andere goed gevestigde klassieke RL-technieken grotendeels onverkend blijven in LLM's. Specifieke hiaten zijn:
  • Value-based methoden en off-policy actor-critic training (specifiek SAC-stijl updates).
  • Op bootstrapping gebaseerde credit assignment (het verder gaan dan pure Monte Carlo).
  • Systematische integratie van discount factoren voor lengtecontrole.
  • Multi-objective reward compositie en open-ended taakbeloningen.
• Verheldering van Ontwerpafwegingen: De survey verduidelijkt waarom bepaalde defaults (bijv. $\gamma=1$, critic-vrije methoden) standaard zijn geworden in LLM's (bijv. vanwege de geheugenkosten van full-sized critics en de resetbare aard van LLM-omgevingen) en waar deze defaults suboptimal kunnen zijn (bijv. voor langdurige redeneertaken).

Resultaten en Bevindingen

Het artikel presenteert geen nieuwe experimentele resultaten, maar synthetiseert bevindingen uit de bestaande literatuur om structurele conclusies te trekken:

• MDP Formulering: De standaard token-niveau, full-vocabulary, ongedisconteerde MDP is een redelijke default, maar laat gunstige alternatieven toe (bijv. latente toestanden, beperkte acties) in specifieke settings.
• Exploratie: Huidige exploratiestrategieën zijn gefragmenteerd en opereren vaak op token-niveau in plaats van op strategieniveau. Er is beperkt empirisch bewijs dat de synergieën van verschillende exploratiemethoden vergelijkt.
• Leren: De dominantie van critic-vrije methoden (zoals GRJO) wordt gedreven door het vermogen om compute (grootschalige sampling) te vervangen door een geleerde critic en de geheugenefficiëntie die wordt verkregen door het vermijden van een tweede full-sized model. Dit gaat echter ten koste van de sample-efficiëntie en potentiële instabiliteit in langdurige taken waar value-based of actor-critic methoden voordelen zouden kunnen bieden.
• Credit Assignment: De meeste methoden vertrouwen op Monte Carlo updates met traject-niveau advantages. Recent werk probeert dit te verfijnen (bijv. VinePPO, TEMPO), maar fundamentele verschuivingen naar bootstrapping of per-stap beloningen blijven een open uitdaging.

Betekenis

Het artikel claimt betekenis door een gedeeld conceptueel kader te bieden voor onderzoekers in zowel RL als LLM's. Door de "structurele hiaten" expliciet te maken, beoogt het:

1. Kennisoverdracht te Faciliteren: RL-onderzoekers in staat stellen te identificeren welke klassieke technieken (bijv. off-policy actor-critic, bootstrapping) nog niet zijn toegepast op LLM's en veelbelovende kandidaten voor transfer kunnen zijn.
2. LLM-onderzoekers te Leiden: Helpen begrijpen waarom bepaalde algoritmische keuzes de standaard zijn geworden en onverkende richtingen voor verbetering te identificeren die verder gaan dan incrementele verfijningen van GRPO of PPO.
3. Het Veld te Herformuleren: Het discours verschuiven van geïsoleerde algoritmische aanpassingen naar een modulair begrip van RL-ontwerpbeslissingen, waarbij wordt benadrukt dat de huidige concentratie van inspanningen in specifieke gebieden een keuze is en geen noodzaak.

De auteurs hanteren een bescheiden houding door op te merken dat de geïdentificeerde hiaten niet noodzakelijkerwijs "makkelijke successen" betekenen en dat er vaak geldige redenen zijn (bijv. computationele beperkingen, architecturale mismatches) waarom bepaalde klassieke technieken niet zijn overgenomen. Desalniettemin stellen zij dat een gedeeld kader een productief startpunt is voor het onderzoeken van deze structurele kansen.