Technische Samenvatting: Spelen met Woorden, Verbeteren met Beloningen

Probleemstelling

Grote Taalmodellen (LLMs) krijgen steeds vaker de taak complexe problemen op te lossen die creativiteit vereisen, gedefinieerd als het vermogen om door enorme oplossingsruimtes te navigeren en ongebruikelijke maar effectieve oplossingen te genereren. Het trainen van LLMs voor creativiteit wordt echter gehinderd door de subjectieve aard van het concept; menselijke oordelen over wat "creatief" werk is, zijn inconsistent, waardoor standaard Reinforcement Learning from Human Feedback (RLHF) moeilijk schaalbaar is en ruis bevat. De centrale uitdaging is hoe LLMs expliciet getraind kunnen worden om echt creatief te zijn zonder afhankelijk te zijn van dure en subjectieve menselijke voorkeursannotatie.

Methodologie

De auteurs stellen een kader voor dat creativiteit herformuleert als een spel met objectief verifieerbare uitkomsten, waardoor de behoefte aan menselijke oordelen wordt omzeild.

1. Trainingsomgeving: Codenames
De studie maakt gebruik van Codenames, een woordassociatiespel, als trainingsomgeving. Het spel oefent inherent de twee centrale assen van creatieve cognitie:

• Divergent Denken: Het genereren van verre associaties die over meerdere concepten heen strekken.
• Convergent Denken: Het selecteren van de enige beste associatie die doelen uniek identificeert terwijl niet-doelen worden vermeden.

De trainingsopzet vereenvoudigt het volledige spel tot een Markov Decision Process (MDP) bestaande uit twee single-turn taken:

• Clue-Generatie: Gegeven een set doelwoorden ($T$) en niet-doelwoorden ($N$), genereert het model een enkel clue-woord ($w_{clue}$) dat zo veel mogelijk doelen verbindt terwijl associaties met niet-doelen worden vermeden.
• Gok-Generatie: Gegeven een bord met woorden ($B = T \cup N$) en een vooraf berekende clue, gokt het model welke woorden de clue bedoelt.

2. Datassynthese en Leerplan
Om haalbaarheid en variatie te waarborgen, hebben de auteurs een dataset van 3.680 trainingsvoorbeelden gegenereerd. Ze creëerden een pool van 1.000 diverse onderwerpen en bijbehorende woorden (geschaard op frequentie in veelvoorkomend en zeldzaam). De trainingsdata volgt een leerplan met toenemende moeilijkheidsgraad:

• Eenvoudig: Doelen getrokken uit veelvoorkomende woorden.
• Gemiddeld/Geavanceerd: Toenemend aandeel zeldzame woorden.
• Expert: Doelen getrokken uit zeldzame woorden gemengd met afleiders uit het niet-doelonderwerp.

3. Reinforcement Learning met Verifieerbare Beloningen (RLVR)
In plaats van menselijke feedback worden de modellen getraind met RLVR. Een bevroren "rechter"-beleid (Google Gemini Flash-2.5) evalueert de output van het model.

• Beloningsfunctie: De beloning wordt berekend op basis van de nauwkeurigheid van de gok-generatielus. Het beloopt correcte doeltreffers en straft niet-doeltreffers of gokken buiten het bord. De beloning is begrensd in $[-2, 1]$.
• Algoritme: De auteurs hanteren de DAPO (Deepseek-Adaptive Policy Optimization) doelstelling met de GRPO-voordeelschatter. Ze fine-tunen drie Qwen3-modellen (1.7B, 4B en 8B) met volledige-parameter fine-tuning over 2 epoches (230 update-stappen). Er wordt geen KL-divergentieregularisatie gebruikt.

Belangrijkste Bijdragen

1. Creativiteitstraining via Verifieerbare Beloningen: Het artikel toont aan dat creativiteit effectief getraind kan worden met een gestructureerde spelomgeving met objectieve beloningen, waardoor de behoefte aan menselijke voorkeursannotatie wordt geëlimineerd.
2. Schaal-afhankelijke Precisie-Variatie Trade-off: De studie onthult een cruciale bevinding: het effect van associatieve training op modelcapaciteiten is afhankelijk van de modelschaal.
   • Kleinere Modellen (1.7B, 4B): Boeten aanzienlijke verbeteringen op in redeneernauwkeurigheid (wiskunde en wetenschapstaken) maar ervaren vaak een ineenstorting van creatieve diversiteit (woordenschatgrootte en semantische diversiteit).
   • Groot Model (8B): Boekt consistente verbeteringen in creativiteitsmetrieken (divergent denken, narratieve generatie) met slechts geringe achteruitgang in redeneernauwkeurigheid.
3. Schaalbare Oplossing: De aanpak biedt een praktische hefboom voor het versterken van LLMs van verschillende groottes, waarbij redeneerwinst voor kleinere modellen en creativiteitswinst voor grotere modellen worden geleverd met één enkele, geünificeerde trainingsrecept.

Resultaten

De modellen werden geëvalueerd op 10 creativiteitsbenchmarks (die divergent/convergent denken, humor, metafoor en creatief schrijven bestrijken) en 4 redeneerbenchmarks (rekenen, competitiewiskunde, afgestudeerde wetenschappen).

• Creativiteitswinst: Het 8B-model toonde bescheiden maar consistente winsten op 8 van de 10 creativiteitsbenchmarks. Het was het enige model dat verbeterde in divergente diversiteit (DAT DSI en woordenschatgrootte). Het degradeerde echter op NYT Connections, toegeschreven aan een "overdenken"-tendens waarbij het model taakbeperkingen schond vanwege uitgebreide redeneersporen.
• Redeneerwinst: De kleinere modellen (1.7B en 4B) toonden aanzienlijke verbeteringen op redeneertaken. Het 1.7B-model verbeterde op alle vier redeneerbenchmarks (bijvoorbeeld steeg de AIME24-nauwkeurigheid van 0,43 naar 0,57). Het 4B-model verbeterde op drie. Omgekeerd zag het 8B-model dalingen in redeneerprestaties (bijvoorbeeld daalde AIME24 van 0,80 naar 0,67).
• Mechanisme: De auteurs schrijven deze splitsing toe aan de interactie tussen associatief leren en RLVR. Kleinere modellen, die eerder worstelden met moeilijke problemen, leren de "makkelijkere" problemen binnen bereik met hoge precisie op te lossen. Grotere modellen, die al capabel zijn deze op te lossen, worden door het beloningssignaal gedwongen diverse, moeilijkere associaties te verkennen, waardoor creativiteit wordt versterkt ten koste van strikte precisie.

Betekenis en Claims

Het artikel claimt een schaalbare en effectieve oplossing te presenteren voor het trainen van LLMs voor creativiteit zonder menselijke oordelen. Door creativiteit te gieten als een spel met verifieerbare beloningen, tonen de auteurs aan dat één enkel trainingsparadigma verschillende, gunstige uitkomsten kan opleveren afhankelijk van de schaal van het model:

• Voor kleinere modellen werkt de methode als een precisie-engine, die redeneercapaciteiten aanscherpt.
• Voor grotere modellen werkt de methode als een diversiteits-engine, die creatieve associaties verbreedt.

De auteurs concluderen dat deze schaal-afhankelijke trade-off een kernkarakteristiek is van associatieve RLVR-training. Ze benadrukken dat hun aanpak de resourcebarrière voor creativiteitsonderzoek verlaagt door te vertrouwen op synthetische data en verifieerbare beloningen in plaats van kostbare menselijke annotatie, waardoor het toegankelijk wordt voor modellen zo klein als 1,7B parameters. De studie waarschuwt dat hoewel creatieve diversiteit verbetert, precisie kan worden ingewisseld, wat suggereert dat deze modellen niet gebruikt moeten worden in contexten die strikte feitelijke nauwkeurigheid vereisen (bijvoorbeeld medisch of juridisch advies).