💬 NLP

Playing with Words, Improving with Rewards: Training Language Models for Creative Association

Dieser Beitrag schlägt vor, Large Language Models durch Reinforcement Learning mit überprüfbaren Belohnungen am Wortassoziationsspiel Codenames zu trainieren, um die Kreativität zu steigern, und zeigt, dass größere Modelle (8B) konsistente kreative Gewinne bei minimalem Verlust an Schlussfolgerungsfähigkeit erzielen, während kleinere Modelle (1.7B und 4B) die Präzision der Schlussfolgerung auf Kosten der Kreativität priorisieren.

Ursprüngliche Autoren: Vijeta Deshpande, Namrata Shivagunde, Sherin Muckatira, Hadrien Glaude, Mikhail Gronas, Claire Stevenson, Roger Beaty, Anna Rumshisky

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Vijeta Deshpande, Namrata Shivagunde, Sherin Muckatira, Hadrien Glaude, Mikhail Gronas, Claire Stevenson, Roger Beaty, Anna Rumshisky

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine Gruppe von KI-Studierenden, jede mit einem unterschiedlich großen Gehirn: ein kleines (1,7 Milliarden Parameter), ein mittleres (4 Milliarden) und ein großes (8 Milliarden). Die Forscher wollten diesen KI-Studierenden beibringen, wie man kreativ ist.

Das Problem ist, dass Kreativität wie Kunst ist; sie ist schwer zu bewerten. Wenn Sie einen Menschen fragen: „Ist dieses Gedicht kreativ?", könnte dieser mit Ja antworten, während ein anderer Nein sagt. Dies macht es schwierig, eine KI zu trainieren, da die KI klare Rückmeldungen zum Lernen benötigt.

Die Lösung: Das Wortspiel „Codenames"

Um dies zu beheben, verwandelten die Forscher Kreativität in ein Spiel namens Codenames.

Stellen Sie sich ein Brett vor, das mit zufälligen Wörtern wie „Apfel", „Fluss", „Stuhl" und „Wolke" bedeckt ist.

Das Ziel: Ein Spieler (der „Spionmeister") sieht eine geheime Liste von Zielwörtern (z. B. „Apfel" und „Fluss"). Er muss ein einziges Hinweiswort (wie „Frucht") geben, das mit seinen Zielen verbunden ist, aber nicht versehentlich mit den anderen Wörtern auf dem Brett verbunden ist (wie „Stuhl").
Die Herausforderung: Dies erfordert zwei Arten des Denkens:
1. Divergentes Denken: „Apfel" und „Fluss" zu betrachten und zu denken: „Was haben sie gemeinsam? Ach, vielleicht 'Natur' oder 'Wachstum'?" (Das Denken dehnen).
2. Konvergentes Denken: Das eine beste Wort auszuwählen, das perfekt passt, ohne das Team in die Irre zu führen. (Den Fokus eingrenzen).

Da das Spiel eine klare Gewinn-/Verlust-Bedingung hat (haben Sie die richtigen Wörter erraten?), kann die KI lernen, indem sie Millionen von Runden spielt und eine einfache Bewertung „Gut gemacht" oder „Versuchen Sie es erneut" erhält. Keine menschlichen Richter erforderlich.

Das Experiment: Lernen durch Belohnungen

Die Forscher verwendeten eine Methode namens Verstärkungslernen mit überprüfbaren Belohnungen (RLVR).

Stellen Sie sich die KI als Hund vor. Jedes Mal, wenn sie einen guten Zug im Spiel macht, erhält sie einen Leckerbissen (eine Belohnung). Jedes Mal, wenn sie einen schlechten Zug macht, erhält sie keinen Leckerbissen.
Sie trainierten die drei KI-Modelle (Klein, Mittel, Groß), dieses Spiel immer wieder zu spielen, bis sie darin sehr gut wurden.

Die überraschende Entdeckung: Die Größe spielt eine Rolle

Hier kommt die Wendung. Die Forscher erwarteten, dass alle KIs in allem besser werden. Stattdessen stellten sie fest, dass die Größe des KI-Gehirns veränderte, was es lernte.

1. Die kleinen und mittleren KIs (1,7B und 4B): Die „Präzisionsspezialisten"

Was passierte: Diese kleineren Modelle wurden deutlich besser bei Logik- und Mathematikaufgaben (wie das Lösen von Rätseln oder das Durchführen von Rechnungen).
Der Kompromiss: Sie wurden tatsächlich schlechter darin, kreativ zu sein. Sie wurden sehr streng und präzise, wie ein Roboter-Buchhalter. Sie hörten auf, Risiken einzugehen, und suchten stattdessen nach der „sicheren" Antwort.
Analogie: Es ist, als würde man einem kleinen Kind ein komplexes Brettspiel beibringen. Es lernt die Regeln perfekt und macht keine Fehler mehr, hört aber auf, mit seiner Phantasie zu spielen.

2. Die große KI (8B): Die „kreative Entdeckerin"

Was passierte: Das größte Modell wurde deutlich besser bei kreativen Aufgaben (Geschichten schreiben, lustige Bildunterschriften erfinden, Metaphern bilden).
Der Kompromiss: Es wurde bei strenger Mathematik und Logik leicht schlechter. Es begann, mehr Risiken einzugehen und einzigartige Verbindungen herzustellen, was manchmal zu kleinen Rechenfehlern führte.
Analogie: Es ist, als würde man einem brillanten Künstler dasselbe Brettspiel beibringen. Er lernt die Regeln, beginnt aber, verborgene Muster zu erkennen und wilde, kreative Verbindungen herzustellen, die die kleineren Spieler übersehen.

Das große Ganze

Die Studie kommt zu dem Schluss, dass man Kreativität nicht einfach bei allen KI-Modellen auf die gleiche Weise „einschalten" kann.

Wenn Sie einen präzisen, logischen Denker wollen, hilft das Training mit diesem Wortspiel den kleineren Modellen, schärfer zu werden.
Wenn Sie einen kreativen, phantasievollen Denker wollen, hilft das Training mit diesem Spiel den größeren Modellen, vielfältiger und erfinderischer zu werden.

Die Forscher zeigten, dass sie durch die Verwendung eines einfachen, objektiven Spiels KI-Modelle so „abstimmen" konnten, dass sie entweder besser in Logik oder besser in Kreativität sind, je nachdem, wie groß das Modell ist. Es ist eine praktische Methode, um das Verhalten von KI zu formen, ohne dass Menschen ihre Arbeit ständig bewerten müssen.

Technische Zusammenfassung: Mit Wörtern spielen, mit Belohnungen verbessern

Problemstellung

Large Language Models (LLMs) werden zunehmend mit der Lösung komplexer Probleme betraut, die Kreativität erfordern, definiert als die Fähigkeit, riesige Lösungsräume zu navigieren und unkonventionelle, dennoch effektive Lösungen zu generieren. Die Schulung von LLMs für Kreativität wird jedoch durch die subjektive Natur des Konzepts behindert; menschliche Urteile darüber, was „kreative" Arbeit ausmacht, sind inkonsistent, was die Skalierung und Rauschbehaftetheit des standardmäßigen Reinforcement Learning from Human Feedback (RLHF) erschwert. Die zentrale Herausforderung besteht darin, LLMs explizit zu echter Kreativität zu trainieren, ohne auf teure und subjektive menschliche Präferenz-Annotationen zurückzugreifen.

Methodik

Die Autoren schlagen ein Framework vor, das Kreativität als Spiel mit objektiv überprüfbaren Ergebnissen neu definiert und damit die Notwendigkeit menschlicher Urteile umgeht.

1. Trainingsumgebung: Codenames
Die Studie nutzt Codenames, ein Wortassoziationsspiel, als Trainingsumgebung. Das Spiel übt inhärent die beiden zentralen Achsen kreativer Kognition:

Divergentes Denken: Generierung entfernter Assoziationen, die über mehrere Konzepte hinwegreichen.
Konvergentes Denken: Auswahl der einzigen besten Assoziation, die Ziele eindeutig identifiziert, während Nicht-Ziele vermieden werden.

Das Trainingssetup vereinfacht das vollständige Spiel zu einem Markov-Entscheidungsprozess (MDP), der aus zwei Einzelzug-Aufgaben besteht:

Clue-Generierung: Gegeben eine Menge von Zielwörtern ( $T$ ) und Nicht-Zielwörtern ( $N$ ) generiert das Modell ein einzelnes Clue-Wort ( $w_{clue}$ ), das so viele Ziele wie möglich verbindet, während Assoziationen mit Nicht-Zielen vermieden werden.
Raten-Generierung: Gegeben ein Brett mit Wörtern ( $B = T \cup N$ ) und ein vorab berechnetes Clue, rät das Modell, auf welche Wörter sich das Clue bezieht.

2. Datensynthese und Lehrplan
Um Handhabbarkeit und Vielfalt zu gewährleisten, generierten die Autoren einen Datensatz mit 3.680 Trainingsbeispielen. Sie erstellten einen Pool von 1.000 vielfältigen Themen und zugehörigen Wörtern (stratifiziert nach Häufigkeit in häufige und seltene). Die Trainingsdaten folgen einem Lehrplan mit zunehmender Schwierigkeit:

Einfach: Ziele, die aus häufigen Wörtern gezogen werden.
Mittel/Erweitert: Zunehmender Anteil seltener Wörter.
Experte: Ziele, die aus seltenen Wörtern gezogen werden, gemischt mit Ablenkern aus dem Nicht-Ziel-Thema.

3. Reinforcement Learning mit überprüfbaren Belohnungen (RLVR)
Anstelle von menschlichem Feedback werden die Modelle mit RLVR trainiert. Eine eingefrorene „Richter"-Policy (Google Gemini Flash-2.5) bewertet die Ausgabe des Modells.

Belohnungsfunktion: Die Belohnung wird basierend auf der Genauigkeit der Raten-Generierungsschleife berechnet. Sie belohnt korrekte Ziel-Treffer und bestraft Nicht-Ziel-Treffer oder Raten außerhalb des Bretts. Die Belohnung ist in $[-2, 1]$ begrenzt.
Algorithmus: Die Autoren verwenden das DAPO-Objektiv (Deepseek-Adaptive Policy Optimization) mit dem GRPO-Vorteilsschätzer. Sie fine-tunen drei Qwen3-Modelle (1,7B, 4B und 8B) mittels Full-Parameter-Fine-Tuning über 2 Epochen (230 Update-Schritte). Es wird keine KL-Divergenz-Regularisierung verwendet.

Hauptbeiträge

Kreativitätstraining durch überprüfbare Belohnungen: Die Arbeit zeigt, dass Kreativität effektiv durch eine strukturierte Spielumgebung mit objektiven Belohnungen trainiert werden kann, wodurch die Notwendigkeit menschlicher Präferenz-Annotationen entfällt.
Skalenabhängiger Präzisions-Vielfalt-Trade-off: Die Studie enthüllt eine kritische Erkenntnis: Der Effekt assoziativen Trainings auf die Modellfähigkeiten hängt von der Modellskala ab.
- Kleinere Modelle (1,7B, 4B): Erzielen erhebliche Verbesserungen in der reasoning-Präzision (Mathematik- und Wissenschaftsaufgaben), erleben jedoch oft einen Zusammenbruch der kreativen Vielfalt (Wortschatzgröße und semantische Vielfalt).
- Größeres Modell (8B): Erzielt konsistente Verbesserungen bei Kreativitätsmetriken (divergentes Denken, narrative Generierung) mit nur geringfügiger Verschlechterung der reasoning-Präzision.
Skalierbare Lösung: Der Ansatz bietet einen praktischen Hebel zur Stärkung von LLMs unterschiedlicher Größen und liefert reasoning-Gewinne für kleinere Modelle sowie Kreativitätsgewinne für größere Modelle unter Verwendung eines einzigen, einheitlichen Trainingsrezepts.

Ergebnisse

Die Modelle wurden an 10 Kreativitäts-Benchmarks (abdeckend divergentes/konvergentes Denken, Humor, Metaphern und kreatives Schreiben) und 4 Reasoning-Benchmarks (Arithmetik, Wettbewerbsmathematik, Graduiertenwissenschaft) evaluiert.

Kreativitätsgewinne: Das 8B-Modell zeigte moderate, aber konsistente Gewinne bei 8 von 10 Kreativitäts-Benchmarks. Es war das einzige Modell, das sich in der divergenten Vielfalt (DAT DSI und Wortschatzgröße) verbesserte. Es gab jedoch einen Rückgang bei NYT Connections, was auf eine „Überdenkungs"-Tendenz zurückgeführt wird, bei der das Modell aufgrund verlängerter Reasoning-Spuren die Aufgabenbeschränkungen verletzte.
Reasoning-Gewinne: Die kleineren Modelle (1,7B und 4B) zeigten erhebliche Verbesserungen bei Reasoning-Aufgaben. Das 1,7B-Modell verbesserte sich bei allen vier Reasoning-Benchmarks (z. B. stieg die AIME24-Genauigkeit von 0,43 auf 0,57). Das 4B-Modell verbesserte sich bei drei. Umgekehrt verzeichnete das 8B-Modell Rückgänge in der Reasoning-Leistung (z. B. sank AIME24 von 0,80 auf 0,67).
Mechanismus: Die Autoren führen diese Spaltung auf die Interaktion zwischen assoziativem Lernen und RLVR zurück. Kleinere Modelle, die zuvor mit schwierigen Problemen kämpften, lernen, die „leichteren" Probleme im erreichbaren Bereich mit hoher Präzision zu lösen. Größere Modelle, die bereits in der Lage sind, diese zu lösen, werden durch das Belohnungssignal dazu gedrängt, diverse, schwierigere Assoziationen zu erkunden, wodurch die Kreativität auf Kosten strikter Präzision gesteigert wird.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine skalierbare und effektive Lösung für das Training von LLMs für Kreativität ohne menschliches Urteil vorzustellen. Indem die Autoren Kreativität als Spiel mit überprüfbaren Belohnungen darstellen, zeigen sie, dass ein einziges Trainingsparadigma unterschiedliche, vorteilhafte Ergebnisse liefern kann, abhängig von der Skala des Modells:

Für kleinere Modelle wirkt die Methode als Präzisionsmotor und schärft die Reasoning-Fähigkeiten.
Für größere Modelle wirkt die Methode als Diversitätsmotor und erweitert kreative Assoziationen.

Die Autoren schließen, dass dieser skalenabhängige Trade-off eine Schlüsseleigenschaft des assoziativen RLVR-Trainings ist. Sie betonen, dass ihr Ansatz die Ressourcenbarriere für die Kreativitätsforschung senkt, indem er auf synthetische Daten und überprüfbare Belohnungen statt auf kostspielige menschliche Annotationen zurückgreift, was es für Modelle ab 1,7 Milliarden Parametern zugänglich macht. Die Studie warnt davor, dass, während die kreative Vielfalt zunimmt, die Präzision trade-offen kann, was nahelegt, dass diese Modelle nicht in Kontexten eingesetzt werden sollten, die strikte faktische Genauigkeit erfordern (z. B. medizinische oder rechtliche Beratung).