💬 NLP

Playing with Words, Improving with Rewards: Training Language Models for Creative Association

本論文は、検証可能な報酬を用いた強化学習により、言葉連想ゲーム「Codenames」を用いて大規模言語モデルを訓練し創造性を向上させる手法を提案し、大規模モデル（8B）は最小限の推論損失で一貫した創造性の向上を達成する一方で、小規模モデル（1.7B および 4B）は創造性を犠牲にして推論の精度を優先することを明らかにした。

原著者： Vijeta Deshpande, Namrata Shivagunde, Sherin Muckatira, Hadrien Glaude, Mikhail Gronas, Claire Stevenson, Roger Beaty, Anna Rumshisky

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Vijeta Deshpande, Namrata Shivagunde, Sherin Muckatira, Hadrien Glaude, Mikhail Gronas, Claire Stevenson, Roger Beaty, Anna Rumshisky

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

AI の学生たちが、それぞれ異なるサイズの脳を持っていると想像してください。小さい脳（17 億パラメータ）、中くらいの脳（40 億パラメータ）、そして大きい脳（80 億パラメータ）です。研究者たちは、これらの AI 学生に創造性を教えることを目指しました。

問題は、創造性が芸術と同じように、評価が難しいという点です。「この詩は創造的ですか？」と人間に尋ねれば、一人は「はい」と答え、別の人は「いいえ」と答えるかもしれません。AI は学習のために明確なフィードバックを必要とするため、これが AI の訓練を難しくします。

解決策：言葉遊び「コードネーム」

この問題を解決するため、研究者たちは創造性を**「コードネーム」**というゲームに変換しました。

「Apple（リンゴ）」、「River（川）」、「Chair（椅子）」、「Cloud（雲）」といったランダムな言葉が並んだボードを想像してください。

目的： 一人のプレイヤー（「スパイマスター」）は、ターゲットとなる秘密の単語リスト（例：「Apple」と「River」）を見ています。彼らは、自分のターゲットと関連する単一のヒント単語（例：「Fruit（果物）」）を与えなければなりません。ただし、ボード上の他の単語（例：「Chair」）と誤って関連してはいけません。
課題： これには 2 種類の思考が必要です。
1. 拡散的思考： 「Apple」と「River」を見て、「これらに共通することは何か？ああ、もしかして『Nature（自然）』や『Growth（成長）』かな？」と考えること。（思考を広げる）
2. 収束的思考： チームを混乱させずに完璧にフィットするたった一つの最適な単語を選ぶこと。（焦点を絞る）

このゲームには明確な勝敗条件（正しい単語を当てられたか？）があるため、AI は数百万回プレイして「よくやった」または「もう一度試そう」という単純なスコアを得ることで学習できます。人間の審査員は不要です。

実験：報酬による学習

研究者たちは、**検証可能な報酬を用いた強化学習（RLVR）**という手法を使用しました。

AI を犬だと想像してください。ゲームで良い動きをするたびに、ご褒美（報酬）が与えられます。悪い動きをするたびに、ご褒美は与えられません。
彼らは、3 つの AI モデル（小、中、大）を、このゲームを何度も繰り返しプレイして、非常に上手になるまで訓練しました。

驚くべき発見：サイズが重要

ここに転換点があります。研究者たちは、すべての AI があらゆる面で向上すると予想していました。しかし、AI の脳のサイズによって、何を学習したかが変化したことがわかりました。

1. 小規模および中規模 AI（17 億および 40 億）：「精密スペシャリスト」

何が起きたか： これらの小規模モデルは、論理や数学の問題（パズルを解くや算術計算など）において、著しく向上しました。
トレードオフ： 彼らは実際には創造性において悪化しました。彼らは非常に厳格で精密になり、ロボットのような会計士のようになりました。リスクを取るのをやめ、「安全」な答えを探すようになりました。
比喩： 複雑なボードゲームを小さな子供に教えるようなものです。彼らはルールを完璧に学び、間違いを犯さなくなります。しかし、想像力を働かせて遊ぶのをやめてしまいます。

2. 大規模 AI（80 億）：「創造的探検家」

何が起きたか： 最大のモデルは、創造的なタスク（物語を書く、面白いキャプションを考える、比喩を作るなど）において、著しく向上しました。
トレードオフ： 厳密な数学や論理についてはわずかに悪化しました。より多くのリスクを取り、よりユニークな関連付けをするようになり、それが時として計算上の小さな誤りにつながりました。
比喩： 天才的な芸術家に同じボードゲームを教えるようなものです。彼らはルールを学びますが、隠れたパターンを見つけ始め、小さなプレイヤーが見逃してしまうような荒々しく創造的な関連付けをするようになります。

全体像

この論文は、すべての AI モデルに対して創造性を同じように「オン」にすることはできないと結論付けています。

正確で論理的な思考者を望む場合、この言葉遊びでの訓練は小規模モデルをより鋭くするのに役立ちます。
創造的で想像力豊かな思考者を望む場合、このゲームでの訓練は大規模モデルをより多様で独創的にするのに役立ちます。

研究者たちは、シンプルで客観的なゲームを使用することで、モデルのサイズに応じて、AI モデルを論理に優れるように、あるいは創造性に優れるように「調整」できることを示しました。これは、人間の作業を常に評価する必要なく、AI の行動を形成するための実用的な方法です。

技術概要：言葉で遊び、報酬で向上する

問題定義

大規模言語モデル（LLM）は、創造性（広大な解空間を航行し、非従来型かつ効果的な解を生成する能力）を必要とする複雑な問題の解決をますます任されるようになっています。しかし、創造性という概念の主観性により、LLM の創造性へのトレーニングは妨げられています。「創造的」な作業を構成するものに対する人間の判断は一貫性がなく、標準的な人間のフィードバックに基づく強化学習（RLHF）の拡張を困難にし、ノイズを発生させます。中心的な課題は、高価で主観的な人間の嗜好アノテーションに依存することなく、LLM を真に創造的に訓練する方法を明確にすることです。

手法

著者らは、人間の判断を不要にするため、創造性を客観的に検証可能な結果を伴うゲームとして再定義するフレームワークを提案します。

1. 訓練環境：コードネーム
本研究は、単語連想ゲームである『Codenames』を訓練環境として利用します。このゲームは、創造的認知の 2 つの中心軸を本質的に鍛えます。

発散的思考: 複数の概念にまたがる遠隔の連想を生成すること。
収束的思考: 非ターゲットを避けつつ、ターゲットを一意に特定する単一の最良の連想を選択すること。

訓練設定は、完全なゲームを 2 つの単一ターンタスクからなるマルコフ決定過程（MDP）に簡略化します。

ヒント生成: ターゲット単語の集合（ $T$ ）と非ターゲット単語の集合（ $N$ ）が与えられた場合、モデルは非ターゲットとの連想を避けつつ、可能な限り多くのターゲットと結びつく単一のヒント単語（ $w_{clue}$ ）を生成します。
推測生成: 単語ボード（ $B = T \cup N$ ）と事前に計算されたヒントが与えられた場合、モデルはそのヒントがどの単語を指すかを推測します。

2. データ合成とカリキュラム
実行可能性と多様性を確保するため、著者らは 3,680 の訓練例からなるデータセットを生成しました。彼らは 1,000 の多様なトピックと関連する単語のプールを作成し、頻度に応じて「一般的」と「稀」に層化しました。訓練データは、難易度が上昇するカリキュラムに従います。

シンプル: 一般的な単語から抽出されたターゲット。
中級/上級: 稀な単語の割合が増加。
エキスパート: 稀な単語から抽出されたターゲットに、非ターゲットのトピックからのダミーを混合。

3. 検証可能報酬による強化学習（RLVR）
人間のフィードバックの代わりに、モデルは RLVR を用いて訓練されます。固定された「ジャッジ」ポリシー（Google Gemini Flash-2.5）がモデルの出力を評価します。

報酬関数: 報酬は、推測生成ループの精度に基づいて計算されます。正しいターゲットのヒットには報酬が与えられ、非ターゲットのヒットまたはボード外の推測にはペナルティが課されます。報酬は $[-2, 1]$ の範囲に制限されます。
アルゴリズム: 著者らは、GRPO 利度推定器を用いた DAPO（Deepseek-Adaptive Policy Optimization）目的関数を採用します。Qwen3 モデル 3 種（1.7B、4B、8B）を、2 エポック（230 更新ステップ）にわたるフルパラメータ微調整で微調整しました。KL 発散正則化は使用されませんでした。

主要な貢献

検証可能報酬による創造性訓練: 本論文は、客観的報酬を備えた構造化されたゲーム環境を用いることで、人間の嗜好アノテーションを必要とせずに創造性を効果的に訓練できることを実証しています。
規模依存性の精度と多様性のトレードオフ: 本研究は、連想トレーニングがモデル能力に与える影響がモデルの規模に依存するという重要な発見を明らかにしました。
- 小規模モデル（1.7B、4B）: 推論精度（数学および科学タスク）で大幅な改善を得ますが、創造的多様性（語彙サイズおよび意味的多様性）の崩壊を頻繁に経験します。
- 大規模モデル（8B）: 推論精度のわずかな低下のみで、創造性指標（発散的思考、物語生成）で一貫した改善を得ます。
スケーラブルな解決策: このアプローチは、異なるサイズの LLM を強化するための実用的な手段を提供し、単一の統合された訓練レシピを用いて、小規模モデルには推論の向上を、大規模モデルには創造性の向上をもたらします。

結果

モデルは、10 の創造性ベンチマーク（発散的/収束的思考、ユーモア、比喩、創造的ライティングを網羅）と 4 つの推論ベンチマーク（算術、競技数学、大学院レベルの科学）で評価されました。

創造性の向上: 8B モデルは、10 の創造性ベンチマークのうち 8 つで modest（控えめ）ながら一貫した向上を示しました。発散的多様性（DAT DSI および語彙サイズ）で改善した唯一のモデルでした。しかし、NYT Connections では後退しました。これは、拡張された推論トレースによりタスク制約を違反する「過剰思考」の傾向に起因すると考えられます。
推論の向上: 小規模モデル（1.7B および 4B）は、推論タスクで大幅な改善を示しました。1.7B モデルは 4 つの推論ベンチマークすべてで改善しました（例：AIME24 の精度は 0.43 から 0.57 に上昇）。4B モデルは 3 つで改善しました。一方、8B モデルは推論性能の低下（例：AIME24 は 0.80 から 0.67 に低下）をみました。
メカニズム: 著者らは、この分裂を連想学習と RLVR の相互作用に起因すると説明しています。以前は困難な問題に苦しんでいた小規模モデルは、到達可能な「易しい」問題を高精度で解決することを学びます。これら既に解決可能な大規模モデルは、報酬シグナルによって多様で困難な連想を探求するよう駆り立てられ、厳密な精度を犠牲にして創造性を高めます。

意義と主張

本論文は、人間の判断なしに LLM の創造性を訓練するためのスケーラブルかつ効果的な解決策を提示すると主張しています。創造性を検証可能報酬ゲームとして捉えることで、著者らは単一の訓練パラダイムがモデルの規模に応じて、明確で有益な結果をもたらすことを実証しています。

小規模モデルにとって、この手法は精度エンジンとして機能し、推論能力を鋭くします。
大規模モデルにとって、この手法は多様性エンジンとして機能し、創造的連想を広げます。

著者らは、この規模依存性のトレードオフが、連想 RLVR 訓練の主要な特性であると結論付けています。彼らは、高価な人間のアノテーションに代わって合成データと検証可能報酬に依存することで、このアプローチが創造性研究の資源障壁を下げ、1.7B パラメータという小規模なモデルでもアクセス可能になると強調しています。本研究は、創造的多様性が向上する一方で精度がトレードオフされる可能性があるため、厳密な事実正確性が求められる文脈（医療または法的助言など）ではこれらのモデルを使用すべきではないと警告しています。