CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges

本論文は、機械の創造性をコード生成タスクにおいて定量的に評価するためのベンチマーク「CreativeBench」を提案し、モデルのスケーリングがもたらす創造性の特性を分析するとともに、進化探索パターンを内包する推論時制御手法「EvoRePE」を開発して機械の創造性を向上させることを示しています。

要約

創造的な AI を測る新しい「ものさし」：CreativeBench の解説

こんにちは！今日は、AI（人工知能）が「創造的」かどうかを測るための新しい実験台（ベンチマーク）について、わかりやすくお話しします。

この研究は、**「CreativeBench（クリエイティブベンチ）」**という名前です。

🎨 なぜ今、AI の「創造性」が必要なの？

これまでの AI は、インターネット上の膨大なデータ（本や記事、コードなど）を「丸暗記」して、それらを組み合わせて答えを出すのが得意でした。でも、データには限界があります。「もう新しいデータがない！」という壁にぶつかりつつあるのです。

そこで、AI に**「自分で新しいものを作り出す力」**を身につけさせようという動きが出てきました。まるで、料理人がレシピを覚えるだけでなく、自分で新しい料理を生み出すようになるようなものです。

しかし、ここで大きな問題が起きました。
「AI が作ったものが、本当に『創造的』なのか、それともただの『勘違い（ハルシネーション）』なのか、どうやって見分ければいいの？」

これまでは「正解かどうか」だけで評価されていましたが、創造性を測る「ものさし」がなかったのです。

🧪 CreativeBench とは？（2 つのテスト）

この論文では、AI の創造性を測るために、**「CreativeBench」**という新しいテストセットを作りました。これは、人間の創造性を心理学の理論に基づいて、2 つのタイプに分けてテストするものです。

1. 「組み合わせ」の創造性（Combo）

🎻 例：ジャズと料理を混ぜる
これは、**「知っていることを、新しい方法で組み合わせて、新しいものを作る」**能力です。

• イメージ: 「地図の描き方」と「音楽の理論」を混ぜて、「音で道案内をするアプリ」を作るようなものです。
• テスト方法: AI に、異なる分野のコードを混ぜて、新しい問題を解くように指示します。

2. 「探索」の創造性（Explore）

🧗 例：壁を越える新しいルート
これは、**「制限された中で、誰もやったことのない方法で問題を解決する」**能力です。

• イメージ: 「階段は禁止」「エレベーターは禁止」というルールがあるビルで、どうやって 10 階に上がるか考えるようなものです。
• テスト方法: AI に「このコードは使っちゃダメ」「この関数は禁止」という厳しいルール（制約）を次々と追加し、それでも正解を見つけられるか試します。

📏 3 つの重要なルール

このテストでは、AI が「ただの勘違い」ではなく「本当に創造的」かどうかを、以下の 3 つのルールで厳しくチェックします。

1. 実行可能であること（正解）
   • 作ったコードが実際に動かないと、ただの「空想」です。サンドボックス（安全な実験室）で実際に動かして、正解か確認します。
2. 新奇性（新しいこと）
   • 普通の答えとあまりに似ていてはダメです。「AI が普段使わないような、珍しい方法」で解けているか測ります。
3. 創造性スコア
   • 最終的な点数は**「正解度 × 新奇性」**で計算します。
   • 正解だけど普通 → スコア低
   • 新奇だけど間違ってる → スコア低
   • 正解で、かつ新しい → スコア高！

🔍 発見された驚きの事実

このテストで最新の AI を試したところ、面白いことがわかりました。

• 「大きくすればするほど、真面目になる」
  • AI のサイズを大きくすると、正解率は上がりますが、**「型にはまった正解」ばかり出すようになります。つまり、「正解はするけど、面白くなくなる（独創性がなくなる）」**という現象が起きました。
• 「考える力（推論）は、制限された時に役立つ」
  • AI に「よく考えて」と指示すると、制限された問題（Explore）は解けるようになりますが、組み合わせ問題（Combo）にはあまり役立ちませんでした。

🚀 解決策：EvoRePE（エボ・レペ）

では、どうすれば AI をもっと創造的にできるのでしょうか？
著者たちは、**「EvoRePE」**という新しいテクニックを提案しました。

• どんなもの？
  • AI が「進化」する過程で、どのように創造的な答えを出したかを観察し、その「創造性のパターン」を AI の頭の中（内部の信号）に**「注射」する**ような技術です。
• 効果
  • AI に特別なトレーニングをさせなくても、この「創造性の注射」をするだけで、**「より独創的で、かつ正解なコード」**を生み出せるようになりました。まるで、AI に「もっと自由に考えろ！」という魔法のスイッチを入れるようなものです。

🌟 まとめ

この研究は、AI の未来にとって非常に重要です。

• 問題: AI は「正解」は出せるが、「創造的」かどうかを測るものがなかった。
• 解決: 「CreativeBench」という新しいテストで、AI の創造性を「正解度」と「新奇性」の掛け算で測れるようにした。
• 発見: 大きい AI は正解するが、独創性が落ちる傾向がある。
• 未来: 「EvoRePE」という技術で、AI に創造性を「注入」することで、より素晴らしい新しいアイデアを生み出せるようになるかもしれません。

これは、AI が単なる「計算機」から、人間のように「新しい世界を切り開くパートナー」に進化する第一歩と言えるでしょう。

技術概要

CreativeBench: 機械創造性の評価と向上のための自己進化型チャレンジに基づくベンチマーク

論文の技術的サマリー（日本語）

本論文は、大規模言語モデル（LLM）の進化に伴う「創造性」の評価と向上に焦点を当てた研究です。既存のコード生成ベンチマークが機能の正しさ（Pass@k）に偏重し、創造性の定量的評価が不足している現状を踏まえ、CreativeBenchという新たなベンチマークと、創造性を高めるための推論時制御手法EvoRePEを提案しています。

---

1. 背景と課題 (Problem)

• データ飽和と進化システムの限界: 高品質な事前学習データの飽和により、研究は継続的に新しい成果物を生成できる「進化システム（AlphaEvolve など）」へ移行しています。しかし、これらのシステムの進歩は、厳密で定量的な評価基準の欠如によって阻害されています。
• 創造性評価の課題: 既存の評価では、以下の問題点が指摘されています。
  1. 創造性とハルシネーション（虚構）の区別が困難。
  2. 課題の複雑性が不足しており、真の創造的行動ではなく単なる暗記（rote memorization）を誘発する。
  3. 進化システムにおける創造性の、根拠のある定量的指標の欠如。
• 評価の必要性: 機械創造性を評価するには、Boden の認知的創造性フレームワーク（組み合わせ的創造性と探索的創造性）に基づき、実行可能なコードを用いて客観的に評価する仕組みが必要です。

2. 提案手法と方法論 (Methodology)

2.1 CreativeBench (ベンチマーク)

Boden のフレームワークに基づき、2 つのサブセットから構成されるコード生成用ベンチマークを構築しました。

• CreativeBench-Combo (組み合わせ的創造性):
  • 定義: 馴染みのある概念を未知の方法で組み合わせる能力。
  • 構築手法: 「リバースエンジニアリング」パイプラインを使用。既存の検証済みコード（異なるドメインの融合）から問題記述を逆算して生成します。これにより、解が保証された高難易度のタスクを自動生成します。
  • 特徴: 14 のドメインにまたがる融合タスクを含み、暗記を回避するために難易度を高めています。
• CreativeBench-Explore (探索的創造性):
  • 定義: 構造化された概念空間を航行し、新しい可能性を発見する能力。
  • 構築手法: 「セルフプレイ（Self-Play）」パイプラインを使用。制約生成器（Constraint Generator）とソルバー（Solver）が対話し、ソルバーが解いた解に対して「負の制約（禁止事項）」を付加して難易度を段階的に上げます。これにより、モデルが標準的な解法から逸脱して新しいアルゴリズムを模索するよう強制します。
• 評価指標（統一創造性スコア）:
  • 創造性を**「品質（Quality）」×「新規性（Novelty）」**の積として定義します。
  • 品質: サンドボックス実行による正解率（Pass@1）と LLM ジャッジによる評価。
  • 新規性: 生成された解とベースライン解の間の「論理距離」。コード埋め込み（CodeXEmbed）の類似度と、文字レベルの 4-gram 距離を組み合わせて測定します。これにより、単なる表面的な改変ではなく、構造的な革新を捉えます。

2.2 EvoRePE (創造性向上手法)

• 概念: 進化アルゴリズム（例：AlphaEvolve）による探索プロセスから得られる「創造的な変化」を、モデルの潜在空間におけるベクトルとして抽出し、推論時に注入するプラグアンドプレイ手法。
• 仕組み:
  1. 標準的なプロンプトと、進化アルゴリズムで最適化されたプロンプトのペアを収集。
  2. モデルの各層におけるアクティベーションの差分を計算し、主成分分析（PCA）を用いて「創造性ベクトル」を抽出。
  3. 推論時、このベクトルをモデルの残差ストリームに注入（Steering）することで、創造的な解を誘導します。
• 特徴: 追加のトレーニング不要であり、既存の進化アルゴリズムと直交する形で効果を発揮します。

3. 主要な発見と結果 (Key Results)

3.1 ベンチマークの性能

• 難易度: 最先端モデル（Gemini-3-Pro など）でも、両サブセットにおいて Pass@1 が 60% 未満であり、非常に高い難易度を示しています。
• 人間との相関: 自動化された創造性ランキングと人間の専門家による評価の間に高い相関（Spearman's ρ = 0.78）が確認され、指標の信頼性が証明されました。

3.2 モデルスケーリングと創造性の関係

• 組み合わせ vs 探索: モデルの規模拡大（スケーリング）は組み合わせ的創造性を大幅に向上させますが、探索的創造性への寄与は限定的です。
• 収束によるスケーリング（Convergence-by-Scaling）: 大規模モデルは高頻度のトレーニングパターンに収束しやすくなるため、正解率は上がりますが、多様性（新規性）は低下する傾向があります。つまり、より「正しいが画一的」な解を生成するようになります。

3.3 推論能力（Reasoning）の影響

• 探索的創造性への寄与: 推論モード（Thinking Mode）のオンは、制約付きの探索タスクにおいて性能を大幅に向上させます。
• 組み合わせ的創造性への寄与: 逆に、ドメイン横断的な組み合わせタスクでは、推論能力はほとんど効果を示しませんでした。これは、組み合わせが知識の検索と構成に依存し、長い思考連鎖よりも直接的な知識統合を必要とするためと考えられます。

3.4 EvoRePE の有効性

• 創造性向上: EvoRePE を適用することで、ベースラインモデルや進化アルゴリズム（AlphaEvolve, GEPA）の組み合わせにおいて、創造性スコアが有意に向上しました。
• 効率性: 進化アルゴリズム自体は計算コストが高いですが、EvoRePE は推論時のベクトル注入のみで済むため、オーバーヘッドが極めて低く、創造性の向上を安価に実現できます。

4. 貢献 (Contributions)

1. CreativeBench の構築: Boden の認知的フレームワークに基づき、組み合わせ的・探索的創造性の両方を測定する初の機械創造性ベンチマークを提案。自動化パイプラインにより、高品質で漏洩のないデータセットを構築。
2. 新たな知見の解明: モデルのスケーリングや推論能力が、進化システムにおける創造性の異なる側面（組み合わせ vs 探索）にどのように影響するかを定量的に明らかにした。特に「スケーリングによる収束」現象を指摘。
3. EvoRePE の提案: 進化探索のパターンを潜在空間のベクトルとして抽出・注入する、トレーニング不要の創造性向上手法を提案。進化アルゴリズムと組み合わせることで、モデルの自己進化を可能にする新たなパラダイムを示唆。

5. 意義と将来展望 (Significance)

本論文は、機械創造性の評価を「正解かどうか」から「いかに独創的かつ正解であるか」という次元へ引き上げました。

• 科学的意義: 進化システムにおける創造性のメカニズムを解明し、モデルのサイズやアーキテクチャが創造性に与える影響を定量化しました。
• 実用的意義: EvoRePE は、追加学習なしにモデルの創造性を高める実用的な手法として、科学発見や複雑な問題解決など、高度な創造性が求められる分野での応用が期待されます。
• 将来の方向性: 将来的には、コード以外の領域（物語生成、音楽作曲、科学発見など）への評価フレームワークの拡張や、プロセスレベルの信号を用いたより深い評価手法の開発が期待されます。

---

結論: CreativeBench と EvoRePE は、機械創造性の評価と向上における重要なマイルストーンであり、AI が単なる知識の再生産者から、真に創造的な問題解決者へと進化するための基盤を提供します。