💻 computer science

AGC-Bench: Measuring Artificial General Creativity

本論文は、人工汎用創造性の統一的な尺度を確立する包括的なベンチマークおよび評価フレームワークであるAGC-Benchを紹介し、それが一般知能とは異なる単一の創造性因子を明らかにするとともに、トップクラスの人間によるクリエイターが依然として現在の最先端のLLMを凌駕していることを示すものである。

原著者： Roger Beaty, Vijeta Deshpande, Clin K. Y. Lai, Anna Attuch, Namrata Shivagunde, Swastik Roy, Rajkumar Pujari, Paul V. DiStefano, Sherin Muckatira, Claire E. Stevenson, Mikhail Gronas, Anna Rumshisky

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Roger Beaty, Vijeta Deshpande, Clin K. Y. Lai, Anna Attuch, Namrata Shivagunde, Swastik Roy, Rajkumar Pujari, Paul V. DiStefano, Sherin Muckatira, Claire E. Stevenson, Mikhail Gronas, Anna Rumshisky

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、人々の「創造性」を測るために設計された、巨大なテストのライブラリを持っていると想像してください。あるテストはレンガの新しい使い道を思いつくよう求め、あるテストは面白いジョークを書くよう求め、また別のテストは科学的なパズルを解くよう求めます。長い間、研究者たちは議論してきました。創造性とは、あらゆる分野で優れた成果を出すための一つの大きな「スーパーパワー」なのか（数学が得意なら物理も得意になるようなものか）、それとも、詩には長けているがエンジニアリングには全く向かないといった、個別のスキルの集合体なのか、ということを。

現在、私たちは物語を書き、問題を解決し、ジョークを飛ばすことができる人工知能（AI）モデルを持っています。しかし、AIの創造性が一般的なスーパーパワーなのか、それとも単なる一連の孤立したテクニックに過ぎないのかを測定する方法はこれまでありませんでした。

この論文は、AIのための巨大な新しい「創造性のジム」であるAGC-Benchを紹介しています。彼らが何を行い、何を見出したのかを、簡単に説明します。

1. 究極の創造性ジムの構築

研究者たちは、単に新しいテストを一つ作ったわけではありません。彼らは司書であり、探偵であるかのように振る舞いました。彼らは3,000以上の学術論文をスキャンし、AI向けに作られたあらゆる創造性テストを見つけ出しました。その膨大な論文の山から、彼らは78の異なるテスト（「ブレインストーミング」テスト、「ストーリーテリング」テスト、「ユーモア」テストなど）を選び出し、それらすべてを一斉に実行するための統一されたシステムを構築しました。

これは、アスリートの能力を同じ基準で測定するために、トレッドミル、ウェイトラック、クライミングウォール、そしてスイミングプールを備えた、単一のジムを建設するようなものです。彼らは83種類の異なるAIモデルをこのジムでテストしました。

2. 「審判」の問題と新しいレフェリー

AIに別のAIのジョークや物語を採点させると、そのAI審判にはバイアスが生じることがあります。厳しすぎたり、逆に甘すぎたりすることがあるのです。それは、特定のチームを愛し、他のチームを嫌うレフェリーがいるようなものです。

これを解決するために、研究者たちは**「審判応答理論（Judge Response Theory）」**と呼ばれる巧妙なトリックを使用しました。彼らは3つの異なる「スーパーAI」レフェリーにすべての回答を採点させました。そして、数学を用いて、どのレフェリーが「厳しいコーチ」で、どのレフェリーが「寛大なコーチ」であるかを特定しました。彼らはスコアを調整し、全員が公平に判定されるようにしました。最終的に、彼らはこの公平なパネルを模倣する、完璧なレフェリーとなる新しいオープンソースのAI（AGC-Judgeと呼ばれます）を訓練しました。これにより、高価な3つのスーパーAIを用意しなくても、誰もが後でこれを利用できるようになります。

3. 大きな発見：創造性は一つのものか、それとも多くのものか？

これがこの論文のメインとなる問いです。彼らはこう尋ねました。「もしAIが物語を書くのが得意なら、そのAIは自動的に科学的な問題を解くことも得意になるのだろうか？」

答え： はい、大部分においてそうです。
スコアを分析した結果、AIにおける創造性は、一つの強力なエンジンとして機能していることがわかりました。彼らはこれを**「C因子」**（人間における一般知能の「g因子」のようなもの）と呼んでいます。

比喩： 創造性を懐中電灯だと想像してください。もしAIが高い「C」を持っていれば、それが詩を書くことであれ、ジョークを作ることであれ、あらゆるテストに対して明るく光を放ちます。
統計： この単一の「C因子」が、モデル間の差異の**81.5%**を説明していました。あるAIがひとつの創造的なタスクでどれほど優れているかを知れば、そのAIが他のほぼすべての創造的タスクでどのように振る舞うかを予測できるのです。

ただし、人間が数学者よりも優れた作家である可能性があるのと同様に、トップクラスのAIモデルにもわずかな「好み」は存在します。ユーモアに少し長けているモデルもあれば、科学的なアイデアに少し長けているモデルもいます。しかし、全体的な「創造的エンジン」は同じなのです。

4. AIの創造性は単なる「推論」の仮の姿か？

一部の人々は、「AIは創造的になっているのではなく、単に論理や事実に非常に長けているだけではないか」と考えました。
研究者たちは、モデルに「創造的であれ」と指示する場合と、「論理的であれ」と指示する場合を比較することで、これをテストしました。

結果： AIに「創造的であれ」と伝えることは、「推論脳を使え」と伝えるよりも、スコアを大幅に向上させました。これは、このテストが論理ではなく、実際に創造性を測定していることを証明しています。

5. 人間 vs AI：どちらがより柔軟か？

彼らはAIの結果を、同じテストを受けた実在の人間グループと比較しました。

発見： 人間は非常に「専門化」されています。詩を書くことに長けた人間は、エンジニアリングのパズルを解くのが苦手かもしれません。人間の創造性は、異なるバケツに分かれています。
AIの違い： AIは驚くほど「一般的」です。あることに長けているAIは、通常、あらゆることに長けています。AIは人間よりも専門化されていません。
勝者： AIの方が柔軟ではありますが、その場にいる最高の人間は、最も困難なタスクにおいて最高のAIを上回りました。トップの人間は、トップのAIよりもわずかにリードしており、AIは急速に追い上げています。

まとめ

この論文は、AIの創造性を測定するための、巨大で公平かつ標準化された遊び場を構築しました。彼らは、AIの創造性が、さまざまな種類の創造的タスクにおけるパフォーマンスを支える、単一の、一般的な能力（まるでスーパーバッテリーのようなもの）であることを発見しました。それは、バラバラのスキルの集まりではありません。最高のAIは最高の人間にはるかに近いレベルにありますが、トップの人間は依然として王座を守っており、人間の創造性は、AIの「万能型（ジャック・オブ・オール・トレード）」のアプローチと比較して、より専門化されているのです。

彼らは、他の人々がこれらのモデルをテストし改善し続けられるよう、すべてのツール、データ、そして「公平なレフェリー」となるAIを公開しています。

技術要約: AGC-Bench: 人工汎用創造性（Artificial General Creativity）の測定

問題提起

創造性の研究においては、創造的能力が一般的な能力（知能におけるスペアマンの g 因子に類似したもの）なのか、それとも領域固有のスキルの集合体なのかについて、長年議論が続いてきた。大規模言語モデル（LLM）が創造的な出力を求められる場面が増えている一方で、分野には、モデルの創造性がドメインを越えて汎用化しているのか、あるいは特定の領域に限定されているのかを評価するための統一されたインフラストラクチャが欠如している。既存の評価は、数百もの異種混合なベンチマークに断片化されており、スコアリング・プロトコルも互換性がないため、創造的な文章作成に長けたモデルが、科学的な着想やユーモア、あるいは問題解決においても強力な能力を備えているかどうかを経験的に判断することは極めて困難である。さらに、「LLM-as-a-judge（審判としてのLLM）」への依存は、寛大さや厳格さにおける系統的なバイアスをもたらし、真の性能差を不明瞭にしている。

手法

1. AGC-Benchの構築

著者らは、PRISMA準拠の系統的レビューを通じて構築されたメタベンチマークである AGC-Bench を導入する。

文献レビュー: 3,101件の候補論文（2018年〜2025年）から、チームは497個のユニークなベンチマークを特定した。
オンボーディング・パイプライン: エージェント・ワークフローを用いて、これら78のベンチマークを標準化された実行可能なHELMスタイルのシナリオへと変換した。これには、67個のテキストのみのデータセットと11個のマルチモーダル・シナリオが含まれる。
タクソノミー（分類学）: テキストのみのデータセットは、人間の創造性研究に基づき、ブレインストーミング、問題解決、STEM、物語/ナラティブ、比喩的言語、ユーモアの6つのドメインに整理された。
評価スケール: 83種類の最先端LLM（プロプライエタリおよびオープンウェイト）をこれらのデータセットで評価した。各（モデル、データセット）のペアは $n=50$ の項目でスコアリングされ、ブートストラップ法によってランクの安定性が確認された。

2. スコアリングとキャリブレーション（Judge Response Theory）

自動スコアリングにおけるバイアスに対処するため、著者らは Judge Response Theory (JRT) を適用した。

3者パネル: 計画的な欠損を含む「2-of-3」設計が用いられた。各項目は、3つの最先端LLM審判（Gemini-3-Flash, Grok-4.1-Fast, GPT-4.1-mini）のうち2つによって評価された。
ベイズ・キャリブレーション: ベイズ・グレーデッド・レスポンス・モデル（GRM）を適合させ、各審判の厳格さと識別パラメータを復元することで、系統的な寛大さや厳格さを補正した。
AGC-Judge: 48,299件のJRT補正済みレーティングを用いて、Qwen3-30B-A3B-Instruct モデルを微調整し、AGC-Judge を作成した。これは、3者のアンサンブルを高い精度（ $\rho \ge 0.97$ ）で再現し、未学習のベンチマークに対しても高い忠実度（ $\rho = 0.83$ ）でレーティングを予測するオープンウェイトのスコアリングモデルである。

3. 心理計量的分析

本研究では、83モデル $\times$ 6ドメインの行列に対して因子分析を行い、一般的な創造性因子の存在を検証した。

外的妥当性: ベンチマークの構成概念妥当性は、純粋な流動的推理（Lewis-Mitchellの反事実的な文字配列アナロジー）プローブ、人間による評価による創造性バッテリー（MuCE）、およびモデル内介入（モデルに「創造的であれ」と指示するか「効果的であれ」と指示するか、および推論モードの切り替え）によって裏付けられた。
人間との比較: 5つのタスクのサブセット（AGC-Human）により、224人の人間参加者と125件のLLM評価の直接比較が可能となった。

主な結果

1. 一般的な創造性因子（ $c$ ）の存在

83モデルにわたる因子分析の結果、6つのドメインにわたって81.5%の分散を説明する単一の支配的な創造性因子、すなわち $c$ が明らかになった（Cronbach's $\alpha = 0.96$ ）。

分離可能性: $c$ は流動的推理（ $\rho = 0.55$ ）および一般的知識（ $\rho = 0.62$ ）と相関しているが、これらとは統計的に分離可能である。また、モデルの規模からも分離されており、総パラメータ数は中程度の相関（ $\rho = 0.69$ ）を示した。
堅牢性: この因子は、流動的推理を部分的に除去した後、異なるスコアリング手法（数式ベース vs LLM-judge）、およびモデルのサブサンプリング下においても持続した。

2. ドメイン固有のパフォーマンス変動

一般因子は存在するものの、パフォーマンスは一様ではない。

リーダーボード: プロプライエタリな最先端モデル（例：Claude Opus 4.7, GPT-5.4/5.5）が総合的な複合指標でリードしており、オープンウェイトモデル（例：GLM-5.1）が僅差で追随している。
解離: 特定のモデルは明確な強みを示す。例えば、kimi-k2.5 は問題解決においてトップとなるが、他のドメインではトップ5に入らない。一方で、claude-opus-4.6-fast は比喩的言語において大幅にリードしている。

3. 創造性に特化したプロンプトへの感受性

介入実験により、このベンチマークが一般的な推理ではなく、創造性を特異的に追跡していることが示された。

「創造的であれ」とプロンプトを与えると、大幅なパフォーマンス向上（ $d_z = +1.40$ ）が見られたが、「推論能力を有効にする」設定では、変化は非常に小さかった（ $d_z = +0.34$ ）。

4. 人間 vs LLM の創造性

ペアリングされた人間サブセットにおいて：

ドメインの汎用性: 創造性は、人間（ $\alpha = 0.42$ ）よりもLLM（ $\alpha = 0.64$ ）において有意にドメイン汎用的である。
パフォーマンスの天井: トップの人間は依然としてトップのLLMを0.12標準偏差リードしているが、最先端モデルは着想や創造的な執筆タスクにおいて人間レベルの性能に近づいている。

主な貢献

AGC-Bench: 78のデータセット（テキストのみ67、マルチモーダル11）を単一の評価ハーネスの下に統合した大規模なメタベンチマークであり、先行研究と比較して規模が桁違いに大きい。
AGC-Judge: 3者の最先端パネルのコンセンサスを、極めて低いコストで再現する、微調整されたオープンウェイトのスコアリングモデル。これにより、スケーラブルで再現可能な創造性評価が可能になる。
心理計学的インフラ: PRISMA系統的レビュー、エージェントによるオンボーディング、およびJRTキャリブレーションを組み合わせた再現可能なパイプラインを提供し、「人工汎用創造性」仮説に対する正式なテストを確立した。
実証的証拠: LLMの創造性が、大部分において一次元的（一般的な $c$ 因子を持つ）でありながら、一般的な知能や推理とは別個のものであることを示した最初の広範な実証。

重要性

本論文は、LLMにおける創造的能力が、一般的な能力なのか、あるいはドメイン固有のスキルの集合体なのかという問いに対する、初の経験的なテストを提供している。強い一般的な創造性因子（ $c$ ）を回収したことにより、著者らは、AIにおける創造性は、単なる特定のタスクから生じる創発的な特性ではなく、モデルのサイズや学習とともにスケールする転移可能な能力である可能性を示唆している。AGC-Bench、オンボーディング・ハーネス、およびAGC-Judgeの公開は、断片的な単一ドメインの評価を超え、AIの創造性に対する包括的な理解へとコミュニティを導くための標準化されたインフラを提供するものである。著者らは、現在のモデルは人間と同等の性能に近づいているものの、トップの人間は依然としてリードしており、現在のベンチマークは理論的な天井を持たず、現在の最前線に対する相対的な尺度として機能していると述べている。