🤖 AI

In Search of the Ingredients of Open-Endedness: Replicating Picbreeder with Large Vision-Language Models

本論文は、大規模なビジョン・言語モデルが人間主導のPicbreeder実験で観察された開かれた創造的発見を再現できるかどうかを検証し、VLMは固有の出力を生成するものの、探索ノイズ、行動多様性、記憶といったメカニズムを統合することが、生成能力の差をより理解し、潜在的に埋めるために必要であると結論づける。

原著者： Sam Earle, Kay Arulkumaran, Andrew Dai, Akarsh Kumar, Julian Togelius, Sebastian Risi

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sam Earle, Kay Arulkumaran, Andrew Dai, Akarsh Kumar, Julian Togelius, Sebastian Risi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

Picbreederというデジタル美術館を想像してみてください。長年にわたり、実際の人間がこの美術館を訪れ、「進化的アート」というゲームを楽しんできました。参加者はまず、ランダムでぼんやりとしたピクセルの塊から始めます。気に入ったものを選び、コンピュータにそれに対してわずかなランダムな変化（遺伝的突然変異のようなもの）を加えるよう指示し、次に新しいバージョンの中から最も良いものを選びます。このプロセスを繰り返し行うことで、画像の系統樹が生まれます。時間の経過とともに、人間はこれらの塊を車、顔、キノコなど、認識可能なものへと進化させることができることを発見しました。多くの場合、これらは計画されたものではなく、偶然にこれらの形状にたどり着いたのです。

この論文が問う大きな問題は、**AI はこれを単独で行うことができるか？**という点です。

研究者たちは、人間のプレイヤーを**大規模視覚言語モデル（VLM）**に置き換えました。これは画像を見て言語を理解できる超スマートな AI です。彼らは、これらの AI が特定の目標を持たずに「開かれた形で」新しい興味深いものを発見する人間の能力を再現できるかどうかを確認したかったのです。

以下に、彼らが発見したことをシンプルな比喩を用いて説明します。

1. 設定：AI アート教室

AI エージェントを美術教室の生徒だと考えてください。

キャンバス： 絵の具の代わりに、彼らは画像を生成する小さなニューラルネットワーク（数学的なレシピ）を進化させています。
教師： AI には「これらの画像を見て、気に入ったものを選び、それに基づいて新しいものを作りなさい」と指示されます。
目標： 「正解」はありません。目標は、ただ永遠に新しい興味深いものを作り続けることです。

2. 問題：AI は行き詰まる

研究者たちが特別な工夫なしに AI だけでゲームをさせたところ、それは退屈して同じものを繰り返し描き始める生徒のように振る舞いました。

「キツネ」の罠： 多様な動物を発見する代わりに、AI はループに陥り、キツネのような形や魚の骨のような形のわずかに異なるバージョンを数十個作り続けることになります。これは、完全に新しいアイデアへと「大胆な飛躍」をする人間の能力に欠けていたためです。
記憶の問題： 人間は過去の経験Rememberし、繰り返しを避けます。しかし、AI は記憶に苦労しました。
- AI が過去の行動を全く記憶していなければ、同じ画像を繰り返しスパムのように生成してしまいます。
- AI が記憶しすぎている場合（履歴全体を読み込む場合）、圧倒されて混乱し、明確な画像の代わりに散漫でノイズの多い静止画を生成することが多かったです。
- 絶妙なバランス： AI が最もよく機能したのは、直前にやったことだけを記憶する場合でした。これにより、すぐに繰り返しを避けるには十分ですが、混乱するほどではありませんでした。

3. 解決策：AI をより創造的にする方法

研究者たちは、教師が生徒を動機させるように、より多くの創造性を引き出すために 3 つの主な「材料」を試しました。

A. 少しの「混沌」の追加（探索的ノイズ）
ルールを完璧に守りすぎる生徒を想像してください。時には、「ねえ、たまにはランダムな色を選んでごらん！」と言う必要があります。

研究者たちは、AI の選択に少量のランダム性を加えました。常に「最も良い」画像を選ぶのではなく、AI は時々、何が起こるか見てみるためにランダムな画像を選ぶようにしました。
結果： これにより、AI は「キツネの罠」から抜け出し、より多様な形状を見つけることができました。ただし、あまりにも多くの混沌を加えると、AI は単にゴミのようなノイズを生成し始めました。少しのランダム性が、新しい道を見つける鍵でした。

B. AI に「個性」を与える
1,000 人の生徒がいる教室を想像してください。ただし、全員が同じではなく、それぞれにユニークな個性の特性を与えたとします。一人は「焚き火の煙の匂い」に執着し、もう一人は「サイレンの視覚的な音」を探し、さらに別の一人は「退屈してルールを破りたい」と考えています。

研究者たちは、それぞれがユニークで気まぐれな個性のプロンプトを持つ 1,000 人の異なる AI エージェントを作成しました。
結果： これにより、多様性が生まれました。各エージェントが異なるものを探していたため、美術館には膨大な種類の画像が並びました。
欠点： 美術館が多様で満杯になった一方で、「敵対的」な画像も満杯になりました。これらは奇妙で、サイケデリックで、ノイズの多いパターンであり、テレビの砂嵐のように見えます。これらはエージェントの奇妙で抽象的な個性を満たす画像でしたが、現実の何物にも見えませんでした。まるで「悪いテレビ受信」が最も美しい芸術形式だと決めた生徒がいるようなものです。

4. 結論：人間はまだ優位にある

この論文は、AI はこのゲームをプレイできるが、まだ人間のバージョンには及ばないと結論付けています。

人間の美術館： 意味があり、進化してきたと感じられる、洗練された認識可能な物体（車、顔、道具）で満たされています。
AI の美術館： 興味深いパターンで満たされていますが、しばしばループに陥っていたり、ノイズの多い抽象的な静止画で満たされていたりします。AI は、人間が自然に行うような創造性の「大きな飛躍」をするのに苦労しています。

教訓：
研究者たちは、単により優れたアートボットを構築しただけではなく、なぜ人間が開かれた発見にこれほど優れているのかを理解するための実験室を構築しました。彼らは、AI を真に創造的にするためには、微妙なバランスが必要であることを発見しました。

繰り返しを避けるのに十分なだけの記憶。
新しいことを試すのに十分なだけのランダム性。
創造的領域の異なる隅々を探検するための多様な「個性」のグループ。

しかし、これらの材料があっても、AI は依然として多くの「ノイズ」を生成しており、意味のある認識可能な物体を単独で見つける芸術をまだ完全に習得していません。この論文は、人間の創造性をこれほど特別なものにしている秘密の「材料」を、私たちがまだ探していることを示唆しています。

技術概要：オープンエンドネスの構成要素を探求する：大規模視覚言語モデルによる Picbreeder の再現

問題定義

本論文は、人間の介入や事前に定義された最適化目標なしに、自律システムが新規かつ意味のある人工物を無限に生成する能力、すなわち人工的なオープンエンドネスの達成という課題に取り組む。機械学習は静的なデータセットに大きく依存しており、これがボトルネックとなっているが、オープンエンドなシステムは新規性の継続的な生成を約束する。しかし、完全自動化されたオープンエンドネスは依然として「巨大な課題」である。

著者らは、ユーザーがニューラルネットワーク（CPPN）を介して画像を共同で進化させる歴史的なヒューマン・イン・ザ・ループシステムであるPicbreederを、オープンエンドな発見の規範的な事例として位置づける。核心的な研究課題は、この環境において**大規模視覚言語モデル（VLM）**が人間のユーザーのオープンエンドな行動を再現できるかどうか、そして可能であれば、それを促進するために必要な設計上の構成要素（記憶、探索、多様性）は何か、という点である。

手法

著者らは、人間のユーザーを最先端の VLM に置き換えることで、Picbreeder の完全な人工的な再現を実装した。

システムアーキテクチャ

基盤エンジン: システムは、NEAT（NeuroEvolution of Augmenting Topologies）を用いてCPPN（Compositional Pattern Producing Networks）を進化させる。各 CPPN は $(x, y, r)$ 座標を入力とし、色相、彩度、明度を出力して $128 \times 128$ の画像を生成する。
エージェントループ: 「セッション」は、既存の画像から分岐するか、ランダムな集団から開始するエージェントで構成される。エージェントは 15 枚の画像からなる集団から親を選択し、突然変異（および交叉）を適用して 20 世代にわたって集団を進化させる。最終世代において、エージェントは 1 枚の画像を選択して共有アーカイブに公開し、タイトルを付ける。
エージェントインターフェース: エージェントはアーカイブのサンプル（高評価順、最新ベスト、最も分岐した順、最新、ランダムに分類されたもの）を受け取り、親の選択、色/構造モードの切り替え、突然変異強度の調整を指示される。また、決定の根拠を提供しなければならない。

実験的介入

オープンエンドネスの「構成要素」を特定するため、著者らは 3 つの主要パラメータを変動させた。

記憶（コンテキスト長、$CL$）: エージェントのコンテキストウィンドウに含まれる直前の相互作用ステップの数。
- $CL=0$: 現在の集団のみが表示される。
- $CL=1$（デフォルト）: 現在のステップと直前の 1 ステップ。
- $CL=20$（完全）: セッション履歴全体が表示され、アーカイブに対する新規性を正当化するよう求める特定のプロンプトが含まれる。
探索（選択ノイズ、 $\epsilon$ ）: $\epsilon$ -greedy 戦略において、確率 $\epsilon$ でエージェントの選択がランダムな行動（ランダムな親の選択、ランダムな突然変異設定、または色モードの切り替え）に置き換えられる。
マルチエージェント多様性（ $N_A$ ）: エージェントに割り当てられる異なる「個性」の数。個性の特性（例：「あなたは悲鳴を上げるサイレンの視覚的同等物を探している」）は LLM によって生成され、システムプロンプトに先付けられて、多様なプレイスタイルをシミュレートする。

評価指標

著者らは、人間のアーカイブの「X ファクター」を定量化する指標を開発した。

意味的想起（Semantic Recall）: 既知の物体を再発見する能力（THINGS データセットに基づく）。シグナル空間におけるアーカイブ画像とクラス埋め込みとの最小コサイン距離を測定する（SigLIP2-B）。
視覚的・意味的新規性: 埋め込み空間（画像用 SigLIP-2-B-alignet、キャプション用 gemini-embedding-001）における $k$ -カバリング半径を介して測定される。これはアーカイブがいかにして可能な形態の空間を網羅しているかを定量化する。
系統樹のバランス（ $J_1$ ）: 進化系統の多様性を測定する指標であり、エージェントが多様な祖先から分岐しているか、同じ少数の画像から繰り返し分岐しているかを評価する。

主要な結果

1. 探索と品質のトレードオフ

ノイズ（ $\epsilon$ ）: 少量の探索的ノイズ（ $\epsilon \approx 0.25$ ）を導入することで、アーカイブの多様性（視覚的・意味的カバレッジ）が増加し、モード崩壊が防止された。しかし、ノイズレベルが高い場合（ $\epsilon \ge 0.5$ ）、画像の明瞭性と意味的想起が低下した。
観察: ノイズは系統的多様性を増加させた（エージェントが多様な源から分岐した）が、必ずしも長期的で意味のある変異につながるような遺伝的多様性を増加させたわけではない。VLM は「頑固な選好」を示し、ノイズのあるセットからでも特定の形態を一貫して選択した。

2. 記憶（コンテキスト長）の役割

$CL=0$: エージェントは深刻なモード崩壊に陥り、重複やほぼ同一のバリエーションを公開し、意味的想起が低かった。
$CL=1$: 驚くほど効果的だった。1 ステップのコンテキストのみで即座の繰り返しを防ぎ、最も高い意味的想起スコアをもたらした。
**$CL > 1 $:** コンテキスト長の増加は一般的にパフォーマンスを低下させた。$ CL=2 $および$ CL=10$ は、情報の過負荷、乱雑な画像、エージェントが自身のバイアスを強化する自己迎合的ループを含む「病理的行動」をもたらした。
**$CL=20 $:** 多様性指標はピークに達した（おそらく明示的な新規性プロンプトによるものだが）、意味的想起は$ CL=1$ よりも低く、画像は抽象的またはノイズの多いものだった。

3. マルチエージェントダイナミクス

多様性: エージェント数（ $N_A$ ）の増加は、視覚的・意味的カバレッジおよび系統樹のバランスを著しく改善した。
敵対的アーティファクト: エージェント数が多い場合（ $N_A = 1,000$ ）、アーカイブは高周波で解釈不能な「サイケデリック」なパターンに満ちた。これらの画像は、多くの異なるエージェントの衝突する抽象的な好みを同時に満たす敵対的ハブとして機能した。これらの画像は高い意味的カバレッジスコアを達成したが、質的には特徴がなくノイズの多いものだった。

4. 人間ベースラインとの比較

歴史的な人間のアーカイブは、特に意味的想起と画像の洗練において、ほとんどの指標で優位だった。人間は意味空間における「大胆な飛躍」（例：顔から車へジャンプ）を示す能力を持っていたのに対し、VLM はより小さく漸進的なステップ（例：顔 $\to$ 目 $\to$ カエル $\to$ 車）を踏む傾向があった。

意義と主張

本論文は、最先端のモデルを用いても、VLM による完全自動化されたオープンエンドネスはまだ達成されていないと主張する。しかし、本研究は必要な条件を理解するための枠組みを提供する。

最小限の記憶が最適: より多くの履歴が推論を助けるという直感に反し、著者らは過剰なコンテキストが病理的行動とモード崩壊をもたらすことを発見した。最適なパフォーマンスには最小限のコンテキスト（$CL=1$）で十分だった。
探索は両刃の剣: 局所最適解からの脱出には必要だが、ノイズが多すぎると人工物の品質が低下する。
結束なき多様性: マルチエージェントシステムは探索空間のカバレッジを増加させるが、多くのエージェントを満たすが意味的意味を欠く「敵対的」画像の普及につながる可能性がある。
「X ファクター」のギャップ: 著者らは、VLM は現在、人間のユーザーのような「大胆さと識別力」を欠いていると結論づける。多様な人工物を生成するように導くことはできても、人間主導のオープンエンド探索を特徴とする、高品質で意味的に一貫した新規性の「足がかり」を生成するには苦労している。

この研究は、人間レベルのオープンエンドネスを達成するためには、これらの介入を慎重に組み合わせ、メトリックの較正のためにユーザー研究を統合し、自動化された最適化のみに依存しないことが将来のシステムには必要であることを示唆している。コードは公開され、オープンエンドネスの「構成要素」に関するさらなる研究を促進する。