技術的概要：多様な合成集団のためのパーソナジェネレーター

問題定義

大規模言語モデル（LLM）を用いた人間の行動のシミュレーションは、社会科学および AI のストレステストのためのスケーラブルな実験室を提供する。しかし、標準的な LLM は頻繁に「モード崩壊」に陥り、ステレオタイプ的で、極めて同調的、あるいは WEIRD（西洋的、教育受けた、工業化された、裕福な、民主的な）な回答の狭い部分集合に収束してしまう。これは、特に稀だが重大な結果をもたらす外れ値を含む、人間の多様性の全幅をシミュレートする能力を制限する。

現在の合成人間の作成アプローチは、通常密度一致を最適化しており、合成出力を実世界のデータの集計統計と整合させることを試みる。平均的なユーザーのモデリングには有効であるが、このアプローチは、最も確からしい回答を特定することよりも、可能な人間の反応の全範囲を探求することがより重要な、AGI に対する社会的反応などの仮説的シナリオにおけるストレステストや予測には根本的に不適切である。本論文は、堅牢なシミュレーションには、特定の個人との一致というアルゴリズム的忠実度から、サポートカバレッジ（合成集団が、極端な行動の「ロングテール」を含む、可能な人間の特性、意見、好みの全領域を網羅すること）への目的の転換が必要であると主張する。

手法

本論文は、任意の文脈に対してオンデマンドで多様な合成集団を生成できる軽量関数であるパーソナジェネレーターを導入する。個々のパーソナを最適化するのではなく、著者らはAlphaEvolveによって駆動される進化探索ループを用いて、ジェネレーター自体のコードを最適化する。

パイプラインの概要

1. 質問紙の生成: このプロセスは、文脈（$c$）、多様性軸のセット（$D$）、および調査項目（$I$）からなる合成質問紙（$q$）の生成から始まる。これらは、Big Five Inventory、DASS、SVO などの確立された心理測定ツールに基づいたファウショット・プロンプティングを用いて作成される。
2. パーソナ生成（$G_{\phi,\theta}$）: パーソナジェネレーター関数は、文脈と多様性軸を入力として受け取り、$N$個の合成パーソナ（$P$）の集団を生成する。ジェネレーターアーキテクチャは、2 段階のプロセスに従う。
   • 段階 1（自己回帰的）: LLM は各パーソナの高レベル記述を生成し、指定された多様性軸に沿ったその位置を決定する。
   • 段階 2（並列）: これらの記述は、特定の特性や背景の詳細を含む完全なパーソナプロファイルへと並列に拡張される。
3. シミュレーションと評価: 各パーソナは、質問紙の項目に回答するConcordia シミュレーションに配置される。回答は数値的埋め込み（$Z$）にマッピングされる。
4. 多様性指標: 集団の多様性は、6 つの指標（$M(Z)$）を用いて定量化される。
   • カバレッジ（モンテカルロ推定）
   • 凸包の体積
   • 最小ペアワイズ距離
   • 平均ペアワイズ距離
   • 分散（最大の空領域の半径）
   • 理想的な準ランダム分布からの KL 発散
5. 進化的最適化: AlphaEvolveは、多様性指標を適合度関数として用い、ジェネレーターのコード（$\phi$）を反復的に突然変異させる。突然変異オペレーター（LLM）は、段階 1 と段階 2 内のロジックを変更し、多様性軸全体のカバレッジを最大化する新しいジェネレーター実装を発見する。

主要な貢献

1. サポートカバレッジの形式化: 本論文は、合成パーソナ生成を、特性埋め込みにおける多様性最大化タスクとして形式化し、特定の個人との一致から、可能な特性と好みの空間を網羅することへの目的の転換を明示的に行う。
2. 新規パーソナジェネレーターアーキテクチャ: 集団レベルの多様性の決定（段階 1）と、パーソナごとの背景の拡張（段階 2）を分離する、スケーラブルな 2 段階アーキテクチャが提案される。これには、質問紙の生成、相互作用のシミュレーション、およびジェネレーターコードの進化に LLM を使用するパイプラインが組み合わされている。
3. ジェネレーターの進化的発見: 著者らは、LLM 駆動の進化探索が、カバレッジと多様性指標において既存のベースラインを大幅に上回る新しいジェネレーター関数を発見できることを実証する。

結果

進化させたパーソナジェネレーターは、4 つのベースラインに対して評価された。Nemotron パーソナ（米国人口統計に基づく静的データセット）、多様性プロンプティングベースライン（高コストのプロンプティングで最適化）、Concordia ジェネレーター（形成記憶に基づく）、および名称のみベースラインである。

• 多様性指標: 進化させたジェネレーターは、トレーニング/検証セットと保持されたテストセットの両方において、すべての 6 つの多様性指標で全てのベースラインを大幅に上回った。特に、多様性プロンプティングベースラインを上回ったことは、制御フローに対する反復的な進化探索が、ゼロショット・プロンプティングでは達成できない構造的戦略をもたらすことを示唆している。
• リアリズムと人間の忠実度: 広範なサポートカバレッジを最適化しているにもかかわらず、生成されたパーソナは現実的であった。LLM をジャッジとした評価では、生成されたパーソナの 93.0%–99.2% が現実的であると判断された。重要なのは、実在の人間データ（Big Five Inventory）と比較した際、進化させたジェネレーターは、実世界の人口統計に基づいて設計されたベースラインを大幅に上回る、最も高いカバレッジ（62.9%）と最も低い KL 発散（0.99）を達成したことである。これは、サポートカバレッジを最大化することが、LLM のモード崩壊を緩和し、密度一致アプローチよりも真の人間の変動をよりよく捉えることを示している。
• 行動の転移: 自由記述タスク（コメディ作成と紛争解決）において、進化させたジェネレーターはより広範な行動と感情のスペクトルを生み出したのに対し、ベースラインは深刻なモード崩壊（例：礼儀正しく、紛争回避的な回答にデフォルトする）を示した。
• 一般化と転移: 進化させたコードは、保持された文脈に対してよく一般化し、異なる推論モデル（Gemma、Gemini、Qwen）間でも効果的に転移し、高い多様性マージンを維持した。

意義と主張

本論文は、個々のパーソナや固定された集団ではなく、ジェネレーター自体を最適化することが、多様な合成エージェントを作成するための実行可能かつ有望な方向性であると主張する。その結果得られるパーソナジェネレーターは軽量で再利用可能であり、オンデマンドでの多様な集団合成を可能にする。

著者らは、このアプローチがリアリズムを犠牲にするものではないことを強調する。LLM のモード崩壊に明示的に対抗することで、この手法は、人間の統計に一致するように設計されたベースラインよりも、現実世界の人間の特性分布をよりよく捉える。この研究は、人間の特性の全サポートが網羅されれば、その後、任意の特定のターゲット密度に一致するように集団を再サンプリングできることを示唆している。

本論文は、この技術の二重使用性について言及して結論付けている。AI のストレステスト、レッドチーム、多様な対話型エージェントの生成に有用である一方で、ボットや偽情報キャンペーンの作成への悪用のリスクを伴う。著者らは、さらなる研究を支援するため、最高性能の実装をオープンソース化することを計画している。