💬 NLP

Can LLMs Simulate Human Behavioral Variability? A Case Study in the Phonemic Fluency Task

本論文は、34 種類の LLM を用いた音韻流暢性タスクの実証研究を通じて、これらのモデルが人間の平均的な反応や語彙選好を模倣できる場合でも、人間特有の行動の多様性や検索構造を再現できないことを明らかにし、LLM を人間の認知や行動の代替として用いることには根本的な限界があることを示しています。

原著者： Mengyang Qiu, Zoe Brisebois, Siena Sun

公開日 2026-02-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mengyang Qiu, Zoe Brisebois, Siena Sun

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

AI は「人間の多様性」を真似できるか？

～「F から始まる言葉」ゲームで判明した、AI と人間の決定的な違い～

この研究は、**「AI（大規模言語モデル）は、人間の『個性』や『バラつき』をうまく真似できるのか？」**という疑問に答えようとしたものです。

研究者たちは、**「F から始まる言葉を 1 分間でできるだけ多く言う」というゲーム（音韻流暢性課題）を使って、106 人の人間と 34 種類の AI を対決させました。その結果、「AI は『平均的な正解』を出すのは得意だが、『人間らしいバラつき』を出すのは苦手」**という結論が出ました。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

1. 実験の舞台：「F から始まる言葉」ゲーム

想像してみてください。1 分間だけ与えられて、「F から始まる単語をできるだけ多く言え」と言われたらどうしますか？

人間の場合: 人によって出せる言葉はバラバラです。
- 人 A は「Fire（火）」や「Fan（扇風機）」など、よく使う単語を連発するかもしれません。
- 人 B は「Fuchsia（フクシア）」や「Fjord（フィヨルド）」など、少し変わった単語を思い出すかもしれません。
- 人 C は「Frog（カエル）」や「Flower（花）」など、子供っぽい単語を出すかもしれません。
- 重要なのは、この「誰が何を言うか」というバラつき（多様性）自体が、人間の脳の働きを表しているということです。

2. 実験の結果：AI は「平均」は出るが、「個性」は出ない

研究者は、最新の AI 34 種類（OpenAI の GPT シリーズ、Anthropic の Claude シリーズなど）に、人間の年齢や学歴、過去の成績を教えて「その人になりきって」ゲームをさせました。

✅ AI ができたこと

平均的な数は出せた: 人間が平均して 17 個の単語を出したのに対し、多くの AI も「16〜18 個」くらい出せました。
一般的な言葉は知っていた: 「Fire」や「Fun」など、誰もが知っている単語は正しく出せました。

❌ AI ができなかったこと

バラつきが少なかった: 人間のグループ全体で見ると、476 種類もの「F から始まる言葉」が出ましたが、AI たちが集まっても、せいぜい 200 種類程度しか出せませんでした。
「変な」言葉が出ない: 人間は、その人だけの独特な言葉（例：「Fiddle（バイオリン）」や「Fennel（フェンネル）」）を思い浮かべますが、AI は**「みんなが使いそうな、安全な言葉」**に偏ってしまいました。
新しい AI ほど「堅い」: 意外なことに、最新の AI ほど「思考モード」を使うと、かえってバラつきが減り、より機械的な答えに固執する傾向がありました。

3. なぜ AI は「人間っぽさ」が出ないのか？

研究者は、この理由を 3 つの視点から分析しました。

① 「辞書」の選び方が違う（ネットワーク分析）

人間の脳は、言葉のつながりを「近所付き合い」のように持っています。

人間: 「Fire（火）」→「Hot（熱い）」→「Summer（夏）」のように、局所的で密なつながりをたどります。
AI: 「Fire」→「Water（水）」→「Ice（氷）」のように、全体を均等に結びつけるような、効率的だが画一的なつながりをたどります。
例え話: 人間は「地元の商店街」をぐるぐる回るように言葉を探しますが、AI は「高速道路」を使って最短距離で目的地へ向かうように言葉を探します。そのため、人間が偶然見つける「裏道（個性的な言葉）」に AI は辿り着けないのです。

② 「みんなと同じ」を好む（語彙の重なり）

「複数の AI を混ぜ合わせれば、もっと多様になるのでは？」と試みました。しかし、AI 同士が使う言葉の 9 割は同じでした。

例え話: 100 人の異なる料理人が集まっても、全員が「同じ食材（インターネットのデータ）」と「同じレシピ（AI の仕組み）」を使っているなら、出てくる料理はどれも「同じ味」になってしまいます。AI は「平均的な正解」を最適化するように作られているため、「レアな食材（個性的な言葉）」を捨ててしまうのです。

③ 言葉の選び方の基準が違う

人間: 文字の形（スペル）や、その言葉が「どんな響きか」で連想します。
AI: 単語の長さや、頻度（よく使われるか）で判断します。
例え話: 人間は「F」の形から「Flower（花）」を連想しますが、AI は「Flower」が統計的に多いから出しているだけで、その「F」の形へのこだわりはありません。

4. この研究が教えてくれること

この研究は、**「AI を人間の代わりに実験に使っても、人間の『個性』や『多様性』は再現できない」**ことを示しています。

AI の役割: AI は「平均的な人間の知識」をまとめるには素晴らしい道具です。
人間の役割: しかし、「人によってどう違うか」「なぜその人がその言葉を選んだか」といった**「人間の心の揺らぎ」**を研究したい場合は、AI は代わりになれません。

結論:
AI は「完璧な模写」は得意ですが、「生々しい人間のバラつき」は描けません。AI を使うときは、「これは人間の代わりではなく、人間の『平均値』を見るためのツールだ」と割り切って使うのが賢明です。

一言で言うと：

「AI は『みんなが知っている正解』を並べるのは得意だけど、『あなたが思いつくような意外な答え』は出せない。だから、人間の『個性』を研究する実験には、まだ AI だけでは足りないよ」というお話です。

論文要約：LLM は人間の行動変異をシミュレートできるか？音韻流暢性タスクにおける事例研究

1. 研究の背景と問題提起

大規模言語モデル（LLM）は、認知科学や行動科学の研究において、人間参加者の代替手段として利用される機会が増加しています。しかし、LLM が人間の行動における「個体差（変異性）」をどの程度シミュレートできるかは依然として不明確です。

既存の研究では、LLM は言語の流暢さや平均的な性能においては人間に匹敵するものの、出力の多様性（variability）が人間に比べて著しく低いことが指摘されています。特に、意味的流暢性タスク（例：「動物」をできるだけ多く言う）において、LLM が生成する意味ネットワークは人間のものよりも構造的に硬直しており、局所的な連想が弱く、全体的な統合も不十分であることが示されています。

本研究は、意味に依存しない音韻流暢性タスク（Phonemic Fluency Task）、具体的には「F から始まる単語を 1 分間でできるだけ多く言う」という課題を用いて、LLM が人間の個体差を再現できるかどうかを検証することを目的としています。

2. 研究方法

2.1 データソース

人間データ: 106 名のネイティブ英語話者（平均年齢 35.59 歳、平均学歴 14.92 年）が実施した「F から始まる単語」の生成タスクデータ（Qiu & Johns, 2021）を使用。
LLM シミュレーション: 106 名の各参加者の属性（年齢、学歴、正解数）をプロンプトに含め、LLM にその参加者になりきって同じタスクを実行させました。

2.2 評価対象モデル

対象: 主要なクローズドソース（OpenAI, Anthropic, Google, xAI）およびオープンソースモデルを含む34 種類の異なるモデル。
構成: 推論モード（Thinking）の有無や推論レベルの違いを含め、合計45 構成で評価を行いました。
手法: 各モデルを 106 回独立して呼び出し、人間データとの比較を行いました。また、複数のモデルの出力をランダムに組み合わせるアンサンブル（Ensemble）手法を用いて、単一モデルではカバーしきれない多様性を回復できるかも検証しました。

2.3 分析指標

応答数: 人間との平均絶対誤差（MAE）による一致度。
語彙多様性: タイプ・トークン比（TTR）および個体固有の語彙比率（ITTTR）。
生成頻度分布: ゼイフの法則（Zipf's law）に基づく頻度分布の傾き（ $\alpha$ ）。
言語変数との相関: 単語頻度、習得年齢、正書法・音韻・意味の隣接語数などとの相関分析。
ネットワーク分析: 単語の共起パターンに基づくネットワーク構造（クラスター係数、平均最短経路長）の比較。

3. 主要な結果

3.1 応答数とプロンプト遵守

多くのモデル（45 構成中 33 構成）は、人間と同程度の応答数を生成し、プロンプトの制約を遵守できました。
ただし、GPT-4 Turbo や o3 などの一部のモデルは、人間の数倍の単語を生成する過剰生産を示しました。

3.2 行動変異性の欠如（核心結果）

多様性の不足: 人間は 476 種類の固有の単語（Types）を生成しましたが、最も多様だったモデル（Claude 3.7 Sonnet）でも 226 種類にとどまりました。
指標の低下: 人間の TTR は 0.27、ITTTR は 0.42 でしたが、どの LLM もこれらに遠く及びませんでした（例：Claude 3.7 Sonnet の TTR は 0.13）。
モデルの進化と多様性: 興味深いことに、新しいモデルや「Thinking モード」を有効にしたモデルの方が、むしろ多様性が低下する傾向が見られました（例：Claude 3.7 Sonnet は 226 種類だが、Thinking モードでは 137 種類）。

3.3 生成頻度分布と言語変数

分布の傾き: 人間のデータはゼイフの法則に従って緩やかな傾き（ $\alpha = 0.89$ ）を示しましたが、LLM はより急峻な傾き（ $\alpha = 1.19 \sim 1.53$ ）を示し、高頻度語への偏りが強かったです。
予測因子の違い: 人間の単語生成には「正書法隣接語数（Orthographic neighborhood size）」が重要な予測因子となりましたが、LLM（特に Claude 3.7 Sonnet）では「単語の長さ（Word length）」がより重要視されるなど、検索メカニズムに構造的な違いがありました。

3.4 ネットワーク構造の差異

人間と最も類似したモデル（Claude 3.7 Sonnet）とのネットワーク構造を比較すると、人間は局所的なクラスターが強く、全体的な統合は弱い構造を示しました。
一方、Claude は全体的な接続効率が高く、均一に繋がった構造を示しました。これは、人間の記憶検索が「局所的な連想の連鎖」に基づいているのに対し、LLM は「全体的な最適化」に基づいている可能性を示唆しています。

3.5 アンサンブル手法の限界

異なるモデルの出力をランダムに組み合わせるアンサンブル手法を試しましたが、人間レベルの多様性は回復しませんでした。
原因: 異なるモデル間でも語彙の重複率（Overlap）が非常に高かった（Anthropic 社内では平均 0.90、全モデル間で平均 0.74）。つまり、モデルが「同じ語彙プール」から高頻度語を抽出しているため、組み合わせても多様性は増大しませんでした。

4. 貢献と意義

4.1 学術的貢献

包括的な評価: 単一のモデルではなく、34 モデル・45 構成を網羅的に評価し、モデルファミリーやアーキテクチャに共通する傾向を明らかにしました。
メカニズムの解明: LLM が「意味的」なタスクだけでなく、「音韻的（形式ベース）」なタスクにおいても、人間の個体差や検索ダイナミクスを再現できないことを実証しました。
アンサンブルの限界: 異なるモデルを組み合わせることで多様性を補完できるという仮説を否定し、LLM 全体が持つ「代表的なバイアス（高頻度語への偏り）」の根深さを示しました。

4.2 実用的・倫理的示唆

研究手法への警告: LLM を人間参加者の代替として使用する際、特に「個体差」や「認知プロセスの多様性」が重要な研究においては、その限界を認識する必要があります。
バイアスの増幅: LLM は稀な回答や個性的な回答を抑制し、支配的な言語パターンを強化する傾向があるため、研究対象となる集団の多様性を過小評価するリスクがあります。
モデル選択の重要性: 最新のモデルが常に最良とは限らず、タスクによっては旧モデル（例：Claude 3.7 Sonnet）の方が人間に近い多様性を示す場合があることが示されました。

5. 結論

本研究は、LLM が流暢で文法的に正しい応答を生成する能力は高いものの、人間の行動変異性（behavioral variability）や記憶検索のダイナミクスをシミュレートする能力には本質的な限界があることを示しました。LLM は人間の「平均的な傾向」を捉えるには有用ですが、人間の「多様性」や「個体差」を再現する代替手段としては不十分であり、将来的には人間行動の多様性を捉えるための新しい戦略の開発が必要であると結論付けています。