Six Fallacies in Substituting Large Language Models for Human Participants

あなたは、人々がどのように考え、感じ、意思決定を行うのかを理解しようとしている心理学者だと想像してください。伝統的な方法では、実在の人間に対してインタビューを行う必要があり、それは時間がかかり、コストも高く、疲れる作業でした。最近、ある新しいアイデアが浮上しました。「では、超スマートなAI（大規模言語モデル、LLM）に聞けばいいのではないか？ AIは人間のように話すのだから、それは人間の一人の参加者と言えるのではないか？」というアイデアです。

あなたが共有した論文**「大規模言語モデルを人間の被験者の代用とすることにおける6つの誤謬（Fallacies in Substituting Large Language Models for Human Participants）」**は、この考えが罠であることを主張しています。著者のZhicheng Lin氏は、AIは素晴らしいものだが、AIを人間の代わりとして扱うことは、高解像度の絵画を見て海を研究しようとするようなものだと述べています。その絵画は非常にリアルに見えますが、そこには水も、波も、深さもありません。

以下に、この論文が特定した**6つの主な間違い（誤謬）**を、簡単な比喩を用いて説明します。

1. 「手品」の間違い（トークン予測 vs 知能）

誤謬： AIが文章の次の単語を完璧に予測できるからといって、AIが実際にその内容を「理解」していると考えてしまうこと。
比喩： シェイクスピア劇のすべての台詞を暗記したオウムを想像してください。もしあなたが「次に何が起こる？」と尋ねれば、そのオウムは次の台詞を完璧に暗唱できるでしょう。しかし、そのオウムは「愛」や「裏切り」、「死」が実際にどのようなものかを理解していません。そのオウムには体も、目も、心もありません。ただ、「愛」という言葉の後に「真実」という言葉が続くのが普通である、というパターンを知っているだけなのです。
論文の指摘： AIは統計的なオウムです。AIはパターンに基づいてテキストを予測するのであって、精神や感情を持っているわけではありません。AIは肌に感じる太陽の光も、リンゴの味も知りません。したがって、その「知能」は人間の知能とは異なるのです。

2. 「平均的なジョー」の間違い（平均的人間の誤謬）

誤謬： AIが人間のテキストで学習されているため、AIが「平均的な」人間を代表していると考えてしまうこと。
比喩： ある人が食べ物についてどう考えているかを知りたいとします。そこで、あらゆる料理本やフードブログを読んだロボットに質問します。ロボットは非常に丁寧で、完璧にバランスの取れた「正しい」答えを出すでしょう。しかし、現実の人間はもっと複雑で、まとまりがありません！ 野菜が大嫌いな人もいれば、奇妙な組み合わせで食べる人もいますし、自分が食べているものについて嘘をつく人もいます。ロボットは、決して間違いを犯したり、奇妙な癖を持ったりすることのない、「完璧に整えられた」人間のようです。
論文の指摘： AIは特定の種類のテキスト（主に西洋的で、教育水準が高く、インターネットに依存したテキスト）で学習され、さらに「役に立ち、安全である」ように調整されています。そのため、AIはあまりにも完璧で、あまりにも中立的すぎます。AIは、現実の多様で、偏りがあり、混沌とした人間社会の姿を捉えていないのです。

3. 「結果は同じだがエンジンが違う」の間違い（整合性と説明の混同）

誤謬： AIが人間と同じ答えを出したとしても、AIが人間と同じように考えているに違いないと考えてしまうこと。
比喩： デジタル時計と日時計の両方が午後12時を示していると想像してください。両者は「一致」しています。しかし、デジタル時計は電池と回路を使用しており、日時計は太陽と影を使用しています。もしあなたが日時計を研究して、電池の仕組みを理解しようとしたら、それは失敗に終わるでしょう。AIと人間が同じ答えを出したとしても、そこに到達するための思考プロセスが同じであるとは限りません。
論文の指摘： AIは（パターンを推測するなどして）間違った理由で正しい答えを出している可能性があります。AIが出力を見る限り、それが人間と同じに見えたとしても、AIが人間と同じように「考えている」と仮定することはできません。

4. 「幽霊と話している」の間違い（擬人化）

誤謬： AIが人間のように聞こえるために、AIに感情、信念、あるいは「魂」があると考えてしまうこと。
比喩： 非常にリアルな人形（腹話術の人形）と話しているとき、あなたはそこに人格があるように感じるかもしれません。しかし、もしその人形に「幽霊を信じますか？」と聞き、人形が「はい」と答えたとしても、それは人形に信念があるからではありません。その文脈において「はい」と言うようにプログラムされているからです。AIはまさにその人形であり、内面的な生活も、恐怖も、欲望も持っていません。
論文の指摘： 研究者がAIに対して「信じている」や「感じている」という言葉を使うとき、彼らは間違いを犯しています。AIは単にテキストを生成するツールに過ぎず、意識は存在しないのです。

5. 「ワンサイズ・フィット・オール」の間違い（アイデンティティの本質化）

誤謬： 「黒人女性として振る舞え」とか「中国人男性として振る舞え」と指示すれば、そのグループの完璧でリアルな表現が得られると考えてしまうこと。
比喩： シェフに「一般的なイタリア料理を作って」と頼む場面を想像してください。彼らはピザを作るかもしれません。しかし、「イタリア」は単一の概念ではありません。そこには無数の地域、家族、そして個人的な好みが存在します。もしAIに「黒人女性」になるよう求めたとしても、AIは複雑でユニークな現実の人物ではなく、単なるステレオタイプ（カリカチュア）を提示するだけかもしれません。
論文の指摘： 本物の人間のアイデンティティは流動的で複雑です。それを単純なラベルに還元してしまうことは、一人の人間としての複雑な現実ではなく、漫画のようなキャラクターを作り出すことになってしまいます。

6. 「タイムトラベラー」の間違い（代替の誤謬）

誤謬： 現在の出来事を研究するために、AIのデータが現実の人間データを代替できると考えてしまうこと。
比喩： 2020年のフォトアルバムを見て、人々が「今日」どのような服を着ているかを理解しようとしていると想像してください。アルバムは静止したものです。変化しません。もし明日、新しいファッションのトレンドが始まったとしても、フォトアルバムはそのことを知り得ません。AIもそれと同じです。AIは特定の時点までのデータで学習されています。AIは、新しい社会運動や変化する意見にリアルタイムで適応することはできません。
論文の指摘： AIは過去に縛られています。もしあなたが現在の人間行動を研究するためにAIを使用するなら、あなたは「生きている、呼吸している現在」ではなく、「歴史のスナップショット」を研究していることになるのです。

結論：私たちは何をすべきか？

この論文は、AIが無用だと言っているわけではありません。使い方を変える必要があると言っているのです。

• AIを人間の代わりとして使わないこと。 実在の人間をロボットに入れ替えて、同じ科学的な真実が得られると期待してはいけません。
• AIを「シミュレーション・ツール」として使うこと。 AIをフライトシミュレーターのように考えてください。パイロットは、飛行機がどのように反応するかをテストしたり、新しいアイデアを試したりするためにシミュレーターを使用します。しかし、シミュレーターこそが飛行機そのものであるとは言いませんし、シミュレーターの中で実際の乗客を飛ばすこともありません。
• 最善のアプローチ： アイデアを生み出したり、仮説を素早く検証したりするためにAIを活用し（シミュレーター）、その後、必ず実在の人間によるデータ（実際の飛行）を用いて、自分の結論が正しいかどうかを確認してください。

要するに、AIは人間の言語を映し出す強力な鏡ではありますが、人間の精神を覗き見るための窓ではありません。私たちは、反射（リフレクション）と現実（リアリティ）を混同しないよう、細心の注意を払わなければならないのです。