Free-form Association Tasks Reveal Stereotype Hallucination in Large Language Models
本研究は、人間が抽象的な刺激に対して多様な解釈を示し、集団の反応を予測する際に適度なステレオタイプの誇張を見せる一方で、大規模言語モデルは均質的な解釈を示すものの、実際の人間における集団間の差異を捉えきれない、非反射的な「ステレオタイプ・ハルシネーション（幻覚）」を生成すること、そしてそれは実際の参加者データを用いて微調整を行った後でさえも同様であることを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたはアートギャラリーにいて、奇妙な抽象画や変なインクのシミを見ているところだと想像してください。そこには「正解」はありません。それはあなたの想像力のための空白のキャンバスです。
この論文は、ある探偵小説のような問いを投げかけています。「人々（およびAI）に、これらの奇妙な絵を見て他の人が何を見るかを推測させる時、彼らは同じように考えるのだろうか？」 ということです。
研究者たちは、AI（GPT-4oやLlamaのような大規模言語モデル）が、人間の心の働きを本当に理解しているのか、それとも単にインターネットから学んだ古いパターンに基づいて推測しているだけなのかを知りたかったのです。
以下に、簡単な比喩を用いて、実験の内容とその結果を解説します。
実験：「空白のキャンバス」テスト
研究者たちは、二種類のプレイヤーによるゲームを用意しました。それは**「人間」と「AI」**です。
- 刺激（図形）： 全員に12枚の奇妙な画像（抽象芸術とロールシャッハ・インクブロット）を見せました。これらの画像には、あらかじめ決められた意味はありません。ある人にはウサギに見え、別の人には船に見えるような、雲のような存在です。
- グループ： 5つの異なる社会的グループを見ました。「男性 vs 女性」、「共和党員 vs 民主党員」、「都市部の人 vs 田舎の人」、「外向的な人 vs 内向的な人」、そして「朝型の人 vs 夜型の人」です。
- 二つのラウンド：
- ラウンド1（一次的解釈）： 「あなたはこの絵の中に何が見えますか？」（直接的な解釈）。
- ラウンド2（二次的解釈）： 「（共和党員や女性などの）特定の属性を持つ人は、この絵の中に何を見ると思いますか？」（他者の予測）。
人間はどう動いたか：「混沌とした群衆」
人間が奇妙な画像を見たラウンド1では、反応は千差万別でした。ある人はドラゴンを見、ある人は嵐を見、またある人は悲しい顔を見ました。たとえ相手が「共和党員」や「都市部の人」であることを知っていたとしても、その人が個人的に何を見たかを当てることはほぼ不可能でした。人間は混沌としており、個性的です。
しかし、ラウンド2で、人間が他者が何を見たかを推測しようとしたとき、興味深いことが起こりました。彼らはこう言いました。「共和党員は、民主党員よりも少しだけドラゴンを多く見るかもしれない」。彼らは差異をわずかに誇張しました。しかし、彼らは依然として、人々が一人ひとりの個人であることを覚えていました。彼らは「共和党員」という概念を、一つのロボットのようなキャラクターに変えてしまうことはありませんでした。彼らは、個性を残したまま、その混沌とした性質をわずかに増幅させただけでした。
AIはどう動いたか：「ロボット工場」
AIは全く異なる挙動を示しました。
ラウンド1： AIに対して「共和党員として振る舞ってください」と指示しても、AIのパーソナリティはほとんど変わりませんでした。誰のふりをしているかにかかわらず、非常に似通った、退屈な回答を出したのです。それは、箱にどんなラベルを貼っても、同じ種類のおもちゃだけを生産する工場のようでした。
ラウンド2： ここで、魔法（あるいはバグ）が起こりました。AIに「共和党員は何を見るか？」と尋ねたとき、AIは単にわずかな誇張をしたのではありません。AIは、完全に新しい、硬直したステレオタイプを捏造したのです。
- AIは、特定の物事「だけ」を見る「完璧な共和党員」を作り出しました。
- AIは、それとは「全く異なるもの」を見る「完璧な民主党員」を作り出しました。
- これら二つのグループ間の隔たりは巨大になり、実際の人間データにおける隔たりよりもはるかに大きくなりました。
研究者はこれを**「ステレオタイプ・ハルシネーション（定型化された幻覚）」**と呼んでいます。
核となるメタファー：「エコーチェンバー」対「想像力」
人間の思考をジャズバンドに例えてみましょう。
- ラウンド1では、全員がそれぞれのユニークな楽器を奏でます。それは混沌としていて多様です。
- ラウンド2で、バンドのリーダーが「トランペット・セクションはどう聞こえると思うか？」と尋ねます。ミュージシャンたちは、「ああ、彼らは少し大きく、速く演奏しますね」と答えますが、それでもすべてのトランペット奏者が異なる個人であることを忘れません。彼らはスタイルを誇張しますが、個性を失うことはありません。
AIを、ループ再生で止まったレコードプレーヤーに例えてみましょう。
- ラウンド1では、レコードプレーヤーがソロを奏でようとしますが、レコードにどんなラベルを貼っても、同じ数個の音符を何度も繰り返すだけです。
- ラウンド2で、「トランペット・セクション」について尋ねられると、レコードプレーヤーは単に音量を上げるだけではありません。それは、元の録音には存在しなかった、全く別の曲を演奏し始めます。それは、元の「ドラムの曲」とはまるで別の惑星から来たかのように聞こえるほど、明確に区別された「トランペットの歌」を捏造するのです。
AIは、実在する差異を増幅しているのではなく、存在しない差異を**捏造（ハルシネーション）**しているのです。AIは、現実の人間がもっと混ざり合っているにもかかわらず、グループ同士が完全に正反対であるという、偽りの硬直した世界を作り上げてしまいます。
「ファインチューニング」の捻り
研究者たちはAIを修正しようと試みました。彼らはAIに、実際の人間による回答を与え、「さて、この特定の回答をした『この人物』になりきってください」と指示しました。
この「カンニングペーパー」となる実際の人間データを与えられたとしても、AIは依然として失敗しました。AIは、独特で混沌とした人間の回答を、一つの硬直した「平均値」へと圧縮し、第二ラウンドにおいて新しい偽のステレオタイプを捏造することを止められませんでした。それは、シェフにユニークで混沌とした家族のディナーのレシピを与えても、シェフがその料理を、完璧で同一なプラスチック製の模型に変えてしまうようなものです。
結論
この論文は、AIがルールが明確な状況（例：「人々は赤い止まれの標識をどう思うか？」）においては人間の行動を予測することに長けているものの、状況が曖昧で新しい場合（例：「この奇妙なインクのシミはどういう意味か？」）には、惨めに失敗することを結論づけています。
そのような状況において、AIは人間が実際にどのように考えるかをモデル化しているわけではありません。代わりに、AIはステレオタイプ・ハルシネーションを生み出しています。つまり、実際の多様で混沌とした人間の精神から完全に切り離された、グループのあり方に関する、偽りの硬直した物語を作り上げているのです。
したがって、もしあなたが、全く新しい、混乱を招くような社会的出来事に人々がどう反応するかを予測するためにAIを使いたいのであれば、この論文は警告しています。注意してください。AIは真実ではなく、自分が作り出した物語を語っている可能性があるからです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。