Sixteen models, fewer than two voices: measuring ensemble dispersion where no answer is uniquely correct

難しいパズルを解こうとしている場面を想像してみてください。ただ一人の友人に聞くのではなく、部屋にいる大勢の友人に尋ねることにしました。彼らは皆異なる人物なので、多様でクリエイティブな解決策を提示してくれることを期待しています。これが、「アンサンブル（ensemble）」というAIモデルの基本的な考え方です。コンピュータサイエンスの世界において、アンサンブルとは、単に異なるAIプログラムのグループが協力して問題を解決することを指します。多くの異なる「声」を集めることで、単一のモデルから得られるものよりも、より豊かで多様な答えが得られるという大きな期待が込められています。

しかし、ここに落とし穴があります。部屋にたくさんの人が集まったからといって、全員が異なることを言っているとは限りません。もし彼らが同じ学校に通い、同じ本を読み、同じルールを教えられていたとしたら、言葉こそ少し違えど、結局は全く同じ答えを出してしまうかもしれません。この論文は、「多様性の測定（diversity measurement）」と呼ばれるAI研究の特定の領域を掘り下げています。それはシンプルかつ深遠な問いを投げかけます。正解が一つではない問題（例えば、複雑な人間の感情の解釈など）に対して、一連のAIに解かせたとき、彼らは本当に異なる考えを持っているのでしょうか？ それとも、単に互いの声をエコー（反響）させているだけなのでしょうか？ 研究者たちがこれを重視するのは、もし私たちが多様な視点を得ていると思い込みながら、実際には「クローンの群れ」を見ているのだとしたら、誤った安心感に基づいて誤った判断を下してしまう可能性があるからです。

大いなるAIのエコーチェンバー

この研究において、研究者たちはAIモデルのグループが実際にどれほどの「ノイズ」を生み出すのかを探るため、大規模な実験を設定しました。彼らは、10の異なるファミリー（これらはAIのブランドや系統のようなものと考えてください）から集まった16種類の異なるAIモデルのパネルを集めました。そして、これらのモデルに対し、経験豊富なセラピストとして振る舞い、架空の患者についてのケーススタディを作成するよう求めました。患者のストーリーは、単一の「正しい」解釈が存在しないほど曖昧なものに設定されました。優れたセラピストであれば、同じ物語を見ても、多くの異なる角度から解釈できるような内容です。

チームは、モデル間の「不一致（dissent）」や意見の相違を測定したいと考えました。彼らは、**ヴェンディ・スコア（Vendi Score）**と呼ばれる特別な数学的ツールを使用しました。想像してみてください。あるグループの人々が答えを叫んでいるとします。もし全員が全く同じ言葉を叫んでいれば、ヴェンディ・スコアは低くなります（例えば1）。もし全員が全く異なる言葉を叫んでいれば、スコアは高くなります（例えば16）。研究者たちは、この16のモデルが16人のユニークな個人として振る舞うのか、それとも単一の退屈な声へと収束してしまうのかを確認したかったのです。

驚きの結果：2つに満たない「声」

結果は衝撃的なものでした。10の異なるファミリーから16種類の異なるモデルを集めたにもかかわらず、グループ全体としては、平均してわずか1.69の明確な声しか存在しないかのように振る舞ったのです。

これを比較するために、研究者たちは単一のAIモデルに対し、同じ質問を自分自身に対して16回繰り返すテストも行いました。すると、単一のモデルであっても、気分をわずかに変える（科学者が「確率論的な変動（stochastic variation）」と呼ぶもの）だけで、単独で1.43の異なるバージョンの回答を生み出すことができました。つまり、16のモデルによるチーム全体が、単一のモデルが自力で生成できる多様性に、わずか「0.25の声」分ほどの多様性を加えたに過ぎなかったのです。

これは、16人の歌手からなる合唱団を、10の異なる音楽学校から招いて、独自のスタイルの交響曲を期待したものの、結局のところ全員が、少し音程の外れた同じメロディを鼻歌で歌っている一人にしか聞こえなかった、という状況に似ています。論文では、単にモデルの数を増やすことが自動的に多様性を生み出すわけではないという考えを明確に否定しています。事実、この研究は、パネルにモデルを追加することは、多様な視点を得るための乏しい方法であることを示しています。

反逆者は誰か？（そしてそれは周囲の状況に依存する）

研究者たちはさらに、「常に反逆者であり、他の全員と意見が異なる特定のモデルは存在するのか？」という疑問も追及しました。彼らは、実験のすべてのラウンドにおいて、どのモデルが「最も乖離している（most divergent）」かを追跡しました。

ここにはひねりがありました。「反逆者」の正体は、他に誰がその場にいるかによって変化したのです。

わずか3つのモデルを用いた小規模な実験では、特定のモデル（GPT-4o）が最も頻繁に反逆者となりました。しかし、チームが16のモデルへと拡大すると、その同じモデルは3位に転落しました。代わりに、Ministral 14BやLlama 3.3 70Bといった新しい「反逆者」が現れ、グループとの相違をリードしました。

このことは、「反逆者であること」が特定のAIの永続的な性格ではないことを証明しています。それは一つの「関係性」なのです。あるモデルが非常に異なって見えるのは、他のモデルたちが互いに非常に似通っている場合に限られます。もしグループを入れ替えれば、その「反逆者」は突然「同調者」に見えるかもしれません。つまり、システムが意思決定を助けるために「多様な声」を示している場合、その声は、そのAIモデル自体についてではなく、今そこに座っている特定のAIグループについてを語っているのです。

サイズやブランドは重要か？

チームはまた、人々がAIに対して抱きがちな2つの仮定についてもテストしました。

1. 大きいほど異なるのか？ 彼らは同じファミリー内での「小型」モデルと「大型」モデルを比較しました。結果は混沌としていました。小型モデルが反逆者になることもあれば、大型モデルがそうなることもありました。一貫したルールは存在しませんでした。
2. ファミリー名は重要か？ 彼らは、同じ「ファミリー」（例えば、同じブランドの異なるバージョン）に属するモデルを調査しました。同じファミリー内のモデルは、見知らぬモデルと比較した場合よりも、互いにやや類似する傾向がありましたが、比較対象となるペアが少なかったため、その証拠は希薄でした。

論文は、AIの「乖離度」を、そのサイズやブランド名から予測することはできないと結論付けています。実際に使用している特定の文脈の中で、それを測定する必要があるのです。

AIは実際に何について意見を戦わせているのか？

最後に、研究者たちは、モデルが「多くの解釈が可能であるように設計された」ケースに対して、より多く意見を戦わせるかどうかを確認しました。彼らは患者のストーリーを、1つの明確な読み取りができるもの、共有されているが効果的ではない読み取りができるもの、そして真に異なる読み取りができるものの3つのタイプに分類しました。

彼らは、モデルが「開かれた（open）」ストーリーにおいて最も意見が分かれると予想していました。しかし、そうではありませんでした。 モデルは、「開かれた」ストーリーにおいても、それ以外のストーリーと同様に（あるいはそれよりもわずかに少なく）意見が分かれていました。むしろ、意見の相違の度合いは、ストーリーの**臨床的内容（clinical content）**によって左右されていました。例えば、「うつ病」に関するストーリーは、「トラウマ」に関するストーリーよりも議論を巻き起こしました。

このことは、AIモデルが人間のように問題の「開放性」に対して敏感なのではないことを示唆しています。彼らは、状況の哲学的な複雑さではなく、ストーリーの具体的な詳細（どのような疾患が言及されているかなど）に反応しているのです。

まとめ

この研究は、AIが無用だと言っているわけではありません。ただ、AIの大きなグループが、自動的に賢く多様なグループであると想定するのをやめるべきだと言っているのです。16のモデルを一つの部屋に入れたとしても、得られるのは2人分の知恵だけかもしれません。「多様性」とは、モデルの数を増やすことで買える固定された数値ではなく、モデルの組み合わせや、解決しようとしている特定の問題に依存する、壊れやすいものなのです。

最も重要な教訓は、困難な決断を下すためにAIのグループを利用する場合、単に持っているモデルの数を数えるのではなく、それらが実際にどれほど異なっているかを測定する必要があるということです。なぜなら、あなたが見ている「異質な声」は、単にその場に座っているメンバーによる一時的な効果に過ぎず、ユニークな機械からの深い洞察ではないかもしれないからです。