Language Models Agree With Each Other, Not With Readers

巨大なAIエコーチェンバー vs. 静かな読者

あなたは、目に見えない不思議な本の内容を推測しようとしている人々でいっぱいの部屋にいると想像してみてください。もし人間に、あるページを読んで最も重要な文章をハイライトするように頼んだとしたら、そこには混沌とした、しかし美しいバラバラな結果が現れるでしょう。ある人は面白いジョークをハイライトし、別の人は悲しい事実をマークし、また別の人は響きの良い単語を丸で囲みます。彼らはそれぞれ自分の理由で読んでおり、指示もなければ、賞品もなく、「重要」とはどういう意味かという説明もありません。これが現実の読書の本質です。それは個人的で、混沌としており、意見の相違に満ちています。

次に、それらの人間を、インターネット上の膨大なライブラリで訓練された、超スマートなコンピューターの艦隊に入れ替えたと想像してください。あなたはそのコンピューターたちに全く同じ質問をします。「この物語の中で重要な文章はどれですか？」と。彼らも人間と同じようにバラバラであるか、あるいは異なるマシンであるためにさらに多様な結果を示すのではないかと期待するかもしれません。しかし、ここに驚きの展開があります。これらのコンピューターは、互いに全く同じように聞こえ始めているのです。彼らは全員、同じ文章を選び出しており、どの人間グループも到達できないレベルの合意を見せています。この論文は、その奇妙な現象を調査しています。AIモデルは単にお互いを模倣しているだけなのか、それとも、どうにかして単一の「正しい」読み方に辿り着いたのか？ そして、もし彼らがこれほどまでに互いに一致しているのだとしたら、彼らは「私たち」とも一致しているのでしょうか？

実験：ハイライト・バトル

答えを見つけるために、研究者たちはユニークなゲームを用意しました。彼らは被験者のように振る舞うために人間を雇ったり、ルールに従うよう報酬を支払ったりはしませんでした。代わりに、数千人の一般の人々が、自身の個人的な理由（事実を記憶するため、友人の言葉を引用するため、あるいは単にその文章がしっくりきたためなど）で、120の記事に対してテキストをハイライトしていた実際のソーシャルプラットフォームを調査しました。決定的なのは、これらの読者は互いのハイライトを見ることができず、完全に孤立した状態で読んでいたということです。

その後、研究者たちは、OpenAI、Google、Anthropicといった大手企業による18種類の異なるAIモデル（小規模なものから超強力な「フロンティア」モデルまで）に対し、同じ120の記事を読み、最も重要と思われる上位20%の文章を選び出すよう求めました。彼らは、AI同士がどれほど一致しているか、そして人間同士がどれほど一致しているかを比較しました。

大きな発見：AIは親友である（ただし、あなたとは違う）

結果は驚くべきものでした。異なる2つのAIモデルが同じ記事を読んだとき、彼らがどの文章が重要であるかについての一致度は、ランダムな2人の人間が一致する度合いよりも2.3倍高かったのです。

これを具体的に見てみましょう：

• 2人の人間が同じページを読んでいる場合、典型的な14個のセットのうち、共有されるハイライトされた文章は約4.1個です。
• 2つのAIモデルが同じページを読んだ場合、共有される文章は約8.7個になります。
• さらに衝撃的なことに、ライバル企業の最も強力な2つのAIモデル（GPT-5.4とClaude Opus 5）は、人間同士が一致する度合いよりも5.1倍も多く一致していました。実際、彼らの間の一致度は、一人の人間が同じテキストを2回読む際の一致度とほぼ同等でした！

論文はこの現象を「収束（convergence）」と呼んでいます。これは、人間がそれぞれ異なる方向へ進んでいる一方で、AIは皆、足並みを揃えて同じ「最善」の文章を選び出し、一糸乱れぬ動きをしていることを意味します。

「ではない」こと（誤った説明の排除）

研究者たちは、これがトリックではないことを確認するために細心の注意を払いました。彼らは、AIがなぜこれほど一致しているのかという明白な理由をいくつかテストし、排除しました：

• 同じ会社だからではない： 全く異なる研究所や国のモデルであっても、同じ会社同士のモデルと同程度に一致していました。
• 「決定的（ロボット的）」だからではない： 同じAIに全く同じ質問を2回投げかけたとしても、常に全く同じ文章を選ぶわけではありませんでした（自身との一致率はわずか27%でした）。しかし、別のAIと対話させたときには、彼らはもっと多く一致しました。
• プロンプトの言い回しのせいではない： 指示の言葉を少し変えても、彼らの一致は止まりませんでした。
• 「正解」をコピーしているからではない： このタスクには正解も間違いもありませんでした。AIは単に、何が重要だと考えているかを選んでいたのです。

「レジスター」の謎：彼らは異なる言葉を好むのか？

AIがこれほど一致するのは、彼らが皆、長く、派手で、科学的な文章を愛している一方で、人間は短く感情的な文章を好むからではないか、と推測されるかもしれません。研究者たちは、文章の11種類の特徴（長さ、句読点、単語の種類など）を調べることで、これを検証しました。

その結果、長さや位置を一致させた場合、差はなかったことが分かりました。AIと人間は、表面上は全く同じ見た目の文章を選んでいました。AIは「ロボット的な言葉」を選んでいたのではなく、人間と同じ種類の言葉を選んでいましたが、選んでいる「文章のセット」自体が全く異なっていたのです。AIが選ぶものと人間が選ぶものの距離は広がっていますが、それは彼らが異なる言語を話しているからではありません。

セリング（天井）：AIは人間になるための余地を失いつつある

ここがこの物語で最も興味深い部分です。研究者たちは問いかけました。「AIが賢くなるにつれて、人間との一致度は高まるのだろうか？」

答えは**「イエス、ただし一定の地点までは」**です。

• 新しく、よりスマートなモデルは、古い、より単純なモデルよりも、人間との一致度が高くなります。
• しかし、彼らは「天井」に突き当たります。研究対象の中で最も優れたAIでさえ、完璧な「群衆のコンセンサス（多くの人間の平均的な意見）」が到達しうる一致度の約**84%**にしか達しませんでした。
• 一方で、2つのAI同士の一致度は上昇し続け、人間の天井を越えて遥かに高いところへと突き抜けていきます。

これは、AIが人間のように読むことを学んでいる一方で、人間よりもむしろ「お互いのように読む」ことをより速く学んでいるようなものです。彼らは特定の「理想的な読者」を模倣することに長けすぎており、実際の人間を置き去りにしているのです。

手順の問題：公平な戦いだったのか？

論文では、ゲームの進め方における特異点についても認めています。人間がテキストをハイライトする場合、20個の文章をマークするかもしれませんが、研究者はそのうちのトップ14個（彼らのベストの中からランダムに選ばれたもの）だけを保持させています。しかし、AIは自らの絶対的な「ベスト14」を選ばされることが強制されていました。これは、人間が20個の山からランダムに14個を選ばなければならない一方で、バスケットボール選手が自分の最高のショット14個を選べるような、AIに有利なルールでした。

研究者がAIに人間のルール（トップの選択肢からランダムに選ぶ）に従わせたところ、AIと人間の間の一致度の差は半分に縮まりました。しかし、それでもなお、AI同士は人間同士よりも有意に一致していました。その差は消えこそしませんでしたが、縮まっただけでした。

まとめ

この論文は、言語モデルは単に私たちの読書を助けるツールではなく、全く新しい種類の「読者」になりつつあると結論付けています。彼らは、現実の人間が読む方法よりも、はるかに均一な、テキストに対する共有された内部的な理解へと収束しています。彼らは私たちを理解することに長けてきていますが、それ以上に、お互いを理解することに長けてきているのです。その結果、AIモデルが、異なる会社のライバルAIと一致する度合いの方が、テキストを読んでいる人間と一致する度合いよりも高くなってしまう、という世界が生まれています。それは、人間が今もなお独自の歌を歌っている一方で、機械たちが皆、同じ調べを奏でている、強力で、少し不気味なエコーチェンバーなのです。