When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models
本研究は、多様な言語モデルが、コンテンツレベルの選好フィルターを共有していることにより、実在する論文のごく一部の狭いサブセットを不釣り合いに選択するという「引用モノカルチャー」を示すものであり、これはハルシネーション（幻覚）を排除し、単に検索を均等化したりベンダーを混合したりするだけでは解決できない系統的なバイアスである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
何十年もの間、科学が進歩する方法は、ある単純な人間の習慣に依存してきました。それは、研究者が他者の著作を読み、自分の文章の中でどの論文に言及するかを決定するという習慣です。この引用という行為は、単なる形式的な手続きではありません。それは科学的クレジットの通貨なのです。ある論文が多く引用されると、その論文の知名度は高まり、「富める者はより富む」として知られるマタイ効果と呼ばれる循環へとつながります。このダイナミズムは常に、著者の評判やジャーナルの威信、あるいは論文の過去の成功といったシグナルを見て、それらの手がかりに判断を委ねる人間の読者に依存してきました。しかし、今、新しい力がその場に足を踏み入れようとしています。人工知能は、単に文法をチェックする段階を超え、文献レビュー全体を起草し、科学コミュニティが何を目にするかを形作る参照文献を選択するようになっています。問題はもはや、これらの機械が書けるかどうかではなく、それらが「何を読み、何を選択するか」という点にあります。もしAIに対して、あるトピックに関する最も重要な研究を見つけるよう求めた場合、それは人間のバイアスを模倣するだけなのでしょうか、それとも独自の新しい種類のバイアスを生み出すのでしょうか。
ある研究チームは、引用に通常影響を与える要素をすべて排除した制御実験を構築することで、この問いに答えようとしました。彼らは特定のトピックに関する120本の実際の学術論文を集めましたが、AIに見せる前に、通常のステータス・シグナルをすべて隠しました。著者名は偽の名前に置き換えられ、出版年はシャッフルされ、各論文の被引用数は完全に削除されました。その後、AIモデルには短いレビューやポジションペーパーを書くよう指示されましたが、そこには厳格なルールがありました。提示された30本の論文のうち、最大10本までしか言及してはならないというものです。この希少性が、モデルに単に目に入ったものをすべて列挙させるのではなく、真の選択を強いました。結果が単なる偶然ではないことを確認するため、研究者たちは、コンピュータが同じリストからランダムに論文を選んだ場合のベースラインと比較し、さらに8人の人間の専門家に対しても、全く同じ条件下で同じ選択を行うよう依頼しました。
結果は、驚くほど顕著で一貫したパターンを明らかにしました。人間の専門家は、論文をランダムな選択器と同じように扱い、引用を比較的均等に分散させました。しかし、テストされたすべてのAIモデルは、ごく一部の狭い論文のサブセットに注意を集中させました。人間のグループでは、上位10パーセントの論文が約19パーセントの引用を受けており、これは偶然による期待値に近い数値でした。対照的に、AIモデルは、わずか上位10パーセントの論文に対して、23パーセントから30パーセントの引用を与えていました。さらに重要なことに、モデルは提示されたかなりの数の論文を組織的に無視しており、数十回表示された後でも、一度も引用されないまま残される論文さえありました。これは、機械が架空の参考文献を作り出したケースではありません。引用された論文も、無視された論文も、すべて実在するものでした。失敗の本質は「幻覚（ハルシネーション）」ではなく、どの実在する論文を読む価値があるかを決定する、共有された目に見えないフィルターにありました。
おそらく最も不安をかき立てる発見は、このフィルターが、開発会社に関わらずすべてのモデルで共通していたことです。OpenAI、Google、AnthropicのいずれのAIであっても、彼らは全く同じ論文を支持し、全く同じ論文を無視していました。研究者たちは、これら11種類の異なるモデルの好みが非常に似通っており、何が「引用に値する」論文であるかを示す、単一の共有されたマップとして記述できることを発見しました。このマップは、著者名や掲載ジャーナルに基づくものではありませんでした（それらは隠されていたため）。むしろ、それは抄録（アブストラクト）のテキストそのものによって駆動されていました。モデルたちは、注目に値する特定のスタイルやコンテンツの種類について合意しているようであり、応用研究を体系的に見落としながらも、核となる理論的な研究のように聞こえる論文を好む傾向がありました。
これが過去の引用の学習された記憶なのか、それとも純粋な質の判断なのかを理解するために、研究者たちは論文のタイトルと抄録を書き換えた上で、モデルを再度テストしました。彼らは言葉を完全に変え、モデルが表面的なテキストによって論文を認識できないようにしましたが、根底にある意味は維持しました。モデルの選択は変わりませんでした。彼らは新しい表現に基づいても依然として同じ論文を選んでおり、その好みが有名なタイトルのリストを暗記しているのではなく、コンテンツの意味に根ざしていることを証明しました。これは、モデルが「優れた論文とは何か」について、人間の専門家が同じ著作を評価する方法とは異なる、収束的で共有された直感を発達させていることを示唆しています。
この研究は、これらのモデルが繰り返し使用された場合に何が起こるかについても調査しました。AIモデルが新しい論文を執筆し、それらの新しい論文が将来の選択のためのプールに再び追加されるにつれ、オリジナルの実在する論文は希少になっていきました。研究者たちは、実在する論文が少なくなればなるほど、モデルはそれらをより激しく引用し、まるで残された数少ない「良質な」選択肢を奪い合っているかのようになることを発見しました。しかし、これはモデルが文献全体により注意を払うようになったことを意味するのではなく、実際には、実在する論文への総引用シェアは大幅に減少していました。モデルは単に、限られた注意を縮小していく生存者グループに集中させ、固定された選好が希釈されていくカタログと出会うフィードバックループを生み出していたのです。
この研究は、人工知能が科学にもたらす危険は、単に偽の事実を捏造することではなく、他の分野を無視して、狭い範囲の「正しい」答えに静かに合意してしまうことにあると示しています。たとえすべての選択肢が実在し、すべての論文が等しく可視化されていたとしても、これらのシステムは共通のフィルターを課します。異なるモデルを混ぜ合わせても、この問題は解決しません。なぜなら、彼らは皆、同じ基礎的なバイアスを共有しているからです。著者たちの示唆するところによれば、解決策は情報のソースを多様化することではなく、共有された「選好マップ」そのものを変えることにあります。機械は単に文献を読んでいるのではありません。彼らは、文献とは何かを決定し始めており、そして彼らは皆、同じ結論に達しているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。