LLM hallucinations in the wild: Large-scale evidence from non-existent citations

技術的サマリー：実世界における LLM のハルシネーション

問題定義
大規模言語モデル（LLM）は、もっともらしいが誤った情報（「ハルシネーション」）を生成することが知られているが、この現象の実世界における規模と帰結については依然として十分に理解されていない。ハルシネーションはシミュレーション環境や anecdotal な報告（例：政府報告書、法廷提出書類）で記録されているが、展開された科学的知識生産におけるその普及度に関する体系的かつ大規模な証拠は欠如している。大規模なハルシネーションの研究は困難であり、なぜならそれらは通常、非構造化テキストに埋め込まれており、高コストな人的評価や、モデル固有のバイアスを再導入する可能性がある自動化パイプラインを必要とするからである。学術文献の引用は、追跡可能で二元的なグランドトラウト（真実）を提供するため、監査の機会としてユニークである。つまり、引用された参考文献が存在するか否かが明確だからである。

方法論
著者らは、4 つの主要コーパス（arXiv：数学・物理・計算科学、bioRxiv：生物科学、SSRN：社会科学・法・人文科学、PubMed Central：査読付き生物医学文献）に属する 250 万論文の 1 億 1100 万件の参考文献を対象に、人口規模の監査を実施した。

1. 検証パイプライン:

   • 抽出と解析: 参考文献は、生原稿ファイル（LaTeX、GROBID を通じた PDF、XML、またはメタデータ）から抽出された。
   • 初期マッチング: 解析されたタイトルは、Semantic Scholar と OpenAlex から構築されたローカル Elasticsearch インデックスに対して照会された。文字列類似性基準により有効な一致が判定された。
   • クリーニング: 一致しなかったエントリは、非学術源を除外しタイトル抽出を洗練させるために、LLM ベースのクリーニングステップ（GPT-4o-mini）にルーティングされた。これにより、一致しない率は約 4.9% から 1.54% に減少した。
   • 最終検証: 残りの一致しなかったエントリに対して、第三者の Google Scholar API による照会が行われた。参考文献が有効と判断されたのは、Google Scholar が一致するレコードを返した場合、またはその作品が他で引用されているという一貫した証拠が得られた場合であった。
   • ハルシネーションの定義: 本研究における「ハルシネーション引用」は、すべての一致しなかった参考文献を指すものではなく、LLM 導入後（2022 年末を基準）に観測された一致しない引用の「超過分」として定義される。このアプローチにより、通常の書誌学的誤りやフォーマット上のアーティファクトを制御している。

2. 分析フレームワーク:

   • 時間的ダイナミクス: 回帰モデルを用いて時間経過に伴う一致しない引用の率を推定し、ハルシネーションの出現の転換点を特定した。
   • 分布分析: 汚染が少数の「不良品」原稿に集中しているのか、それとも拡散的に埋め込まれているのかを検証するため、論文全体にわたるハルシネーション引用の分布を検討した。
   • 著者およびクレジット分析: ハルシネーション率を著者の生産性（過去の出版物数）、チーム規模、および引用された著者の特性（生産性、引用インパクト、性別、チーム階層）と相関させた。
   • セーフガード評価: arXiv のモデレーションにおける拒絶率の分析と、プレプリント（bioRxiv）から出版版（PMC）へのハルシネーションの持続性を分析することで、既存の品質管理の効率性を評価した。

主要な結果

• ハルシネーションの増加: 存在しない参考文献の急激な増加は、ChatGPT の初期リリースから約 18 ヶ月後の 2024 年半ばに始まった。2025 年 8 月時点で、ハルシネーション率は arXiv で 0.39%、bioRxiv で 0.21%、SSRN で 1.91%、PMC で 0.27% に達した。
• 規模: これらの傾向を外挿すると、著者らは 2025 年単年で、これら 4 つのコーパス全体に 146,932 件のハルシネーション引用 が導入されたと慎重に推定している。
• 拡散的な汚染: ハルシネーションは、少数の重度に汚染された論文に集中しているわけではない。むしろ、拡散的に埋め込まれている。増加は、誤りの高い少数の論文によるものではなく、一致しない参考文献の小さな割合（0〜10%）を含む論文の割合が増加していることによるものである。
• 生産の相関:
  • 著者の経験: ハルシネーション源を引用する著者（「ハルシネーション引用者」）は、2023 年以前に比べて対照群よりも有意に少ない過去の出版物を持っていた。しかし、2025 年までにその生産性は急増し（相対増加率 1.33 倍から 3.13 倍）、LLM が経験の浅い研究者の参入障壁を下げ、埋め込まれた誤りを伴う大量の出力を生み出していることを示唆している。
  • チーム規模: ハルシネーション率はチーム規模と逆相関しており、単独著者および小規模チームの論文ほど率が高い。
  • LLM 使用: 執筆における推定 LLM 使用量と、サブフィールドおよび論文レベルのハルシネーション率の間には、強い正の相関（r = 0.441）が見られる。
• クレジット配分のバイアス:
  • ハルシネーション引用は、過去の生産性が高く引用インパクトも高い著者に不均衡にクレジットを付与する。
  • 顕著な性別格差が存在する。ハルシネーション引用は、男性名の著者にクレジットされる可能性が 7.6% 高い。
  • これらのバイアスは、同一論文内の有効な引用にも及んでおり、科学界のクレジットが著名な学者へと広範に再配分されていることを示唆している。
• セーフガードの失敗:
  • プレプリントモデレーション: arXiv のモデレーターはハルシネーション率の高い原稿を拒絶するが、推定される存在しない引用の 78.8% が依然としてモデレーションを通過している。
  • ピアレビュー: bioRxiv のプレプリントに存在するハルシネーション引用の 85.3% が、PubMed Central の出版版に引き継がれた。
  • データベース汚染: ハルシネーション参考文献は、Google Scholar においてスタンドアロンのエントリとして現れることが増え、存在しない作品が将来の検索の「グランドトラウト」の一部となるフィードバックループを生み出している。

意義と主張
本論文は、実世界の知識作業における LLM ハルシネーションの、初の大規模かつ学際的な監査を提供すると主張している。その主な意義は、個人の不注意から システムレベルの懸念 へと議論を転換させる点にある。発見された事実は以下のことを示している。

1. 規模と持続性: LLM ハルシネーションは、膨大な規模で知識生産に浸透しており、プレプリントおよび出版段階を通じて持続し、現在のセーフガードを上回っている。
2. 公平性への含意: これらの誤りはランダムではなく、確立された男性の学者へとクレジットを集中させつつ、キャリア初期または経験の浅い研究者によって不均衡に生産されることで、既存の不平等を強化している。
3. 一般化可能性: 構造化された引用と豊富な索引付けにより、科学は検出にとっての「最良のケース」領域を表す。著者らは、これらの堅牢な検証メカニズムにもかかわらずハルシネーションが科学文献に浸透しているならば、法的提出書類、政策報告書、ジャーナリズムなど、より構造化されていない領域では、問題がはるかに深刻で検出が困難である可能性が高いと論じている。
4. フィードバックループ: 書誌学データベースにおけるハルシネーション引用の蓄積は、それらを検出するために使用されるメカニズムを侵食し、科学的信頼性の経路依存性の劣化を引き起こす恐れがある。

著者らは結論として、構造化された誤り（引用など）の検出には自動化検証ツールが希望をもたらすものの、非構造化の散文におけるハルシネーション主張の検出というより広範な課題は、将来の科学的発見と制度的意思決定の完全性にとって、依然として決定的かつ未解決の問題であると述べている。