The 17% Gap: Quantifying Epistemic Decay in AI-Assisted Survey Papers

技術要約：17%のギャップ：AI支援型サーベイ論文におけるエピステミック・ディケイ（認識論的減衰）の定量化

問題提起
本論文は、人工知能（AI）の科学文献における、未だ定量化されていない重大なリスクに対処している。それは、大規模言語モデル（LLM）の統合による引用連鎖の系統的な劣化である。著者らは、「幻覚論文（存在しない参考文献）」は既知のアーティファクトであるが、より潜行的な構造的エラーが出現していると主張する。彼らの仮説によれば、AIツールは「怠惰なリサーチアシスタント」として機能しており、意味的に整合性のあるタイトルを検索することには成功するものの、それらを特定するために必要な事務的なメタデータ（DOI、巻数、ページ範囲）を幻覚（ハルシネーション）によって生成してしまう。これにより、引用グラフは一見堅牢に見えるものの、機能的には切断されており、大規模な「リンク切れ（リンク・ロット）」が発生している。これは、再現可能な科学に求められる証拠の連鎖（chain of custody）を脅かすものである。著者らは、これが一時的なノイズの問題ではなく、進化生物学におけるミュラーのラチェット（Muller's Ratchet）に似た、不可逆的なエラーの蓄積へとつながる構造的な減衰の平衡状態であると断じている。

手法
本研究は、無害なフォーマットエラー（「不備（Sloppiness）」）と、検証可能な非存在（「ファントム（幽霊）」）を区別するためのフォレンジック監査フレームワークを採用している。

• コーパス： 著者らは、AI分野における最近のサーベイ論文50報（2024年9月から2026年1月までに発表）を分析した。これらには計5,514件の固有の引用が含まれている。
• 検証パイプライン： 以下のステップを含むハイブリッド・パイプラインが展開された。
  1. 識別子抽出： 正規表現パターンを用いてDOIおよびarXiv IDを抽出。
  2. 直接解決： DOIに対するHTTPステータスコードの検証、およびarXiv IDに対するAPIチェック。
  3. エントロピー・フィルタリング： PDF抽出のアーティファクト（例：空白の欠落）によって破損した引用を、ハルシネーションとして分類することを避けるため、「空間比エントロピー・フィルタ（$\rho \ge 0.10$）」を適用。
  4. ファジー・マッチング： 有効な識別子を持たない引用に対し、CrossrefおよびSemantic ScholarのAPIを用いたタイトルベースの検索を実施し、レーベンシュタイン類似度比を算出。
• 分類ロジック： 引用は以下の4つの状態に分類された。
  • 有効（Valid）： 完全一致または正常な解決（$s^* \ge 85\%$）。
  • 不備（Sloppy）： ファジー・マッチングにより回収可能（$50\% \le s^* < 85\%$）。
  • ファントム（Phantom）： 回復不可能（$s^* < 50\%$）。
  • 不明（Unknown）： エントロピー・フィルタにより除外（パース・アーティファクト）。
• ファントムの分類学： ファントムはさらに3つの診断モードに細分化された。
  • ゴースト（Ghost）： 純粋なハルシネーション（$s^* < 25\%$）。
  • 壊れたリンク（Broken Link）： タイトルは存在するが、ハルシネーションされた識別子が原因でHTTP 404エラーとなるもの（$25\% \le s^* < 50\%$）。
  • 構文エラー（Syntax Error）： 実在する論文であるが、PDF抽出によってテキストが破損し、マッチングが妨げられたもの（$25\% \le s^* < 50\%$）。

主要な結果

• ファントム率： 本研究は、17.0%のファントム率（5,514件中939件）を検出した。95%信頼区間は [16.0%, 18.0%] である。
• 完全性の崩壊： 41.0%の引用のみが即座に検証可能であった。さらに9.7%が「不備（Sloppy）」として回収された（有効な論文だがメタデータが破損しているもの）。「不明（Unknown）」のカテゴリーは32.3%を占めた。
• 診断分布： ほとんどのエラーは純粋な捏造であるという仮定に反し、内訳は以下の通りとなった。
  • 78.5% は「構文エラー」（実在する論文のパース・アーティファクト）。
  • 16.4% は「壊れたリンク」（有効なタイトルに付随するハルシネーションされた識別子）。
  • 5.1% は「ゴースト」（一致する対象が存在しない純粋なハルシネーション）。
• 時間的安定性： 縦断的分析の結果、フラットな傾向（$\hat{\beta}_1 = +0.07$ pp/month, $p=0.72$）が示された。これは、17%という数値が過渡的なフェーズではなく、平衡状態であることを示唆している。
• 減衰モデリング： 離散時間マルコフモデルを用い、17%のファントム率に基づき、引用の完全性の半減期は約3.7世代であると算出された。これは、修復メカニズムがない場合、検証可能な知識が指数関数的に減衰することを意味する。

意義と主張
本論文は、単なるハルシネーションの逸話的な証拠を超え、引用グラフの構造的分析を行うことで、「エピステミック・ディケイ（認識論的減衰）」を定量化した初めての試みであると主張している。

• 構造的脆弱性： 本知見は、科学的記録が証拠的真実から乖離しつつあることを示唆している。AIツールは、メタデータの正確性よりも意味的な妥当性を優先するため、引用が正しく見えるにもかかわらず、実際にはどこにも辿り着けないという「デタラメ（bullshit）」のダイナミクスを生み出している。
• 下限値の現実： 著者らは、この17%という数値が下限値である可能性が高いと指摘している。「不明（Unknown）」の引用（32.3%）に対して保守的な妥当性の事前確率を適用した場合、調整後のファントム率は**26.7%**に達する可能性がある。
• 固有の特性： 16ヶ月間にわたるエラー率の安定性は、高エントロピーな引用慣行が、AIによる執筆速度が人間の検証速度を上回っていることに起因する、この分野の固有の特性として定着していることを示している。
• 介入への呼びかけ： 本論文は、検証基準の転換を主張しており、破損したリンクの拡散を防ぐために、原稿投稿段階での「アルゴリズムによる存在証明（Algorithment Proof of Existence）」（自動DOIチェック）を提案している。結論として、検証コストの問題が解決されない限り、科学的記録は「緩やかで、静かで、かつもっともらしい減衰」に対して脆弱なままであるとしている。