Do Deployment Constraints Make LLMs Hallucinate Citations? An Empirical Study across Four Models and Five Prompting Regimes

この論文は、4 つの言語モデルと 5 つの提示条件を用いた実証研究により、展開制約を課しても LLM が生成する引用の存在率は 47.5% 以下に留まり、形式は整っていても事実無根の引用が多数含まれることを明らかにし、技術文献レビューやツールパイプラインへの導入前に事後検証の必要性を説いています。

要約

この論文は、**「AI に論文を書かせると、本当に存在する参考文献を正しく出せるのか？」**という疑問を、まるで「探偵が嘘を見破る」ような実験で解明したものです。

簡単に言うと、**「AI は上手に嘘をつくのが得意で、特に『制約』をかけると、その嘘がより巧妙になり、見分けがつかなくなる」**という衝撃的な結果が報告されています。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

🕵️‍♂️ 実験の舞台：「嘘発見器」を使った調査

研究者たちは、4 つの有名な AI（Claude, GPT-4o, LLaMA, Qwen）に、144 個の「学術的な質問」を投げかけました。
AI は「この質問に答える論文を 5〜8 個挙げて」という指示を受け、タイトルや著者、出版年、DOI（論文の ID 番号）まで含めてリストを作ります。

そして、研究者たちは**「Crossref」や「Semantic Scholar」という、世界中の論文データベースを網羅した「嘘発見器」を使って、AI が挙げたリストが「本当に存在する論文か」**を一つずつチェックしました。

🔍 発見された 3 つの「驚きの事実」

1. 「形は完璧でも、中身は空っぽ」な嘘

AI が作った参考文献リストは、見かけ上は完璧です。著者名も、雑誌名も、出版年も、すべて「ありそう」な形式で書かれています。
しかし、データベースで検索しても、その論文は存在しないというケースが大半でした。

• 例え話：
  料理人が「最高のステーキ料理」を作ると言います。見た目も香りも本物のステーキそのものですが、中身は「プラスチックの偽物」だった、という感じです。
  特に「2020 年以降の論文だけ挙げて」という制約（時間制限）を与えると、AI は「2020 年以降」というルールは守りますが、中身の論文はほぼ 100% 存在しないという、最も危険な状態になりました。

2. 「存在するかも？」というグレーゾーンが大半

AI が挙げた参考文献のうち、3 割から 6 割は、「存在するとも、しないとも断定できない」状態（Unresolved）でした。
データベースに情報が不足しているのか、それとも AI が「ありそうな嘘」を混ぜているのか、自動では判断できないのです。

• 例え話：
  警察が容疑者のリストを作ったとき、「犯人確定」も「無罪」もせず、「行方不明」が大半という状況です。
  さらに、手動でチェックしたところ、この「行方不明」グループの**半分近くは、実は「完全な嘘（捏造）」**であることが分かりました。「わからない」というのは、実は「嘘の可能性が高い」という意味だったのです。

3. 「お金持ちの AI」と「貧乏な AI」の差

有料の高性能 AI（Claude や GPT-4o）は、無料やオープンソースの AI（LLaMA や Qwen）よりも、少しだけ本物の論文を挙げる確率が高かったです。
しかし、**「高性能な AI でも、半分は嘘」**という状況でした。
特に「調査レポート風（多くの論文を挙げてまとめろ）」という指示を出すと、有料 AI と無料 AI の差がさらに広がりましたが、それでも無料 AI の嘘つき率は非常に高かったです。

⚠️ なぜこんなことが起きるのか？

AI は「次に来る言葉」を確率的に予測して文章を作ります。
「論文を挙げなさい」と言われると、AI は**「論文っぽく見える言葉の組み合わせ」**を一生懸命作ります。

• 有名な研究者の名前
• 有名な雑誌の名前
• ありそうなタイトル

これらをパズルのように組み合わせて、**「本物そっくりな偽物」を量産してしまうのです。特に「特定の期間の論文だけ」とか「企業秘密だからデータ元は言えない」といった制約（ルール）**を課すと、AI は「本物がないから、無理やり作り上げろ」というプレッシャーを感じ、より巧妙な嘘をつくようになります。

💡 私たちが取るべき対策は？

この研究から得られた最も重要な教訓はこれです。

「AI が作った参考文献リストは、すべて『ドラフト（下書き）』だと考えなさい。絶対にそのまま使わないで！」

• 確認が必要： AI が挙げた論文は、必ず Crossref や Google Scholar などで**「本当に存在するか」**を自分で確認する必要があります。
• DOI を確認： 論文の ID（DOI）があるか、それが正しいかを確認しましょう。
• AI 任せにしない： 学術論文や技術レポートを書く際、AI は「アイデア出し」や「文章の構成」には役立ちますが、「事実（参考文献）」の責任は人間が負う必要があります。

🎯 まとめ

この論文は、**「AI は嘘をつくのが上手すぎる」と警告しています。
特に、「ルール（制約）を守っているように見えても、中身は嘘」**というパターンが最も危険です。

AI を使うときは、**「AI は優秀な助手だが、嘘つきな助手」であることを忘れず、「すべての参考文献は自分でチェックする」**という鉄則を守ることが、信頼できる研究や文章を作るための唯一の道です。

技術概要

論文要約：Deployment Constraints Make LLMs Hallucinate Citations?

（展開制約は LLM に引用の幻覚を引き起こさせるか？4 つのモデルと 5 つのプロンプト条件における実証研究）

この論文は、大規模言語モデル（LLM）が学術文書やソフトウェア工学（SE）のエビデンス合成を支援する際に頻発する「引用の幻覚（citation hallucination）」現象に焦点を当てています。特に、実運用環境で想定される制約条件（時間的制限、調査スタイルの広さ、非開示ポリシーなど）が、LLM による引用の検証可能性にどのような影響を与えるかを体系的に評価した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

LLM は流暢な学術文章を生成する能力を有していますが、著者、会議名、DOI などが一見正当に見えるが実在しない「引用の幻覚」を生成する傾向があります。既存の研究では、この問題がトレーニングデータと実運用の分布のズレや、次のトークン予測の目的関数に起因することが指摘されています。

しかし、**実用的な展開制約（Deployment Constraints）**下での引用の信頼性については未解明な部分が多いです。具体的には以下の制約が、引用の品質にどう影響するかは不明でした。

• 時間的制約 (Temporal): 特定の出版年ウィンドウ内でのみ引用を要求する。
• 調査スタイルの広さ (Survey-style breadth): 広範な関連作業を要約し、多数の引用を要求する。
• 非開示ポリシー (Non-Disclosure): トレーニングデータへのアクセスを主張しないよう指示する。

これらの制約が、LLM の引用生成能力をどのように劣化させるか、またプロプライエタリモデルとオープンウェイトモデルで差があるかを検証する必要があります。

2. 研究方法 (Methodology)

実験設計

• データセット: 6 つの学術分野（SE & CS、自然科学、医学、社会科学、人文科学、学際）にまたがる 144 の主張（プロンプト）を収集。そのうち 24 はソフトウェア工学（SE）およびコンピュータサイエンス（CS）に特化。
• モデル: 4 つの LLM を評価。
  • プロプライエタリモデル: Claude Sonnet (Anthropic), GPT-4o (OpenAI)
  • オープンウェイトモデル: LLaMA 3.1-8B (Meta), Qwen 2.5-14B (Alibaba)
• プロンプト条件 (5 種類):
  1. Baseline: 5 つの引用を要求。
  2. Temporal: 特定の出版年ウィンドウ（中央値 5 年）内の 5 つの引用を要求。
  3. Survey: 3-4 のアプローチカテゴリに整理された 8 つの引用を要求（証拠合成の広さを模倣）。
  4. Non-Disclosure: トレーニングデータへの言及を禁止し、5 つの引用を要求。
  5. Combo: 上記 3 つの制約をすべて組み合わせ、8 つの引用を要求。
• 総生成数: 144 主張 × 5 条件 × 4 モデル = 2,880 回の実行、合計 17,443 件の引用を生成。

検証パイプライン

生成された引用を Crossref と Semantic Scholar の 2 つの学術データベースで自動検証する決定論的パイプラインを構築しました。

1. 解析: 出力からタイトル、著者、会誌、年、DOI などを構造化抽出。
2. 候補取得: DOI による直接照合、タイトルによる検索（最大 5 候補）。
3. スコアリング: 重み付き類似度スコアを計算（タイトル 60%、著者 20%、年 15%、会誌 5%）。
4. ラベリング:
   • Existing (実在): スコア ≥ 0.85
   • Unresolved (未解決): 0.60 ≤ スコア < 0.85（メタデータ不完全または部分的な一致）
   • Fabricated (捏造): スコア < 0.60 または候補なし

• 精度検証: 100 件のサンプリングで人間によるラベルと照合し、一致率 75%、Cohen's κ=0.63 を達成。

3. 主要な貢献 (Key Contributions)

1. キュレーションされたデータセット: 6 つの学術分野（SE & CS 含む）にまたがる 144 の主張と、それに対応するプロンプト条件。
2. 自動化された検証パイプライン: 3 段階のラベル分類（実在/未解決/捏造）を持つ決定論的検証システム。人間との整合性を確保。
3. 実証的分析: 展開制約とモデルタイプ（プロプライエタリ vs オープン）が引用の検証可能性に与える影響の定量的評価。

4. 結果 (Results)

全体的な傾向

• どのモデルも過半数の引用を検証可能としなかった: どの条件でも「実在率（Existence Rate）」は 0.50 を超えず、最高値は Claude Sonnet の Survey 条件で 0.475 でした。
• 未解決（Unresolved）の多さ: 引用の 36%〜61% が「Unresolved」と判定されました。手動監査によると、このカテゴリの約半分は実際には「捏造」であったため、バイナリ分類（実在/捏造）では隠れてしまう高リスクな領域です。

具体的な発見

• RQ1: 制約の影響

  • 時間的制約 (Temporal) が最も悪影響: 実在率が急激に低下しました（例：GPT-4o は 0.235 → 0.019）。モデルは形式（年）には従いますが、その範囲内で実在する論文を生成できなくなります。
  • Survey 条件: 広範な引用を要求すると、プロプライエタリモデルとオープンモデルの差が最も広がりました。
  • Non-Disclosure: 実在率の低下は小さいものの、エラーの性質が変化しました。DOI が欠落し、「明らかに間違っている（捏造）」から「判断が難しい（未解決）」へエラーがシフトしました。
  • Combo 条件: 全ての制約を組み合わせると、オープンモデルは実在率がほぼゼロに、プロプライエタリモデルも大幅に低下しました。

• RQ2: モデル間の差

  • プロプライエタリ vs オープン: 全条件でプロプライエタリモデル（Claude, GPT-4o）の方がオープンモデル（LLaMA, Qwen）より実在率が高かった（差は最大で +0.310）。しかし、それでもプロプライエタリモデルの多くは 50% 未満の検証率しか達成していません。

• RQ3: 制約の組み合わせ

  • 単独の制約よりも、複数の制約を組み合わせることで検証可能性がより深刻に損なわれました。特にオープンウェイトモデルは「フロア効果（底付き）」を示しました。

SE 分野への関連性

SE & CS 分野のデータ（24 主張）においても、同様の傾向が見られました。実在率は 0.132 であり、他の分野と同等かそれ以下でした。これは、SE 研究者が LLM を文献レビューに使用する際、特に注意が必要であることを示唆しています。

5. 意義と示唆 (Significance & Implications)

• フォーマット適合性は信頼性の指標ではない: モデルは制約（年や形式）を厳密に守って出力しますが、中身（実在する論文）は存在しないという「中身のない適合性」が確認されました。
• 「未解決」カテゴリの重要性: 従来のバイナリ評価（実在/捏造）では見逃される「検証不能な引用」が大量に存在し、その多くが捏造であることが判明しました。
• 実務への提言:
  • SE 研究者・ツール開発者: LLM 生成の引用リストは、学術データベース（Crossref, Semantic Scholar, DBLP など）を用いた事後検証（Post-hoc verification）なしには使用できないと考えるべきです。
  • システム設計: 単なるプロンプトエンジニアリングでは引用幻覚は解決できず、検索拡張生成（RAG）や組み込み検証機能の導入が必要です。
  • 非開示ポリシーのリスク: 訓練データへの言及を禁止する指示は、DOI の欠落を招き、エラーを「判断が難しい」状態に隠蔽する可能性があります。

結論

この研究は、LLM による学術引用生成において、実用的な制約条件が検証可能性を著しく低下させることを実証しました。特に時間的制約や調査スタイルの要求は、モデルが形式には従いつつも実在しない文献を生成するよう促します。SE 分野における LLM の責任ある活用には、生成された引用に対する厳格な独立検証プロセスの導入が不可欠です。