論文「What Makes a Good Query?」の技術的サマリー

本論文は、大規模言語モデル（LLM）の「幻覚（hallucination）」現象を、単なるモデルの欠陥やデコーディング戦略の問題としてではなく、ユーザーのクエリ（入力文）の言語的特徴に起因する側面から分析した研究です。J.P. Morgan AI Research によって行われたこの研究は、36 万 9,837 件の実世界のクエリを対象に、人間の理解を混乱させるような言語的特徴が LLM の幻覚発生率にどのように影響するかを大規模に実証しました。

以下に、問題設定、手法、主要な貢献、結果、そして意義について詳細をまとめます。

---

1. 問題設定と背景

LLM は、事実に基づかないがもっともらしい出力（幻覚）を生成する傾向があり、金融や法務などの高リスク分野では深刻な社会的・経済的コストを引き起こしています。既存の研究の多くは、生成後の検証（自己検証など）や、外部知識の検索（RAG）による事後・事前対策に焦点を当ててきました。

しかし、**「入力側（クエリ）の構造や表現が、モデルの誤った生成を誘発しているのではないか？」**という視点からの大規模実証研究は不足していました。本研究は、古典的な言語学の知見に基づき、人間の理解を妨げるようなクエリの特徴（曖昧さ、複雑さなど）が、LLM の幻覚リスクと相関しているかを検証することを目的としています。

2. 手法 (Methodology)

データセットとタスク

• 対象データ: 13 の QA データセット（SQuADv2, TruthfulQA, MMLU など）から抽出された 369,837 件 の実世界クエリ。
• シナリオ: 抽出型（Extractive）、多肢選択型（Multiple Choice）、抽象型（Abstractive）の 3 つのタスク形式を網羅。
• モデル: 検証には gpt-4o-2024-08-06 を使用。

17 次元のクエリ特徴ベクトル

人間の言語理解に影響を与えることが知られている 17 の言語的特徴を定義し、LLM を用いて構造化された出力（ラベル＋根拠）として抽出しました。

• 構造的特徴: 節の複雑さ（Clause Complexity）、依存関係の深さ、構文木の高さ、トークン長など。
• 意味的・語用論的特徴: 指示詞の使用（Anaphora）、否定（Negation）、多義語（Polysemous Words）、前提（Presupposition）、文脈的制約（Contextual Constraints）、意図の明確化（Intention Grounding）、回答可能性（Answerability）など。
• 語彙・スタイル: 稀な単語の使用、過度な詳細、主観性、最上級表現など。

幻覚リスクの測定（セマンティック保存摂動）

生の幻覚率にはデータセットの暗記バイアスが含まれる可能性があるため、以下のような独自のアプローチでリスクを推定しました。

1. 意味保存のパラフレーズ生成: 元のクエリ $q_{orig}$ に対して、意味は保たれたまま語彙や表現が変化したパラフレーズ（$N(q_{orig})$）を 6 件生成。
2. 幻覚プロキシの計算: 各パラフレーズに対するモデルの回答と、正解（Gold）を比較し、以下の重み付き凸結合で「幻覚スコア」を算出。
   • LLM ジャッジによる意味的整合性 ($s_{llm}$)
   • フォーシー文字列類似度 ($s_{fuzz}$)
   • BLEU-1 ($s_{bleu}$)
   • 重み: $(0.6, 0.3, 0.1)$
3. リスク分類: 6 件中 4〜6 件が幻覚と判定された場合を「Risky（危険）」、1〜3 件を「Borderline（境界線）」、0 件を「Safe（安全）」としてラベル付け。

統計モデル

• 順序ロジスティック回帰（Ordinal Logistic Regression）: クエリの特徴ベクトル $x_i$ と、データセット・シナリオの固定効果を含めたモデルを構築し、リスクカテゴリ（Safe < Borderline < Risky）への遷移確率を推定しました。
• 分布の分離: 特徴の存在/不在による予測リスク分布（ECDF）の比較（Kolmogorov-Smirnov 距離など）を行い、傾向を可視化。

3. 主要な結果 (Key Results)

分析により、クエリの特徴と幻覚リスクの間には明確な「リスク景観（Risk Landscape）」が存在することが示されました。

幻覚リスクを高める特徴（Positive Association）

以下の特徴を持つクエリは、幻覚が発生しやすい傾向にあります。

• 具体性の欠如（Lack of Specificity）: 最も強い正の相関（係数 0.868）。具体的な制約（時間、場所、対象）がないクエリはリスクが大幅に上昇します。
• 節の複雑さ（Clause Complexity）: 多重嵌套された文構造は、モデルの解釈を不安定にします。
• 指示詞の使用（Anaphora Usage）: 文脈に依存する指示詞（it, that など）は、単独のクエリでは曖昧さを生みます。
• 否定（Negation Usage）: 否定表現は解釈の難易度を上げ、リスクをわずかに増加させます。

幻覚リスクを低減する特徴（Protective Features）

以下の特徴は、幻覚を抑制する効果（保護効果）があります。

• 回答可能性（Answerability）: 最も強い負の相関（係数 -1.106）。文脈から明確に回答可能なクエリは、幻覚が極めて少ないです。
• 意図の明確化（Intention Grounding）: 「要約せよ」「比較せよ」など、操作が明示されているクエリはリスクが低下します。
• 構造的な複雑さ（Token Length, Clause Count）: 意外なことに、クエリが長く、節の数が多い場合、リスクは低下する傾向が見られました。これは、豊富な文脈情報がモデルの推論空間を制限し、適切な回答を導くためと考えられます。

混合効果・不確実な特徴

• ドメイン特異性（Domain Specificity）: 効果はデータセットやモデルのドメイン知識に依存し、一貫した傾向は見られませんでした。
• 固有語の存在（Named Entities）: 統計的に有意な相関は見られませんでした。

人間の誤りとモデルの誤りの不一致

従来の言語学で「人間を混乱させる」とされる特徴（稀な単語、最上級表現、複雑な否定など）は、LLM の幻覚リスクとはほとんど相関しませんでした。これは、人間と LLM の失敗モードが必ずしも一致しないことを示唆しています。

4. 主要な貢献 (Contributions)

1. 言語学的根拠を持つ特徴分類と抽出:
   人間の言語理解に影響を与える 17 の特徴を LLM 向けに操作化し、大規模データから抽出するパイプラインを構築しました。
2. 大規模なリスク景観の解明:
   36 万件以上のクエリを用いた実証分析により、特定の言語的特徴と幻覚リスクの間の分布論的なマッピング（リスク景観）を初めて提示しました。
3. 能動的なガイドラインの提案:
   生成後の対策だけでなく、入力段階でのクエリ最適化（書き換え）による幻覚低減の可能性を示しました。具体的には、「曖昧さを解消する」「意図を明示する」「多義語を解消する」といった低コストな書き換えルールを提案しています。

5. 意義と結論

本研究は、LLM の信頼性を高めるために、**「モデルの出力を修正する」だけでなく、「入力クエリを最適化する」**というプロアクティブなアプローチの有効性を示しました。

• 実用的な応用: 推論時にクエリの特徴を検知し、リスクが高い場合はclarification（確認）ステップへ誘導したり、RAG（検索拡張生成）へルーティングしたりするトリiage（選別）システムの構築が可能になります。
• 理論的示唆: 幻覚は単なるモデルの能力不足ではなく、クエリがモデルに「決定された解釈」を委ねる度合い（commitment to a determinate reading）によって左右されることを示しました。具体的で意図が明確なクエリはモデルの仮説空間を制限し、推測的な完成（幻覚）を防ぎます。

将来的には、これらの知見に基づいた自動的なクエリフィルタリングや、意図的にリスクを低減するクエリ書き換えツールの開発が期待されます。ただし、本研究は観察研究であり、因果関係の証明には限界があること、また英語と特定のモデルに限定されていることなどの制約も明記されています。