テクニカル・サマリー：ハルシネーションの統一的定義：それはワールドモデルの問題である！

1. 問題提起

大規模言語モデル（LLM）の登場以来、緩和策に関する広範な研究が行われてきたにもかかわらず、ハルシネーション（幻覚）は最先端モデルにおける持続的かつ未解決の課題として残っています。著者らが指摘する核心的な問題は、「ハルシネーション」という定義の断片化です。既存の定義はタスクごとに特化しており、しばしば矛盾しています。

• 要約の研究者は、たとえ現実世界では事実であっても、ソース文書によって支持されないコンテンツをハルシネーションと定義します。
• オープンドメインQAの研究者は、ソースに関わらず、事実として誤っているコンテンツをハルシネーションと定義します。
• 視覚言語モデル（VLM）の研究者は、視覚的入力とテキストの間の不一致に焦点を当てます。
• エージェントの研究者は、環境の観察に基づく不適切な行動をハルシネーションと見なします。

このような統一された定義の欠如により、ベンチマークの比較、緩和策の転移性の評価、あるいは「LLMがハルシネーションを止めることは本当に可能なのか」という根本的な問いへの回答が困難になっています。現在の評価は、多くの場合、「グラウンドトゥルース（正解）」が何であるか、それがどのようにアクセスされるか、あるいは情報の衝突がどのように解決されるかを明示することなく、暗黙のうちにそれを前提としています。

2. メソドロジー：統一フレームワーク

著者らは、既存のあらゆる定義を単一の概念、すなわち**「ユーザーから観察可能な、不正確な（内部の）ワールドモデルとしてのハルシネーション」**の下に統合する形式的なフレームワークを提案しています。

2.1 コア構成要素

このフレームワークは、以下の3つの明示的なコンポーネントに対してハルシネーションを定義します。

1. 参照ワールドモデル ($W$): 与えられたコンテキストにおいて客観的に真であるとされる形式的な表現。$W$ はタプル $(S, H, R)$ であり、$S$ は可能な世界の集合、$H$ は相互作用の履歴、$R$ は許容される状態を制約するルールの集合です。$W$ は、ソース文書、知識ベース、シミュレーター、データベース、または形式文法としてインスタンス化できます。
2. ビュー関数 ($V$): 特定の入力 $x$ に関連するワールドモデルの部分を選択する関数（例：文書全体、検索されたサブセット、または部分的なDOMの観察）。
3. 衝突ポリシー ($P$) および真理関数 ($T_{W,P}$): 複数の情報源をどのように調整するかを決定するポリシー（例：「検索されたドキュメントはパラメトリックメモリよりも優先される」）。真理関数は、$W, x, P$ に基づいて、任意の原子的な主張 $c$ に対してステータス（真、偽、不明）を割り当てます。

2.2 形式的定義

$y$ をモデルの出力とし、$C(y)$ をユーザーに観察可能な原子的な主張の集合とします。出力 $y$ が $(W, P)$ に対してハルシネーションを起こしているとは、ある主張 $c \in C(y)$ が存在し、$T_{W,P}(x, c) = \text{false}$ となる場合、かつその場合に限られます。

決定的なことに、この定義はハルシネーション（参照ワールドに関する誤った信念）を他のエラータイプと区別します。

• プランニングエラー： 正しい信念を持っているが、行動選択が不適切である。
• 報酬/インセンティブエラー： 正しい信念を持っているが、訓練によるインセンティブにより自信を持って出力してしまう。
• キャリブレーションエラー： 不確実性が適切に表現されていない。

3. 主な貢献

本論文は主に3つの貢献を行っています。

1. 統一されたタクソノミー（分類学）： 著者らは、従来の定義（要約、RAG、エージェント設定、およびVLM）が、単に同じ基礎的な構造の異なるインスタンス化に過ぎないことを示しています。$W, V, P$ を変化させることで、既存の定義（例：内在的ハルシネーション vs 外在的ハルシネーション）を特殊なケースとして導き出すことができます。
2. 明示的なベンチマーク設計ガイドライン： このフレームワークは、ベンチマーク設計者に対し、参照ワールド、モデルのビュー、および衝突解決に関する仮定を明示することを強制します。これにより、異なるベンチマーク（FavaBench, HALoGEN, HaluEvalなど）を、それらの定義がどこで乖離しているかを診断することによって、意味のある比較が可能になります。
3. 合成ワールドによるスケーラブルなベンチマーク生成： 論文は、合成環境（ゲーム、シミュレーターなど）を用いて、参照ワールド $W$ が完全に指定され、プログラム的に既知である大規模なベンチマークを作成する方法を提案しています。
   • ケーススタディ（チェス）： 著者らは、チェス環境がどのようにベンチマークとして機能するかを例示しています。世界の状態 ($s$) と履歴 ($h$) がグラウンドトゥルースとなります。ドキュメント生成器がテキストのコンテキストを作成し、クエリ生成器が質問を作成します。真理関数は、実際の盤面状態とルールに対して主張を評価するため、人間によるアノテーションなしに、自動的かつ大規模にハルシネーションのラベルを生成できます。

4. 結果と知見

ポジションペーパーであるため、本研究はモデルの性能に関する経験的な結果を提示するのではなく、概念的および診断的な分析を提供しています。

• 診断能力： フレームワークは、文献における不一致がモデルの振る舞いではなく、暗黙的な $W, V, P$ の違いに起因していることを明らかにしています。例えば、ある手法は要約（$W$ がソース文書）においてはハルシネーションを減少させるかもしれませんが、オープンQA（$W$ が現実世界の事実）では失敗する可能性があります。これは、介入が異なるコンポーネントを対象としているためです。
• 緩和策の明確化： 論文は、緩和技術をどのコンポーネントを対象としているかに基づいて分類しています。
  • 検索/ツール： ビュー関数 ($V$) に対する介入。
  • キャリブレーション/棄権： 真理関数または出力ポリシー ($T_{W,P}$) に対する介入。
  • アーキテクチャ/学習の変更： モデルの内部的な $W$ の近似に対する介入。
• エラータイプの区別： フレームワークは、「ハルシネーション」（ワールドモデルのエラー）を「プランニング」や「指示遂行」のエラーからうまく分離することに成功しています。これは現在の文献においてしばしば曖昧になっている区別です。

5. 重要性と主張

著者らは、この統一的な視点が以下の理由から重要であると主張しています。

• 科学的厳密性： 漠然としたタスク固有の定義から、形式的で再現可能な構造へと分野を移行させます。研究者が「何が真実か」を主張する前に、それを明確にすることを強制します。
• 比較可能性： 異なるドメイン（テキスト、視覚、エージェント）のベンチマークと緩和策を、共通のテンプレートにマッピングすることで、比較を可能にします。
• スケーラビリティ： 完全に指定されたワールドを持つ合成環境を活用することで、高価な人間によるアノテーションや信頼性の低い「LLM-as-a-judge」の手法を用いずに、構成によってハルシネーションのラベルが決定されるベンチマークの作成を可能にします。
• 実行可能なガイダンス： 失敗が情報の欠如 ($V$) によるものか、衝突するルール ($P$) によるものか、あるいは根本的に壊れた内部モデル ($W$) によるものかを特定するための明確なロードマップを提供します。

論文は、完璧なワールドモデルの構築は達成不可能かもしれないが、LLMの目標は、自身の知識の境界を認識し、不確実な場合には棄権し、外部情報に基づいて更新することであると結論付けています。提案されたフレームワークは、HALLUWORLD ベンチマークスイートによって補完されており、観察可能なワールドモデルのエラーを体系的に測定し、削減するための道筋を示しています。