技術的概要：HalluWorld：参照世界モデルによる幻覚のための制御されたベンチマーク

1. 問題提起

幻覚は依然として大規模言語モデル（LM）の中心的な失敗モードであるが、既存のベンチマークは要約、質問応答、検索拡張生成などのタスク間で一貫性なく幻覚を操作化している。現在のアプローチは、主に以下の 2 つの限界に苦しんでいる。

1. 断片化: ベンチマークは、しばしば異なる失敗モード（事実の誤読と過去の意思決定の誤記憶など）を単一のラベルの下で混同しており、ある設定での緩和戦略が他の設定に一般化するかどうかが不明確である。
2. 制御の欠如: 既存のベンチマークは、固定された参照を用いた人間の注釈（暗記に陥りやすい）に依存するか、再現が困難または体系的に変化させることが難しい環境における自然観察に依存している。重要なのは、環境、モデルの観測可能性、および矛盾解決方針が通常、設計上固定されており、特定の失敗モードの孤立を妨げている点である。

本論文は、幻覚の根本原因を理解するためには、評価が「明示的な参照世界に対する観測可能な誤差」として幻覚を定義する統一された定式化に基づかなければならないと主張する。

2. 手法：HALLUWORLD フレームワーク

著者は、「参照世界モデル」の定式化に基づいた拡張可能なベンチマークフレームワークであるHALLUWORLDを導入する。このフレームワークは、幻覚を以下の 3 つの明示的な構成要素に分解する。

• 参照世界（$W$）: 状態と遷移をエンコードする完全に指定された真実。
• 観測関数（$V$）: モデルが何を観測できるかを制御するメカニズム（部分的観測可能性）。
• 矛盾ポリシー（$P$）: 観測可能なソース間の矛盾（例：直接観測対書面証言）をどのように解決するかを決定する規則。

モデルの出力が真実の参照世界と矛盾する場合、幻覚が発生する。これらの構成要素を明示的にすることで、このフレームワークは、他の要因を一定に保ちながら 1 つの要因（例：世界の複雑さ）を変化させることによるモデルの体系的なストレステストを可能にする。

ベンチマーク環境

HALLUWORLD は、3 つの異なるドメインにこのフレームワークを具体化しており、合計 33 のグリッドワールドレベル、7 つのチェスレベル、110 のターミナルタスク、および 1,718 の総プローブ質問を含む。

1. HALLUWORLD-GRID: MiniGrid に基づいて構築された、完全に合成されたカスタマイズ可能な環境。これらは、事前学習データとの重複を最小限に抑えつつ、世界の状態とメカニクス（火、洪水、圧力板など）を高度に制御できる。
   • プローブ: 知覚的（P）、記憶（M）、因果的（C）、不確実性（U）、複合的（X）。
   • シリアライゼーション: 提示が幻覚にどのように影響するかをテストするために、記号的、グリッド（ASCII）、および記憶形式をサポート。
2. HALLUWORLD-CHESS: 訓練データに強く代表される、規則に支配されたドメイン。これは、モデルが観測された盤面状態に対して対立的な事前知識（典型的なゲームの続き）を処理する能力をテストする。
   • プローブ: 知覚的（静的な盤面の読み取り）、因果的（手の前進シミュレーション）、記憶（盤面なしで長い手のシーケンスにわたる状態の追跡）。
3. HALLUWORLD-TERMINAL: Terminal-Bench からの軌跡を使用した現実的なエージェント展開に基づいている。参照世界はライブの Linux ファイルシステムであり、観測は生のターミナル履歴である。
   • プローブ: 実際のソフトウェアエンジニアリングタスクから派生し、古くなった記憶、カテゴリ間推論、および不確実性の過剰主張などの失敗モードをテスト。

プローブカテゴリ

すべてのドメインにわたり、ベンチマークは 5 つの認知スキルカテゴリを使用する。

• 知覚的（P）: 現在の観測に直接存在する値の正確な読み取り。
• 記憶（M）: 過去の観測の保持と時間を超えた状態の追跡。
• 因果的（C）: 因果関係に関する推論と行動の前進シミュレーション。
• 不確実性（U）: 証拠の限界を認識し、文脈が不十分な場合に回答を控えること。
• 複合的（X）: 複数の文脈セクションまたは環境にわたる証拠の統合。

3. 主要な貢献

1. 統一された操作化: 本論文は、幻覚を明示的な参照世界および矛盾ポリシーに対する観測可能な誤差として操作化するベンチマークフレームワークを導入し、集計スコアから微細なエラー分類へと移行する。
2. 制御された環境スイート: 著者は、3 つのドメイン（グリッド、チェス、ターミナル）にフレームワークを具体化し、33 の固有のグリッドレベル、7 つのチェスレベル、110 のターミナルタスクを構成する。すべての幻覚ラベルは構築によって自動的に生成され、人間の注釈の必要性を排除する。
3. 拡張性ツール: グリッドワールド環境用のレベルエディタと軌跡レコーダの公開により、コミュニティは複雑な環境 - プローブタプルを作成し、ベンチマークを新しいシナリオに拡張できるようになる。

4. 実験結果

著者は、これらの設定において、GPT-4o/5、Claude Opus/Sonnet、o3、および Qwen や DeepSeek などのオープンモデルを含む約 12 の最先端およびオープンウェイトモデルを評価した。

一般的な知見

• 知覚的対複雑な推論: 直接観測された情報に対する知覚的幻覚は、最先端モデルにとってほぼ解決されている。しかし、多段階の状態追跡（記憶）および因果的な前進シミュレーションは、最も能力の高いモデルであっても依然として重大な課題である。
• 「思考」のパラドックス: 拡張された思考（Chain-of-Thought）は、一貫性のない利益を示す。知覚的精度をわずかに向上させる一方で、しばしば因果的な幻覚を悪化させる。著者は、拡張された推論が、直接観測を信頼するのではなく、妥当な中間状態を捏造する機会をより多く提供すると仮説を立てている。
• ソースへの信頼: モデルは、証言が観測可能な世界と矛盾する場合であっても、一貫して直接観測よりも書面証言（例：標識、掲示板）を優先する。
• 不確実性: モデルは認識論的な回答控えめに著しく苦しむ。ターミナル設定では、正しい応答が「判断できない」である場合でも、トップモデルは約 25% の頻度で幻覚を起こす。

ドメイン固有の洞察

• グリッドワールド: 一貫した難易度の階層が観察された。不確実性 < 知覚的 < 記憶 < 因果的。環境状態の形式（シリアライザー）は幻覚の独立した要因である。例えば、グリッドのシリアライゼーションは、強力なモデルにおけるクロス観測属性追跡で壊滅的な失敗を引き起こしたが、記号的形式はカウント精度を維持した。
• チェス: 長シーケンスカテゴリ（記憶と複合的）は、最先端モデルを弱いモデルから分離した。トップモデルは知覚的および短時間範囲の因果的プローブで飽和したが、長時間範囲の状態追跡において明確な失敗モードを示した。
• ターミナル: これは最も困難なドメインであった。どのモデルも個々のプローブカテゴリで飽和しなかった。注目すべき異常は GPT-4o-mini であり、これは記憶幻覚率が因果率を上回る独自の逆転した記憶プロファイルを示し、長時間範囲の状態追跡における特定の失敗を示唆している。

ナビゲーション実験（InNav）

インタラクティブなナビゲーション設定において、著者は、ナビゲーションが（認識論的グラウンディングを通じて）推論モデルの幻覚を減少させることが多いが、認知負荷により記憶や長時間範囲タスクのエラーを増加させる可能性があることを発見した。ナビゲーションの影響は、タスクカテゴリに強く依存する（例：因果的タスクには有益だが、マルチゾーン複合的タスクには有害）。

5. 意義と主張

本論文は、HALLUWORLDが幻覚の測定と削減に向けたスケーラブルで再現可能な道筋を提供すると主張する。明示的で制御可能な環境に基づいて評価を確立することにより、このベンチマークは以下の点を実現する。

• 失敗モードの解離: 幻覚は単一の根本的な能力の失敗ではなく、知覚、記憶、因果性、不確実性という質的に異なるモードから生じることを明らかにする。
• 標的介入の可能化: 対立的な証言やシリアライゼーション形式など、特定の条件を孤立させる能力により、研究者は集計指標に依存するのではなく、モデルを標的とした介入で積極的に支援できる。
• パラダイムの転換: 曖昧でソースに基づく指標から、幻覚を世界モデル化の誤差として診断できる実験的に処理可能な問題へと分野を移行させる。

著者は、知覚的精度は向上しているが、時間を超えて正確な世界状態を維持し、将来の状態について推論する能力は、最先端モデルにとって未解決の問題であり、アーキテクチャまたは訓練の介入なしには、推論だけでは幻覚を緩和するのに十分ではない可能性があると結論づけている。