技術要約：入力側エビデンス・アライメントを伴うハルシネーション・スパン検出

問題提起

大規模言語モデル（LLM）は、要約や質問応答などの条件付きテキスト生成タスクを進化させてきたが、入力テキストに支持されていない、あるいは入力と矛盾する内容を生成する「ハルシネーション（幻覚）」の問題を依然として抱えている。既存の検出手法は、主に文単位または文書単位のバイナリ分類問題としてハルシネーションを扱っている。これらの手法は全体的な事実性を推定するには有効であるが、特定のハルシネーション・スパンを特定したり、対応する入力側のエビデンスを特定したりすることはできない。この限界は、モデルの予測の解釈性を妨げ、特に手動での追跡が困難な長文において、生成された内容の検証を複雑にする。さらに、急速に進化するLLMの状況を鑑みると、訓練のために手動で整列（アライメント）された入出力ペアを取得することは、コストが高く非現実的である。

手法

著者らは、新しいタスクとして、入力側エビデンス・アライメントを伴うハルシネンス・スパン検出を提案している。このタスクは、生成テキスト内のハルシネーション・スパンを特定すると同時に、それらのトークンを対応する入力のエビデンスに整列させるものである。このアプローチは、「忠実な出力トークンは一般に、入力における支持的なコンテキストから予測可能であるが、ハルシネーションとなったトークンは予測不可能である」という観察に基づいている。

コア・フレームワーク

本手法は、非パラメトリック・マスクド言語モデル（NPM）に着想を得て、ハルシネーション検出を入力に基づいたマスクド・トークン予測問題として定式化している。大規模なデコーダー型LLMに依存する代わりに、軽量なエンコーダー型モデルを採用している。

1. 訓練戦略（遠隔教師あり学習）:

   • スパン分割: 出力テキストを、意味論的役割ラベル付け（SRL）を用いて意味のあるスパンに分割する。述語とその引数を抽出してスパンを形成し、述語や引数の一部ではない語（接続詞など）は除外する。
   • マスクド予測: 訓練中、スパンは特殊なトークン（``）でマスクされる。モデルは、入力テキストの表現のみを使用して、これらのマスクされたスパンを予測するように訓練される。
   • 信頼度指標: マスクされたスパン $s$ に対する入力スパン $(i, j)$ の予測信頼度は、マスクされたトークンの埋め込みと入力トークンの埋め込みの間のコサイン類似度の総和として定義される：
     $$c(s, i, j) := \text{sim}(m_s, d_i) + \text{sim}(m_e, d_j)$$
   • 損失関数: 忠実なスパンに対しては高い信頼度を、ハルシネーションとなったスパンに対しては低い信頼度を与えるように促すカスタム損失関数を用いる。ハルシネーションとなったスパンが高い信頼度を示した場合や、忠実なスパンが低い信頼度を示した場合にペナルティを課し、「困難な」事例に対して追加の重み付けを行う。

2. 推論:

   • 訓練とは異なり、推論はトークンレベルで行われる。各出力トークンが個別にマスクされ、モデルは信頼度スコアに基づいて最も関連性の高い入力トークンを検索する。
   • 分類: 最大信頼度スコアが閾値 $\lambda_h$ を下回る場合、その出力トークンはハルシネーションであると分類される。
   • アライメント: 最大の信頼度スコアをもたらした入力トークンが、エビデンス・アライメントとして機能する。
   • 集約: トークンレベルの予測は単語レベルに集約される。単語内のすべてのサブワード・トークンがハルシネーションとして分類された場合にのみ、その単語はハルシネーションとみなされる。

主な貢献

• タスク定義: バイナリの文レベル分類を超え、ハルシネーション・スパンの検出と入力エビデンスへのアライメントを同時に行う新しいタスクを導入した。
• 効率的なアーキテクチャ: 大規模なデコーダー型LLMの計算コストを回避し、手動のアライメントデータも必要としない（遠隔教師あり学習を利用）、軽量なエンコーダー型手法を開発した。
• デュアル出力: 本フレームワークは、ハルシネーション検出ラベルと、トークンレベルのエビデンス・アライメントを同時に生成する。

実験結果

本手法は、質問応答（QA）およびニュース要約タスクをカバーするRAGTruthデータセットを用いて評価された。

• 自動評価:

  • 提案手法は、QAおよび要約タスクの両方において**最高の再現率（Recall）**を達成した（それぞれ82.7%および38.0%）。これは、Llama-SFTやLettuceDetectといったベースラインを上回っており、ハルシネーションの見落としが許されないシナリオにおいて極めて重要である。
  • 適合率（Precision）については、一部のベースライン（要約におけるLlama-SFTなど）よりも低かったが、高い再現率は、本手法が大部分のハルシネーション内容を効果的に特定できていることを示している。
  • ベースラインであるOTAlignは、長さが大きく異なる文のアライメントが困難であったためか、振るわない結果となった。

• 人間による評価:

  • 人間のアノテーターが、予測された入力側エビデンス・アライメントの質を評価した。
  • **忠実な（Faithful）単語および根拠のない（Baseless）**ハルシネーション単語において、提案手法は平均約2.0（0〜3のスケール）のアライメントスコアを達成し、検索された入力トークンが関連するエビデンスであることを示した。
  • **矛盾する（Conflict）**ハルシネーションについては、本手法は苦戦しており、これらのトークンに対して高い信頼度スコアを割り当てることが多かった。これは、矛盾する入力と出力のコンテキスト間の意味的な類似性が高く、類似度ベースの信頼度推定を混乱させるためである。

重要性と限界

本論文は、提案手法がハルシネーション・スパンを効果的に検出しつつ、意味のある入力側エビデンスを特定できることを主張しており、これはアライメントの質に関する人間による評価によって裏付けられている。このアプローチは、手動のアライメントデータの膨大なコストをかけることなく、生成された内容を検証するための実用的な解決策を提供する。

しかし、著者らは以下の特定の限界を認めている：

1. 矛盾の検出: 類似度ベースの信頼度推定が、矛盾するテキストと入力との間の高い類似性によって誤った信頼性を生むため、「根拠のない」ハルシネーションと比較して「矛盾する」ハルシネンスの検出には効果が低い。
2. 推論効率: トークンごとのマスキングと再エンコーディングのプロセスにより、推論コストは出力の長さに比例して線形に増加するため、長いテキストでは計算コストが高くなる可能性がある。
3. 範囲: 実験はRAGTruthベンチマークを用いたQAとニュース要約に限定されており、他のドメイン、言語、またはLLMファミリーへの汎用性は調査されていない。

著者らは、本手法は根拠のないハルシネーションに対しては効果的であるが、今後の課題は、矛盾するハルシネーションをより適切に扱うためのより洗練された信頼度推定手法の開発と、推論効率の向上に焦点を当てるべきであると結論付けている。