技術要約：信頼性の高い長文生成のための選択的抽象化（Selective Abstraction）

問題提起

大規模言語モデル（LLM）は事実に関する誤りを犯しやすく、これがユーザーの信頼を損ない、医療や法律といった高リスクな領域への導入を制限している。不確実性を推定するメカニズムは存在するものの、現在の多くのアプローチは「全か無か」という二値的な決定に依存している。すなわち、モデルが回答を生成するか、あるいは完全に回答を控える（棄権する）かのいずれかである。この二値的なアプローチは、長文生成においては過度に制約が強い。長文の生成物には、多数の事実に基づく主張が含まれており、それらの不確実性は様々であるが、たった一つの不確実な詳細のために生成全体を放棄してしまうことは、貴重な情報を破棄することになる。逆に、修正を加えずに出力全体を生成することは、ハルシネーション（幻覚）を含むリスクがある。本論文は、モデルが回答全体を破棄するのではなく、詳細度を犠牲にして信頼性を確保することを可能にする、より粒度の細かいアプローチの必要性を指摘している。

手法：選択的抽象化（Selective Abstraction: SA）

著者らは、不確実な内容を完全に削除するのではなく、その詳細度を下げることを可能にするフレームワークである**選択的抽象化（SA）**を導入する。核心となるアイデアは、確信度の低い主張を、より確信度の高い、より一般的（低詳細）な抽象表現に置き換えることである。

フレームワークの定式化

SAは、**選択的リスク（selective risk）とカバレッジ（coverage）**の観点から定式化される：

• リスク： 生成されたテキストにおける事実誤認（ハルシネッション）の割合として定義される。
• カバレッジ： 元の生成物に対して保持された情報の割合として定義される。
• トレードオフ： 信頼度の閾値 $\theta$ を変化させることで、SAはトレードオフ曲線を生み出す。高い閾値はリスクを減少させる（抽象化を増やすことで）が、同時にカバレッジも減少させる（詳細度を失うことで）。

原子単位の選択的抽象化（Atom-wise Selective Abstraction）

本論文では、原子単位の選択的抽象化と呼ばれる具体的な実装を提案している。これは、4段階のパイプラインを通じて、主張（クレーム）レベルで動作する：

1. 生成（Generation）： LLMがプロンプト $p$ に対して初期の応答 $T$ を生成する。
2. 原子化（Atomization）： 応答を**原子的な主張（アトム）**に分解する。これらは、単一の事実を表明する短く自己完結した記述である（例：「アメリア・エアハートはカンザス州アチソンで生まれた」）。
3. 抽象化（Abstraction）： これがコアとなる処理段階であり、以下の3ステップで構成される：
   • 確信度の引き出し（Confidence Elicitation）： モデルが各アトムに対して確信度スコアを割り当てる。
   • 抽象化の生成（Abstraction Generation）： 確信度が閾値 $\theta$ を下回るアトムに対し、モデルは段階的に一般的な抽象表現のシーケンスを生成する（例：「カンザス州アチソン」 $\to$ 「カンザス州」 $\to$ 「米国中西部」 $\to$ 「米国」）。このシーケンスは完全な棄権（$\top$）で終了する。
   • 選択（Selection）： モデルは抽象化のシーケンスに対して確信度スコアを割り当てる。そして、閾値 $\theta$ を満たす最も具体的な抽象表現をシーケンスから選択する。もしどの抽象表現も閾値を満たさない場合は、そのアトムは棄権される。
4. 再構成（Reconstruction）： 選択された抽象表現を再構成して、一貫性のあるテキスト $T'$ を作成する。

評価パイプライン

SAを評価するために、著者らはオープンエンドな事実生成のためのエンドツーエンドのパイプラインを開発した：

• リスク測定： エージェントによるファクトチェック・システムを用い、原子的な主張をWikipediaと照合して検証する。証拠が見つかればその主張は「支持されている（supported）」とラベル付けされ、そうでなければ「支持されていない（unsupported）」とされる。リスクは $1 - \text{精度}$ として計算される。
• カバレッジ測定： 情報理論的な尺度を用いる。主張の情報量は、適合するエンティティの集合に対するエントロピーの減少量によって定量化される（例：「ロンドンで生まれた」は「ヨーロッパで生まれた」よりも、対象となる人物の範囲をより絞り込むため、より情報量が多い）。カバレッジは、$T'$ に保持された情報量と $T$ の情報量の比率である。
• 指標： パフォーマンスは、リスク・カバレッジ（RC）曲線および**リスク・カバレッジ曲線の下端面積（AURC）**を用いて要約される。AURCが低いほど、優れたトレードオフを示している。

主な貢献

1. 選択的抽象化フレームワーク： 長文生成において、詳細度と正確性の間でトレードオフを行うための一般的なフレームワークであり、選択的リスクとカバレッジを通じて定式化されている。
2. 原子単位の実装： 不確実な主張を単に削除するのではなく、より確信度の高い抽象表現へと選択的に置き換える、主張レベルの手順。
3. 評価パイプライン： オープンエンドな生成のための新しいエンドツーエンドのパイプラインであり、リスクを事実の正確性によって、カバレッジを保持されたコンテンツの情報理論的尺度によって具現化している。
4. 実証的検証： 6つのオープンソースLLMと2つのベンチマーク（FactScoreおよびLongFact-Objects）において、一貫した改善を示した。
5. 閾値選択アルゴリズム： 分割コンフォーマル予測（split conformal prediction）に基づき、ユーザーが定義した目標リスクを高い確率で満たす信頼度閾値を選択する、リスク誘導型のアルゴリズム。

結果

著者らは、6つのオープンソースモデル（GPT-OSS、Qwen3、Llama 3.3を含む）を用い、FactScoreおよびLongFact-ObjectsベンチマークでSAを評価した。

• ベースラインとの比較： 原子単位のSAは、既存のベースライン（不確実なアトムを完全に削除する選択的削除（Selective Redaction）、最初から粗い粒度で生成するインライン抽象化（Inline Abstraction）、事後的に書き換える自己修正（Self-Revision））を一貫して上回った。
• AURCの改善： 原子単位のSAは、FactScoreベンチマークにおいて、削除（Redaction）手法に対し、AURCを最大**27.73%**向上させた。平均的な改善率は、FactScoreで17.43%、LongFactで13.77%であった。
• リスク・カバレッジのトレードオフ： 本手法は、全カバレッジ範囲においてベースラインを圧倒する、より滑らかなトレードオフ曲線を実現した。カバレッジが一致するレベルにおいて、原子単位のSAは、InlineおよびSelf-Revisionのベースラインと比較して、有意に低いリスクを達成した（平均して約10ポイントの差）。
• 閾値選択： 提案されたアルゴリズムは、異なるモデルやデータセットにおいて、経験的リスクをユーザー定義の目標リスクに近く保つ閾値を、正常に選択できた。

意義と主張

本論文は、長文生成における信頼性は、「回答するか棄権するか」という二者択一ではなく、「詳細度と正確性」のスペクトラムの問題であると主張している。本研究の意義は、詳細度を下げることで、元の意味の大部分を保持しながら、正確性と信頼性を高められることを実証した点にある。

個々の主張レベルで動作することにより、提案手法は、文や主張全体を削除することに伴う急激な情報喪失を回避している。代わりに、不確実性に対して、ターゲットを絞った主張レベルの制御を提供する。著者らは、選択的抽象化を、応答における適切な詳細度について明示的に推論する生成パラダイムへの一歩として位置づけており、高リスクな設定においては、自信満々な誤答よりも、詳細度の低い応答の方が好ましいことを示唆している。

論文は今後の方向性については控えめな記述にとどまっており、抽象化の質は信頼度スコアリング関数に大きく依存すること（言語化された確信度がログ確率ベースのスコアよりも優れていることが判明した）、および、主張を独立したものとして扱うのではなく、主張間の依存関係をモデル化することがさらなる改善につながる可能性があることを述べている。