技術的概要：推論時論証のための神経記号学習

問題定義

主張の検証は、医療、金融、科学的発見などの高リスク領域における重要なタスクです。大規模言語モデル（LLM）はこの分野で有望な成果を示していますが、基礎となる情報が不完全または矛盾している場合、標準的な二値分類（真/偽）では不十分なことがよくあります。そのような場合、強制された二値決定よりも「不確実」という判定がより適切です。さらに、高リスクの環境では、これらの判定に対する説明は忠実でなければならない、つまり、最終的な決定を決定する要因を真に反映する推論プロセスである必要があります。事後の合理化に依存し、モデルの内部論理と一致しないようなものであってはなりません。

既存のアプローチでは、論証を推論時の説明層として扱うか、特定の検証タスクに対して最適化されていない市販の LLM に論証の生成を依存させることが多く見られます。さらに、推論に関する多くの強化学習（RL）アプローチは、数学など検証可能で決定論的な結果を持つタスクに焦点を当てており、結果が曖昧になり得る主張検証に内在する不確実性に対処できていません。

手法：推論時論証（ITA）

著者らは、三値主張検証（真、偽、不確実）向けに設計された学習可能な神経記号フレームワークである**推論時論証（Inference-Time Argumentation: ITA）**を導入します。論証を説明のみに使用する従来手法とは異なり、ITA は形式的な論証意味論をトレーニングループに直接統合し、論証の生成とスコアリングの両方を導きます。

コアフレームワーク

このシステムは**量的二極論証フレームワーク（Quantitative Bipolar Argumentation Frameworks: QBAFs）**に基づいて動作します：

1. 論証生成：パラメータ $\theta$ を持つ LLM が、与えられた主張 $c$ に対して支持 ($S_c$) と攻撃 ($T_c$) の論証のセットを生成します。主張自体も論証 $a_c$ として扱われます。
2. ベーススコア割り当て：学習可能なベーススコアモデル（Base Score Model: BSM）（パラメータ $\phi$）が、生成された各論証に内在的な強さ（ベーススコア）$\tau(a) \in [0, 1]$ を割り当てます。主張のベーススコアは、中立な事前確率 0.5 に固定されます。
3. 意味論的集約：決定論的な論証意味論関数であるDF-QuADが、ベーススコアと支持/攻撃関係を集約し、主張に対する最終的な論証的強さ $\hat{v}_c = \sigma(a_c)$ を計算します。
4. 判定の導出：最終的な強さは、固定された閾値を使用して三値判定にマッピングされます：
   • 偽：$\hat{v}_c \leq 1/3$
   • 真：$\hat{v}_c \geq 2/3$
   • 不確実：$1/3 < \hat{v}_c < 2/3$

トレーニング戦略

ITA は、コンポーネントを最適化するために 2 つの異なるトレーニング段階を採用します：

1. ベーススコアの弱教師あり学習（BSM）：

   • プライミング段階：BSM の回帰ヘッドは、ベース LLM のプロンプト生成によって生成された（主張、論証、ベーススコア）のトリプルに対する教師あり学習を用いて初期化されます。
   • 意味論的損失段階：BSM は神経記号損失関数を用いて微調整されます。損失は、DF-QuAD を介して導出された予測された主張の強さと、0、0.5、または 1 にマッピングされた正解ラベルとの間の平均二乗誤差（MSE）です。DF-QuAD は微分可能であるため、勾配は意味論を通じて逆伝播され、BSM を更新できます。
   • 補助損失：局所的な性質を向上させるため、著者らは一貫性損失（意味論的に同等の論証の分散を最小化）とランキング損失（論証の質の事前定義された順序を強制）を導入します。

2. 論証生成のための強化学習：

   • 論証生成器は**グループ相対方策最適化（Group Relative Policy Optimization: GRPO）**を用いて最適化されます。
   • 報酬関数：報酬は、BSM と DF-QuAD によって生成された最終的な主張の強さ $\hat{v}_c$ から導出されます。正しい分類区間内の強さ（例：「真」ラベルに対して高い強さ）に対して最大報酬を与え、強さが正しい閾値から離れるにつれて線形に減少する報酬を提供します。これにより、論証意味論がトレーニング信号となり、生成器が正しい判定につながる論証を生成することを促します。

主要な貢献

1. 学習可能な神経記号フレームワーク：論証の役割を、静的な推論時説明層から、意味論がモデルのトレーニングを導く動的な学習インターフェースへと拡張する ITA の導入。
2. 最適化戦略：2 つの新しいトレーニング戦略の提案：
   • 静的な LLM スコアのみに依存するのではなく、下流の論証的判定を通じてベーススコアを学習すること。
   • 形式的な論証意味論を用いて強化学習の報酬を生成し、主張検証という特定のタスクに対して論証生成を最適化すること。
3. 忠実な説明可能性：構成上、最終的な判定は生成された論証、それらの学習されたスコア、および意味論の決定論的関数です。これにより、説明は意思決定プロセスに忠実であり、事後の推論経路の落とし穴を回避します。

実験結果

著者らは、ITA を 2 つの三値主張検証データセットで評価しました：TFU Evaluation Claims（StrategyClaim および DEBATunE から派生）とAVeriTeC（実世界の主張）です。ITA を、非論証的ベースライン（SFT および GRPO による直接予測）および論証的ベースライン（論証とスコアの生成に市販の LLM を使用）と比較しました。

• 性能：

  • ベーススコアモデル：学習された BSM は、一定値またはプロンプト生成されたスコアを使用した論証的ベースラインを大幅に上回りました。最高性能の BSM（意味論、ランキング、一貫性損失を用いて GPT-5 生成の論証でトレーニング）は、TFU で0.677 の精度、AVeriTeC で0.460 のバランス精度を達成し、すべての忠実な説明可能なベースラインを上回り、最強の直接予測ベースラインと競合しました。
  • 論証生成器：GRPO を通じた論証生成器のトレーニングは、プロンプト生成されたスコアと組み合わせた場合に未トレーニングの生成器よりもわずかな改善を示しましたが、BSM のトレーニングからの改善ほど一貫性のあるものではなく、結果は混合していました。
  • 組み合わせ：トレーニング済みの生成器とトレーニング済みの BSM を組み合わせても、単独の最良の BSM に対する相加的な改善は得られませんでした。これは、スコアリング器が特定の論証分布に較正されていることを示唆しています。

• 局所的な性質：補助損失を用いたトレーニングは、言い換えられた論証のスコアの一貫性と、質による論証のランキングを大幅に改善し、フレームワークが単なる下流の精度を超えて望ましい局所的な性質を学習できることを実証しました。

意義と主張

本論文は、ITA が形式的な論証意味論を、推論時の集約規則だけでなく、LLM にとって有用なトレーニング信号として機能させることができることを実証していると主張しています。論証をトレーニングループに統合することで、システムは手続き的忠実性を維持しつつ、直接予測手法と競合する性能を達成します。手続き的忠実性とは、判定が検査可能な論証構造から明示的に導出されることを意味します。

著者らは、この研究を、高リスク領域におけるより透明性があり信頼性の高い AI への一歩として位置づけています。そこでは、主張がなぜ不確実または偽であるかを説明する能力が、分類そのものと同じくらい重要です。彼らは、外部証拠の検索の欠如（論証はモデルの知識から生成される）および深さ 1 の論証フレームワークへの制限といった限界を認め、これらを今後の研究の方向性として挙げています。