An LLM-Based System for Argument Reconstruction

技術的概要：論証再構成のための LLM ベースシステム

問題定義
計算論証は根本的な二律背反に直面している。一方、形式的な「論証フレームワーク（AF）」は、論証の受容性を評価するための厳密なグラフベースの構造を提供するが、生きた自然言語から論証を抽出することには苦戦し、暗黙の前提、語用論的コンテキスト、そして現実世界の談話の多様性を処理できないことが多い。他方、「大規模言語モデル（LLM）」は豊かな文脈的知識を有し、暗黙のつながりを特定できるが、論証を表現するための体系的かつ理論的に裏打ちされた構造を欠いている。市販の LLM による生成物は、一貫性のない出力をもたらすことが多く、比較や集約が困難である。一方、従来の論証マイニングのアプローチは、しばしば表面的な特徴に依存し、より深い論理的関係を見逃している。核心的な課題は、これらの視点を架橋すること、すなわち LLM の流暢さと常識的推論を活用しつつ、形式的論証フレームワークの構造的厳密性に従うシステムを構築することである。

手法
著者らは、自然言語テキストから論証を再構成し、「有向非巡回グラフ（DAG）」へと変換する「エンドツーエンドの LLM ベースシステム」を提案する。このシステムは、論証構造を段階的に構築し、明示的な制約を通じて形式化された出力を確保するように設計された「多段階パイプライン」を採用している。パイプラインは以下の段階から構成される。

1. 論証的コンポーネントの識別: LLM は主張と前提を特定し、列挙し、無関係な内容をフィルタリングする。ルールベースのシステムとは異なり、事前学習された文脈理解を活用して論証的なスパンを区別する。
2. マージと書き換え（オプション）: 冗長または密接に関連するコンポーネントをマージし、論理的な統一性を確保する。コンポーネントは、文脈依存表現（例えば、代名詞）を解決するために書き換えられ、自己完結型にする。
3. 結論と関係の識別:
   • 結論の識別: 主要な結論を抽出する。
   • 前提関係（再帰的戦略）: 幅優先探索を用いて、システムは対象の結論を支持または攻撃する前提を再帰的に特定する。この分解は複雑性を低減し、候補となる前提を未訪問のコンポーネントに制限することで、非巡回構造を強制する。
4. 高度な構造的洗練（オプション）:
   • 未訪問前提のチェック: 分離されたコンポーネントがサイクルを形成する場合、それらが接続またはマージされることを保証する。
   • リンク型対収束型前提: 結論を共同で正当化する前提（リンク型）と、独立した理由を提供する前提（収束型）を区別し、リンク関係には中間ノードを使用する。
   • 暗黙の前提の回復: 論証の有効性に必要不可欠な欠落した前提（省略三段論法）を特定し、生成する。
   • 反論と根拠崩壊の区別: 前提への攻撃（反論）と、推論リンク自体への攻撃（根拠崩壊）を区別し、後者の場合は中間ノードを挿入する。
5. グラフ構築と可視化: 最終出力は、ノードがコンポーネントを表し、有向エッジが支持または攻撃関係を表す DAG である。システムには、冗長なエッジを除去する推移的簡約ステップと、視覚的検査のための図作成機能が含まれている。

主要な貢献

• 統合フレームワーク: 本論文は、LLM 駆動の抽出と形式的論証の制約を統合する新規システムを提示し、自然言語処理と形式論理の間のギャップを効果的に架橋する。
• エンドツーエンドパイプライン: コンポーネントを抽出するだけでなく、複雑な論理的関係（根拠崩壊、リンク型前提、暗黙の仮定）を推論し、DAG 構造を強制するモジュール式多段階パイプライン。
• 新規データセット: 著者らは、論証理論の教科書（Marcus Sacrini 著『Introduction to Argumentative Analysis』）に由来する 42 の論証からなる注釈付き小規模データセットを構築した。これは、提案された表現方式と整合する図を含んでいる。

実験結果
システムは、2 つの補完的な実験を通じて評価された。

1. 内部評価（教科書データセット）:

   • コンポーネントレベル: システムは結論検出において92.50% の精度を達成した。スパン検出の F1 スコアは75.70%、関係検出の精度は**80.57%**であった。
   • 構造レベル: 人間の注釈者は、暗黙の前提（2.86）、根拠崩壊（2.90）、**収束型/リンク型前提（2.85）**について、1〜3 のスケールでシステムを高く評価し、注釈者間の一致率も高かった。
   • グローバルレベル: 生成されたグラフは、**完全性（2.96）と忠実性（2.92）**において高く評価され、システムが内容を幻覚させることなく主要な構造を捉えていることを示している。

2. 外部評価（ベンチマークデータセット：AAEC および AbstRCT）:

   • 標準的な論証マイニングベンチマークで評価された際、フルパイプライン（スパン検出を含む）は、特に真の値との正確なスパンマッチングの難しさにより、性能が低下した（例：AAEC におけるコンポーネント分類の F1 は 27.64）。
   • しかし、ゴールドスタンダードのコンポーネント（スパン検出をバイパス）が提供された場合、システムの性能は著しく向上した。AbstRCTデータセットにおいて、リンク予測 F1 は 51.51、関係検出 F1 は 46.21を達成し、それぞれ最先端のベースライン（Morio et al., 2022）を**+11.77および+7.5**上回った。これは、コンポーネントが既知であれば、モデルが関係構造を効果的に捉えていることを示唆している。

意義と主張
本論文は、提案されたシステムがスケーラブルな論証再構成のための LLM ベースパイプラインの可能性を実証していると主張している。それは、根拠崩壊や暗黙の前提といった微妙な現象を含む、論証理論の基準に合致する論証構造を成功裡に回復する。著者らは、システムが教科書的な論証を適切に再構成し、異なる注釈方式に適応した際にベンチマークで妥当な性能を達成する一方で、**コンポーネント識別（スパン検出）**には課題が残ると結論づけている。この研究は、LLM の文脈的強みと形式的フレームワークの構造的厳密性を組み合わせることが viable な次の道筋であることを浮き彫りにしているが、プロンプト戦略の洗練と、より複雑で現実的なデータセットにおけるシステムの評価には、今後の研究が必要である。