From Atomic Evidence to Logical Composition: Structured Compositional Reasoning over Compound Answer Options

技術要約：複合的な選択肢における構造化された構成的推論

問題提起
大規模言語モデル（LLM）は、明示的な論理演算子（AND、OR、NEITHER/NOR）の下で原子的な判断を組み合わせる必要がある選択肢の提示を受けると、頻繁に失敗する。モデルは個々の原子的な命題を正しく評価できることが多いものの、それらの判断を一貫した最終決定へと構成することには苦慮する。この「構成性のギャップ（compositionality gap）」は、問題が知識の欠如から生じているのではなく、論理的な可能性を表現し組み合わせることの難しさから生じていることを示唆している。標準的なプロンプティング手法は、原子的な評価と論理的な構成を単一の生成ステップに融合させてしまうため、エラーの診断や論理的制約の強制を行うメカニメントが残されていない。さらに、モデルは、推論者が維持すべき可能性の数が増えるにつれて困難度が増すという人間の推論におけるメンタルモデル理論のパターンと一致して、論理和（disjunctive compositions）や否定構造（例：NEITHER/NOR）において著しく性能を低下させることが多い。

手法
著者らは、原子的な証拠の抽出と論理的な構成を切り離し、モデルが複合的な選択肢を丸ごと処理しないようにするフレームワークを提案する。このフレームワークは以下の3つのステージで動作する。

1. 選択肢の分解（Option Decomposition）: 各複合的な回答選択肢は、その構成要素となる原子的な回答と、それらを結ぶ明示的なブール演算子へと決定論的にパースされる。複数の選択肢間で共有される原子的な回答は、単一のユニークな実体（$U_C$）として扱われ、ある命題がどこに現れるかにかかわらず一貫したスコアリングを保証する。
2. 対照的な証拠の抽出（Contrastive Evidence Elicitation）: 各ユニークな原子的回答に対して、コンテキストに基づいた、対照的な自然言語仮説のペア（ある原子が支持されているとする $h^+$ と、支持されていないとする $h^-$）を構築する。LLMは、より妥当な仮説を選択するように促される。生の証拠スコアは、選択トークンの対数確率から導出され、2つの仮説間の相対的な好みのスコアとなるよう正規化される。
3. スコアの較正（Score Calibration）: 信頼性を向上させるために、生のスコアを較正する。著者らは、生のスコアを較正された確率へとマッピングする手法である**相対的較正（Relative Calibration）**を導入する。絶対的なスコア値のみに依存する標準的な事後手法（プラット・スケーリングや等張較正）とは異なり、相対的較正は、そのインスタンス内における原子の立ち位置（例：他の原子の中でのランクや最大スコアからの距離）を表す特徴量を取り入れる。これにより、選択肢の妥当性が原子同士がいかに比較されるかに依存するという事実をシステムが考慮できるようになる。
4. グローバルな制約付き推論（Globally Constrained Inference）: 較正されたスコアは、**演算子制約付き整数線形計画法（ILP）**に投入される。ILPは、各原子的回答の状態と、各複合選択肢の妥当性のためのバイナリ決定変数（二値変数）を定義する。これは、論理演算子の意味論をエンコードする厳格な制約を課す（例：ANDの場合、両方の原子が真である場合にのみ選択肢は有効となる。NEITHER/NORの場合、両方が偽である場合にのみ有効となる）。目的関数は、制約の下で、原子の割り当てに関する総証拠（支持マイナス反対）を最大化し、最終的な予測として正確に一つの複合選択肢が選択されることを保証する。

主な貢献

1. 構造化されたフレームワーク: 個別の原子的回答に対して対照的な証拠を抽出し、それらを演算子制約付きのILP推論を通じて組み合わせる新しいアプローチであり、論理的構成を理解から効果的に分離する。
2. 相対的較正: 原子的回答を、その確信度と同一インスタンス内の他の原子における相対的な立ち位置の両方に基づいてスコアリングする較正技術であり、マルチオプション・タスクにおける独立した較正の限界に対処する。
3. LOGICAL-SATAベンチマーク: 明示的な論理演算子を用いた複合回答の推論を評価するために、SATA-Benchから派生して設計された新しい読解ベンチマーク。
4. 実証的評価: 2つの異なるベンチマーク（LOGICAL-COMMONSENSEQAおよびLOGICAL-SATA）を用いた包括的な評価により、本フレームワークがダイレクト・プロンプティングを大幅に上回り、特にモデルが失敗しやすい演算子において顕著な差を示すことを実証した。

結果
フレームワークはLlama-3.1-8B-Instructを用いて評価された。

• 全体的なパフォーマンス: LOGICAL-COMMONSENSEQAの人間による検証済み分割において、フレームワークはMacro-F1を48.3（最良のダイレクト・プロンプティング）から77.0へと向上させた。LOGICAL-SATAでは、47.0から75.6へと向上した。
• 演算子別の利得: 最も顕著な改善はNEITHER/NORで見られ、LOGICAL-COMMONSENSEQAではMacro-F1が14.0から76.8へ、LOGICAL-SATAでは12.6から73.4へと上昇した。ORおよびMIXEDの設定でも大幅な改善が見られたが、ANDにおける利得はより緩やかであった。
• 較正の影響: 相対的較正は、特に異なる演算子が選択肢で使用されるMIXED設定において最良のパフォーマンスを示した。これは、プラットまたは等張スケーリングよりも効果的に原子のBrierスコアと対数損失を減少させており、過信（overconfidence）や相対的な順序付けのより良い処理を示している。
• エラー分析: ゴールド（正解）の原子状態が与えられた場合、ILP推論レイヤーは100%の精度を達成し、論理制約が完全にエンコードされていることが確認された。残りのエラーは、初期の原子的証拠抽出（例：修飾語やパッセージのトピックの誤解）に起因していた。

意義と主張
本論文は、論理推論タスクにおける観察された失敗は、関連する知識の欠如ではなく、多くの場合、局所的な判断を構成することの困難さに起因すると主張している。原子的な事実の評価と、それらの論理的な組み合わせを明示的に分離することで、本フレームワークは構成性のギャップを埋める。結果は、LLMが一度のパスで正しく組み合わせることに失敗する場合でも、個々の原子的な回答に関する有用な証拠を保持していることを示唆している。相対的較正の導入は、マルチチョイス設定における原子的判断の妥当性が、しばリオ他の利用可能な選択肢に依存していることを強調している。著者らは、構造化された制約下での推論が、特に複雑な否定や論理和の構造において、LLMの論理的推論を向上させるための実行可能な道筋であることを結論づけている。