Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks

技術要約：機能ではなく形式を知っていること

問題提起
現在の大規模言語モデル（LLM）における法的ベンチマークは、モデルの推論に法的根拠の引用が含まれている場合であっても、最終的な回答の正誤のみに基づいて性能を評価する傾向がある。この「回答のみ」によるスコアリングは、正しい最終回答が得られたならば、主張された法的根拠（「ゴールド・オーソリティ」）もまた正しいはずであるという前提を暗黙のうちに置いている。本論文はこの仮定には欠陥があると論じている。なぜなら、モデルは妥当な推論や消去法によって正しい結論に到達したとしても、誤った、あるいは存在しない条文を引用している可能性があるからである。法定の根拠は構造的に抽出可能であり、外部から検証可能であるため、回答を正しい法律に結びつけられないことは、現在のベンチマークが体系的に隠蔽してしまっている「妥当性の問題」を構成する。

手法
著者は、「回答の正誤（$A$）」と「ゴールド・オーソリティへの接地（$G$）」を切り離した共同評価フレームワークを提案する。

• テストベッド: 本研究では、2022年および2025年の台湾国家司法試験（民法118問、刑法120問）から抽出した238項目を利用する。各項目には、商業的な解答解説書から導出され、法令データベースによって相互検証された、正解および支配的な条文（ゴールド・オーソリティ）が存在する。
• モデル: 以下の4つのLLMを評価した：Gemma-4-31B、LLaMA-3.3-70B、GPT-4o-mini、Qwen3.6 Flash。
• 実験条件:
  • C1 (ベースライン): 回答のみを求めるプロンプト（推論は不要）。
  • C2 (コア): 標準的な推論プロンプト。モデルにステップ・バイ・ステップの推論を求めるが、明示的に条文の引用は求めない。これは「自発的な」根拠提示の有無をテストするためのものである。
  • C3 (リトリーバル・プローブ): モデルに対し、最大3つの支配的な条文を特定するよう明示的に求め、回答とは独立した検索能力を測定する。
  • C4 (エピステミック・プローブ): 特定の条文の内容を暗唱するよう求め、不確実性の受容度をテストする。
  • C2-1 (介入): 不確実な場合に正確な条文番号を挙げなくてもよいとする許容的なプロンプトを用い、引用行動が回答の選択から分離可能かどうかをテストする。
• 指標: 回答は結合状態 $(A, G)$ に分類される：
  • $A^+G^+$: 正解かつ、正しい根拠。
  • $A^+G^-$: 正解だが、根拠が誤っているか欠落している。
  • $A^-G^+$: 不正解だが、正しい根拠。
  • $A^-G^-$: 不正解かつ、根拠が誤っているか欠落している。
  • 根拠のマッチングは、コード名、条文番号、および項・号の接尾辞を解析するルールベースで行われる。

主な知見
本研究は、テストされたすべてのモデルにおいて、回答の正誤と根拠の接地との間に、誘発されていない系統的な「二重の解離」を特定した。

1. 正解だが根拠が欠落している場合 ($A^+G^-$): 正解を含む回答の相当部分において、ゴールド・オーソリティの引用に失敗している。
   • 民法においては、32.7%から63.1%の範囲であった。
   • 刑法においては、24.0%から42.4%の範囲であった。
   • 決定的なことに、これらのモデルは、構文的には正しいものの、特定の問いに対しては法的に無関係な「非ゴールド」の条文をしばしば引用していた。
2. 不正解だが根拠が存在する場合 ($A^-G^+$): モデルは、誤った選択肢を選んでいる場合でも、しばしば正しい支配的条文を引用していた。
   • 刑法においては、有効な回答の15.2%から21.7%でこの現象が発生した。
3. 行動の独立性:
   • 検索 vs 接地: 独立した条文検索（C3）はモデルや領域によって大きく異なったが（例：Qwenは民法において高い検索率を示した）、回答と根拠の不一致は、より優れた検索能力を持つモデルにおいても依然として顕著であった。
   • 引用 vs 回答: C2-1の介入により、引用行動は回答の選択から分離可能であることが示された。正確な条文名を挙げることを控えることが許可されると、Gemma、LLaMA、GPT-4o-miniの引用率は劇的に低下した（約70–90%から約5%へ）。一方、Qwenの引用率は96.4%から57.3%へと低下した。いずれの場合も、回答の正確性はほとんど変化しなかった。
4. 機能よりも形式: モデルは、結論を支持しない構文的に正しい引用を含む「流暢な」法的推論を頻繁に生成した。引用の存在は、その根拠が当該のケースを支配していることを保証するものではない。

意義と貢献
本論文は、主に以下の3つの貢献を行う。

1. 妥当性の問題の特定: 回答のみのスコアリングが、自然に発生するゴールド・オーソリティの欠落を完全な成功として扱ってしまうことを定式化した。これは、敵対的なストレス・テストの失敗ではなく、通常のベンチマーク体制における系統的な問題である。
2. 共同スコアリング・プロトコル: 既存の条文に基づいたベンチマークに対する、最小限かつ低コストな拡張を提案する。単一の正確度指標ではなく、以下を報告すべきである：
   • 回答の正確度。
   • Authority Hit@k（接地率）。
   • 結合分布 ($A^+G^+, A^+G^-, A^-G^+, A^-G^-$)。
3. 方法論的転換: 「流暢な法的形式」（正しい推論テキストと引用）は、主張された根拠が結論を支持している証拠としては扱えない。法定の根拠は外部から検証可能であるため、ベンチマークは回答そのものだけでなく、回答と引用された法の間のリンクを監査しなければならない。

限界と範囲
著者は、自身の主張は行動的なものであり、メカニズム的なものではないと述べている。本研究は出力の不一致を測定するものであり、内部の推論プロセスを測定するものではない。知見は、成文化され、引用が規範となっているタスク（台湾司法試験など）に最も直接的に適用される。特定の条文引用がこれほど厳格ではない、オープンエンドな法的タスクやコモン・ロー（英米法）の設定では、不一致の程度が異なる可能性がある。また、本研究には、中国本土の民法における同様の自発的な根拠提示に関する予備的な観察が含まれており、これが将来的なクロス・ジュリスディクショナル（法域横断的）な監査を動機付けているが、そのデータセットに対する完全な共同分析はまだ提供していない。