技術的概要：ベンチからのプロンプティング：大規模事前学習は、LLM を「通常の意味」分析に備えるのに十分ではない

問題提起

本論文は、米国司法実務における増加する傾向、すなわち裁判官や法学者が法律文書の「通常の意味」を確定するために大規模言語モデル（LLM）を利用する動きに焦点を当てる。これは、ある用語が英語の一般話者によってどのように理解されるかを問う、標準的な解釈手法である。連邦裁判官ケビン・ニューサムを含む支持者らは、膨大な事前学習データが、辞書や小規模調査といった従来のツールよりも効果的に、日常言語使用の統計的パターンを LLM に統合させることができると主張している。

著者らは、大規模な事前学習と指示チューニングが、信頼性の高い「通常の意味」分析を可能にするモデルを生み出すのに十分であるという仮定に異議を唱える。彼らは、厳格な評価なしに、LLM を高リスクの法的解釈に依存することは時期尚早であると主張する。核心的な問題は二重である：

1. 頑健性：LLM の判断が、プロンプトの文言のわずかな変化（NLP における既知の脆弱性）に対して安定しているかどうか。
2. 相関性：LLM の判断が、「通常の意味」調査の標的である、一般の人間の読者の解釈的合意に実際に近似しているかどうか。

手法

著者らは、Llama-3、OLMo-2、Mistral、Gemma、GPT-2 のベースおよび指示チューニング版、ならびにクローズドソースの GPT-4 を含む 15 の LLM を用い、138 の法的解釈シナリオにわたる大規模な実証評価を実施した。

データとタスクの定式化：

• シナリオ：本研究は、現実世界の保険契約紛争に由来する 138 の項目（元々は Waldon ら、2023 年）を利用した。各項目は、仮定的なシナリオと特定の保険用語（例：「造園」、「内部水源」）を提示し、損失が補償されるか（「はい」）否か（「いいえ」）という二値判断を要求する。
• 人間ベースライン：本研究は、モデルの出力を、同じ 138 のシナリオを評価した 1,338 人の英語ネイティブ話者の判断と比較した。
• プロンプト変種：頑健性をテストするため、著者らは各項目に対して 9 つの体系的な質問変種を適用した。これらには以下が含まれる：
  • 標準的な Yes/No および No/Yes の順序。
  • 否定（例：「ジョンは補償されていないか？」）。
  • 同意/不同意の枠組み（例：「～に同意するか？」）。
  • 順序を入れ替えた多肢選択式オプション（A/B）。
• 測定：
  • 頑健性：各モデル - 項目ペアにおいて、9 つのプロンプト変種間でのカテゴリ的判断（補償対象 vs 補償対象外）の一貫性によって測定される。
  • 人間との相関：モデルの確率差（$\Delta = p(\text{補償対象}) - p(\text{補償対象外})$）と、人間の「補償対象」判断の割合との間の決定係数（$R^2$）を用いて測定される。著者らは、モデルのトークン確率を世論の合意の代理指標として扱った。

主要な貢献

1. 法的解釈の体系的評価：この研究は、定性事例研究や小規模な言い換えテスト（例：Choi, 2025; Waldon ら、2025 年）を超え、管理された大規模データセットを用いた、法的解釈に対する LLM の最も包括的な実験的評価を提供する。
2. プロンプト感応性の定量化：著者らは、LLM が質問変種間で「至る所に見られる一貫性の欠如」を示すことを実証する。彼らは、否定やオプションの順序といった些細な変化が、モデルの判断に劇的な変化を引き起こし、実質的に望ましい結果を得るための「プロンプト・ショッピング」を可能にすることを示す。
3. 人間との相関の分析：本研究は、「全知」仮説（学習データの規模が人間のような直感に相当するという仮説）を厳密にテストする。その結果、最良のパフォーマンスを示すモデルでさえ、人間の合意との相関は中程度に留まり、この相関は特定のモデルサイズやプロンプトの定式化に強く依存することが判明した。
4. 現在の司法実務への批判：本論文は、通常の意味を決定するために直接 LM に問い合わせる最近の司法判断に対する実証的な反論を提供し、現在のモデルがそのような使用に必要な頑健性と人間との整合性の条件を満たしていないことを示唆する。

主要な結果

• 不安定性とバイアス：
  • 止まった時計：いくつかのモデル（15 中 6 つ）は、内容に関わらず、92% 以上のシナリオで同じカテゴリ的判断を提供し、「止まった時計」のように振る舞った。
  • プロンプト感応性：2,070 のモデル - 項目組み合わせのうち 2,061 で、モデルは 9 つのプロンプト変種間で矛盾する判断を生み出した。完全に一致した組み合わせは 9 つのみであった。
  • 否定と複雑さ：否定を含む変種（例：「否定への不同意」）は、頻繁に少数派の判断を誘発し、最大分布シフト（ジェンセン・シャノン距離で測定）を引き起こした。
• 人間との判断との相関：
  • 中程度の相関：大規模な指示チューニングモデル（具体的には 70B 以上のパラメータ）のみが、人間の判断と有意な相関を示したが、それも特定のプロンプト変種に限られていた。
  • 最良のシナリオ：GPT-4 は、標準的な Yes/No 変種において人間の判断と最も高い相関（$R^2 = 0.60$）を達成した。しかし、これはオラクル分類器の精度で 83%（6 分の 1 の誤り率）に過ぎず、著者らは、リスクが高い法的解釈には不十分であると主張する。
  • 不一致：多くのモデルにおいて、相関は負またはゼロに近い値であった。一部のモデルは確率分布において強い相関を示したが、圧倒的にバイアスのかかったカテゴリ的出力（例：確率勾配がそれを示唆しているにもかかわらず、常に「補償対象外」と予測する）を生み出した。
• モデルサイズとチューニング：大規模なモデルは一般的により良いパフォーマンスを示したが、指示チューニングは予測不可能なバイアスを導入し、時には判断を完全にシフトさせた（例：Llama-8B のチューニングモデルは主に「補償対象外」と予測したのに対し、Llama-70B のチューニングモデルは「補償対象」と予測した）。

意義と主張

本論文は、大規模な事前学習は、LLM を「通常の意味」分析に備えるのに十分ではないと結論づける。著者らは、LLM が人々がどのように言葉を使用するかを確実に明らかにするという仮定は、実証的証拠によって支持されていないと主張する。

• 信頼性のギャップ：これらの知見は、モデルが一貫性や再現性を欠く「信頼性のギャップ」と、モデルの出力が通常の人間の意味を正確に測定しない「認識論的ギャップ」を浮き彫りにする。
• 司法上の注意：著者らは、通常の意味の問題を解決するために直接 LLM に問い合わせるニューサム裁判官や他の人々のアプローチに対して明確に警告する。彼らは、観察された脆弱性（プロンプトの文言への感応性）と人間の合意との弱い相関が、現在の LLM をこの特定の法的任務のための権威あるツールとして不適切にすると主張する。
• 今後の課題：本論文は、LLM が決して法的解釈に使用できないと主張するものではないが、もし使用されるのであれば、現在の能力を超えた厳格な検証が必要であると示唆する。彼らは、新しい「推論」モデルや検索メカニズムを備えたシステムはテストされておらず、いくつかの制限を緩和する可能性があるが、そのような主張にはさらなる実証的証明が必要であると指摘する。彼らが述べるように、現在の証拠は、「通常の意味の権威ある解釈者として LLM を使用する」という証明の負担を「劇的に満たしていない」。