技術的概要：タイ法曹試験の自由記述式論文における LLM 審査員と法曹評議会審査員の 2 段階安定性研究

問題提起

現在の自由記述式法務論文に対する自然言語処理（NLP）評価は、2 つの未検証の仮定に依存している：(1) 資格を有する人間の専門家間の評価者間合意が、すべての項目にわたって単一の平坦な「安定性の天井」を定義する、という仮定、および (2) LLM 審査員の成功は、その人間のパネルとの合意がその天井にどの程度近づくかによって測定される、という仮定である。本研究は、専門家の安定性が項目間で均一であるかどうか、また LLM 審査員集団が正当な人間の解釈の全スペクトルを再現するのか、それとも単一の多数派解釈に収束するだけなのかを検証することにより、これらの仮定に挑戦する。本研究は、採点に決定論的妥当性（正解との一致）と解釈的質（推論の深さ）の両方が関与し、後者はしばしば明示的な規制の指針を欠く、ハイ・ステークスの自由記述式評価であるタイ法曹試験に焦点を当てている。

方法論

この研究は、入力変動を制御しつつ、受験者と審査員の役割を分離するために、同一入力を用いた 2 段階プロトコルを採用している。

フェーズ 1：LLM を受験者として

• 参加者：タイの法学生 42 名と LLM 8 機（Claude 4.6 Opus、Gemini 3.1 Pro、GPT-5.4 Pro などを含む）。
• 課題：参加者は、ブラインド条件下で民法・商法に関する 3 つの論文問題に回答した。
• 採点：法曹評議会訓練を受けた 3 名の審査員（A、B、C）が、公開された 8 段階のルーブリックを用いて答案を採点した。審査員はどの参加者が LLM であるかを知っていなかった。
• 結果：LLM が人間の学生分布の内部に位置する基礎的能力分布を確立し、採点課題が自明ではないことを保証した。

フェーズ 2：LLM を審査員として

• コーパス：深い分析のために、15 のクロス採点セル（5 つの答案 × 3 名の審査員）のサブセットが選択された。
• 入力：すべての評価者（3 名の人間と 26 機の LLM）は、質問、公式採点規定、正解、および受験者の論文という、完全に同一の 4 要素タプルを受け取った。
• LLM パネル：
  • アンカーサブパネル：3 つのクローズド・フロンティアモデル（Claude 4.6 Opus、Gemini 3.1 Pro、GPT-5.4 Pro）は、決定性プローブ（$T=0$ で 3 つのシード）、入力アブレーション（規定非提示、正解非提示）、およびブートストラップ信頼区間を含む厳密な計器化を受けた。
  • 拡張パネル：集団レベルの構造的な主張を検証するために、クローズド・フロンティア（大規模/小規模）、フラッグシップ・オープンウェイト、および小規模オープンウェイトの階層にまたがる 23 機の追加モデルが追加された。
• 指標：安定性はクリッペンドルフの$\alpha$、ペアワイズピアソン相関係数、およびコーホンの重み付き$\kappa$を用いて測定された。

主要な貢献

1. 集団レベルの非対称収束：本研究は、LLM 審査員の行動における構造的な非対称性を特定した。ルーブリックが、法定条項の引用を欠いた正解の最終回答の解釈について沈黙している項目（「規定沈黙」境界）において、人間のパネルは 2 つの整合的な解釈（多数派の B/C 解釈と少数派の A 解釈）に分裂する。LLM 集団は対称的に分裂しない。26 機の LLM のうち 22 機が多数派（B/C）解釈に収束し、3 機が中間のギャップに位置し、1 機（GPT-5.4 Nano）のみが少数派（A）解釈に近づきながら、その中で一貫してスコアリングすることはできなかった。どの LLM も少数派の解釈を再現しなかった。
2. 受験者の能力と審査員の安定性の分離：同じ 8 機の LLM を受験者および審査員として使用する二重役割設計を用いて、論文は、受験者としてのモデルの性能が、審査員としてのその整合性を予測しないことを実証した。より弱い受験者往往是、より強い B/C 整合性の審査員となり、上位スコアの受験者は必ずしも少数派の解釈に整合するわけではない。能力のスケーリングは、LLM 集団を少数派の解釈へと押しやらない。
3. 計器化されたアンカーパネル：決定性、アブレーション、ブートストラップ CI を備えた完全な計器化を有する 3 機の LLM アンカーサブパネルの確立により、争点のある項目においてパネル$\alpha$が 0.77 となり、人間のパネルの 0.36 よりも有意に高かった。

主要な結果

安定性指標

• 非争点項目：ルーブリックが両軸を規定している 15 セルのうち 10 セル（問題 1 および 3）において、人間と LLM のパネルは安定性が同等であった（$\alpha \approx 0.75$）。
• 争点項目：規定沈黙境界である問題 2 の 5 セルにおいて、審査員 A（厳格、スコア 1–2）と審査員 B/C（寛容、スコア 6–8）の分裂により、人間のパネルは$\alpha = -0.34$まで低下した。
• 争点項目における LLM の行動：LLM パネルは高い安定性（$\alpha = 0.68$）を維持したが、B/C 解釈に排他的に収束した。
  • 22/26 LLM：B/C バンドでスコアリング（$m_c \in [5, 8]$）。
  • 3/26 LLM：中間ギャップでスコアリング（$3 < m_c < 5$）。
  • 1/26 LLM（GPT-5.4 Nano）：A バンドに近づいた（$m_c = 2.33$）が、その中で一貫してスコアリングすることはできなかった。
  • 結果：どの LLM も少数派の人間の解釈を再現しなかった。

失敗モードの診断

本研究は、多数派クラスターから逸脱する LLM における 3 つの明確な失敗モードを特定した：

1. スケーリング量子化（Claude Haiku 4.5）：スコアリングスケールを合格/不合格のバイナリ・バケット（3.5 または 7.5）に崩壊させ、中間範囲のスコアを表現できなかった。
2. 最終回答のみの採点（GPT-5.4 Mini）：解釈軸を無視し、推論の質に関係なく、最終結論の正しさのみに基づいて高スコアを割り当てた。
3. 推論厳格採点（GPT-5.4 Nano）：解釈軸において欠落した条項引用を厳格に罰し、少数派の A 解釈に整合したが、全データセットで一貫性が欠けていた。

頑健性チェック

• 決定性：$T=0$において、アンカー LLM は高い審査員内安定性（Claude $\alpha=0.998$）を示し、モデル間多様性（0.77）がノイズのアーティファクトではなく、集団の特性であることを確認した。
• 入力アブレーション：規定または正解を除去すると LLM パネルの安定性は低下するが、ギャップの方向は逆転しない（LLM の$\alpha$は依然として人間の$\alpha$より高い）。
• 二重役割分析：受験者スコアと審査員クラスター整合性の間の相関は探索的であり負（$r = -0.34$）であり、より弱い受験者（決定論的軸に依存する可能性が高い）が、審査員として B/C 多数派とより強く整合することを示唆している。

意義と主張

本論文は、法務 NLP における「安定性の天井」が平坦な線ではなく、規定沈黙境界に位置する断層であると主張している。これは、ルーブリックが解釈的質を専門家の判断に委ねる場所である。

• 合意の非対称性：高い LLM パネル合意（$\alpha$）は、人間の変動のバランスの取れた再現を意味しない。むしろ、それは人間の多数派解釈への体系的な収束を反映している。通常、多数派によって歪められる人間参照パネルとの合意を最大化することによって LLM 審査員を選択するベンチマークは、構造的にこの非対称性を継承し、少数派の解釈を可能にする審査員を除外することになる。
• 解釈的ボトルネック：本研究は、「ルーブリックの解釈的ボトルネック」を、不完全な推論を持つ正解をどのように採点するかについて規定が沈黙している特定の領域として定義する。この領域において、人間のパネルは自然に整合的で正当な解釈に分裂するのに対し、LLM 集団は一方の側に収束する。
• スケーリングの限界：これらの知見は、単にモデル能力をスケーリングするだけではこの非対称性が解決されないことを示唆している。より大規模なモデルは自発的に少数派の解釈を採用しない。この収束は、モデルサイズ、ベンダー、または価格階層に依存しない、この特定のルーブリックに対する LLM アンサンブルの構造的性質である。

本論文は、現在の評価プロトコルが正当な人間の解釈の全空間を隠蔽していると結論づけている。それは、各解釈事例ごとのパネル安定性を報告し、単一の平均化されたターゲットではなく、複数の正当な人間の解釈に対して LLM 審査員を評価するベンチマークを呼びかけている。