技术摘要：大语言模型法官与泰国律师资格考试委员会考官对自由形式法律论文的两阶段稳定性研究

问题陈述

当前针对自由形式法律论文的自然语言处理（NLP）评估依赖于两个未经检验的假设：（1）认为持证人类专家之间的评分者间一致性定义了所有题目上单一的、扁平的“稳定性上限”；（2）认为大语言模型（LLM）法官的成功程度，取决于其与人类专家小组的一致性接近该上限的程度。本研究通过调查专家稳定性在不同题目间是否均匀分布，以及大语言模型法官群体是复现了合法人类解释的完整光谱，还是仅仅收敛于单一的主流解读，从而挑战上述假设。本研究聚焦于泰国律师资格考试，这是一项高风险的自由形式论文评估，其评分既涉及确定性正确性（与标准答案匹配），也涉及解释性质量（推理深度），而后者往往缺乏明确的监管指导。

方法论

本研究采用两阶段、输入相同的协议，在控制输入变异的同时，隔离考生与法官的角色。

第一阶段：大语言模型作为考生

• 参与者：42 名泰国法学生和 8 个大语言模型（包括 Claude 4.6 Opus、Gemini 3.1 Pro、GPT-5.4 Pro 等）。
• 任务：参与者在盲测条件下回答三道民法与商法论文题。
• 评分：三位经律师协会培训的考官（A、B、C）使用已发布的 8 级评分标准对答案进行评分。考官不知道哪些参与者是大语言模型。
• 结果：确立了基线能力分布，大语言模型位于人类学生的能力分布范围内，确保评分任务并非 trivial（琐碎/简单）。

第二阶段：大语言模型作为法官

• 语料库：选取了 15 个交叉评分单元格（5 份答案 $\times$ 3 位考官）的子集进行深入分析。
• 输入：所有评分者（3 名人类和 26 个大语言模型）接收完全相同的四元组输入：问题、官方评分规定、标准答案以及考生的论文。
• 大语言模型小组：
  • 锚定子小组：三个闭源前沿模型（Claude 4.6 Opus、Gemini 3.1 Pro、GPT-5.4 Pro）接受了严格的仪器化测试，包括确定性探测（$T=0$ 下的 3 个种子）、输入消融（隐去规定、隐去标准答案）以及自举置信区间。
  • 扩展小组：增加了 23 个额外模型，涵盖闭源前沿（大/小）、旗舰开源权重和小型开源权重层级，以测试群体层面的结构性主张。
• 指标：稳定性使用 Krippendorff's $\alpha$、成对 Pearson 相关系数和 Cohen's 加权 $\kappa$ 进行测量。

主要贡献

1. 群体层面的非对称收敛：研究识别出大语言模型法官行为中的结构性非对称性。在评分标准对“正确最终答案但缺失法规引用”的解释保持沉默（即“监管沉默”边界）的题目上，人类小组分裂为两种连贯的解读（多数派 B/C 解读和少数派 A 解读）。大语言模型群体并未对称分裂；26 个大语言模型中有 22 个收敛于多数派（B/C）解读，3 个处于中间空白地带，仅有 1 个（GPT-5.4 Nano）接近少数派（A）解读，但未能持续处于该区间内。没有任何大语言模型复现了少数派解读。
2. 考生能力与法官稳定性的解耦：利用双重角色设计（相同的 8 个大语言模型既作为考生又作为法官），论文证明模型作为考生的表现并不能预测其作为法官的一致性。较弱的考生往往成为更强的 B/C 对齐法官，而得分最高的考生并不一定与少数派解读对齐。扩展能力并未推动大语言模型群体向少数派解读靠拢。
3. 仪器化锚定小组：建立了一个包含三个大语言模型的锚定子小组，具备完整的仪器化测试（确定性、消融、自举置信区间），在争议题目上实现了 0.77 的小组 $\alpha$ 值，显著高于人类小组的 0.36。

主要结果

稳定性指标

• 非争议题目：在 15 个单元格中的 10 个（第 1 题和第 3 题）上，评分标准规定了两个维度，人类小组和大语言模型小组的稳定性相当（$\alpha \approx 0.75$）。
• 争议题目：在第 2 题的 5 个单元格（监管沉默边界）上，由于考官 A（更严格，得分 1–2）与考官 B/C（更宽松，得分 6–8）之间的分裂，人类小组的稳定性崩溃至 $\alpha = -0.34$。
• 大语言模型在争议题目上的行为：大语言模型小组保持了高稳定性（$\alpha = 0.68$），但完全收敛于 B/C 解读。
  • 22/26 个大语言模型：得分在 B/C 区间（$m_c \in [5, 8]$）。
  • 3/26 个大语言模型：得分在中间空白地带（$3 < m_c < 5$）。
  • 1/26 个大语言模型（GPT-5.4 Nano）：接近 A 区间（$m_c = 2.33$），但未能持续在该区间内得分。
  • 结果：没有任何大语言模型复现了少数派人类解读。

失败模式诊断

研究识别出大语言模型中偏离主要集群的三种 distinct（独特）失败模式：

1. 规模量化（Claude Haiku 4.5）：将评分尺度坍缩为通过/不通过的二元桶（3.5 或 7.5），无法表达中间范围的分数。
2. 仅最终答案评分（GPT-5.4 Mini）：忽略解释性维度，仅根据最终结论的正确性分配高分，无论推理质量如何。
3. 推理严格评分（GPT-5.4 Nano）：在解释性维度上严格惩罚缺失的引用，与少数派 A 解读对齐，但在整个数据集中缺乏一致性。

鲁棒性检查

• 确定性：在 $T=0$ 时，锚定大语言模型显示出高组内法官稳定性（Claude $\alpha=0.998$），证实了模型间多样性（0.77）是群体的特征，而非噪声的产物。
• 输入消融：移除规定或标准答案会降低大语言模型小组的稳定性，但不会逆转差距的方向（大语言模型 $\alpha$ 仍高于人类 $\alpha$）。
• 双重角色分析：考生分数与法官集群对齐之间的相关性是探索性的且呈负相关（$r = -0.34$），表明较弱的考生（可能更依赖确定性维度）作为法官时与 B/C 多数派的对齐程度更强。

意义与主张

论文主张，法律 NLP 中的“稳定性上限”并非一条直线，而是一条位于监管沉默边界的断层线，即评分标准将解释性质量留给专家判断的区域。

• 一致性的非对称性：高的大语言模型小组一致性（$\alpha$）并不意味着对人类变异的平衡复现。相反，它反映了对主流人类解读的系统性收敛。通过最大化与人类参考小组（通常被多数派所偏斜）的一致性来选择大语言模型法官的基准，将在构建上继承这种非对称性，并过滤掉能够进行少数派解读的法官。
• 解释性瓶颈：本研究将“评分标准的解释性瓶颈”定义为监管对如何给“推理不完整但答案正确”的论文评分保持沉默的特定区域。在这个区域，人类小组自然地分裂为连贯且合法的解读，而大语言模型群体则收敛于其中一方。
• 扩展能力的局限性：研究结果表明，单纯扩展模型能力并不能解决这种非对称性；更大的模型并不会自发地采用少数派解读。这种收敛是该特定评分标准上大语言模型集合的结构性属性，与模型规模、供应商或价格层级无关。

论文得出结论，当前的评估协议掩盖了合法人类解读的完整空间。它呼吁建立能够按解释性案例报告小组稳定性，并针对多种合法人类解读（而非单一平均目标）评估大语言模型法官的基准。