💻 computer science

Self-Verification is All You Need To Pass The Japanese Bar Examination

本文介绍了一种在忠实复制日本司法考试真实格式与评分标准的数据集上训练的自我验证模型，证明了该模型在不改变原始考试结构的情况下，能够超过官方合格分数线，并优于复杂的多智能体或基于分解的策略。

原作者： Andrew Shin

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrew Shin

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机就像是读过几乎所有书籍的超级聪明学生的的世界。这些“大语言模型”（LLMs）擅长聊天、写故事和解决数学问题。但有一个棘手的部分：聪明并不等同于专业。这就像是一个人知道足球的所有规则，但从未参加过实际比赛；他可能懂得理论，但一旦比赛开始，他可能会被球绊倒。对于高风险的考试，例如日本律师考试，情况尤其如此。这不仅仅是关于了解法律，而是关于遵循一种非常特定且严格的格式，你必须同时判断多个陈述，并选出完全正确的组合。如果你哪怕错了一个微小的部分，整个答案就会失败。研究人员一直在问一个大问题：这些人工智能学生真的能通过这种真实的、未经修改的考试吗？还是说，它们需要通过改变考试来降低难度？

庆应义塾大学的一位研究人员决定查明真相，他们发现了一些令人惊讶的事实：人工智能并不需要简化测试。事实上，简化测试反而会让 AI 在面对真实情况时表现得更差。研究人员并没有像其他研究尝试的那样，将考试题目拆解成微小的、简单的“对或错”谜题，而是教会了他们的 AI 模型以真实考试中出现的原貌来应对问题。他们使用了一个巧妙的技巧，叫做“自我验证”（Self-Verification）。想象一下，你参加了一场考试，写下了你的答案，然后在交卷之前，你扮演一名严格的老师，仔细检查自己的作业。“等等，”模型问自己，“这个答案真的符合规则吗？”如果它发现了错误，它就会进行修正。

结果取得了巨大的成功。在针对 2024 年日本律师考试进行的测试中，他们的 AI 模型得分是 96 分（总分 175 分）。那一年人类学生的官方及格分数线是 93 分。这意味着 AI 在没有人修改题目或评分规则的情况下通过了考试。研究人员尝试了其他高级方法，比如让多个 AI “智能体”像律师团队辩论案件一样协同工作，但这些方法的效果实际上比单个模型进行自我检查的表现还要差。他们还发现，用简化的、拆解后的问题（如流行的 JBE-QA 数据集）来训练 AI 并不能带来帮助；那些模型在面对真实的、复杂的格式时表现得很吃力。

这项研究表明，秘诀不在于让 AI 变得更聪明或给它更多的数据，而在于教会它尊重考试的严格规则，并成为自己的批评者。通过在真实的格式上进行训练并加入自我验证这一额外步骤，该模型学会了在多个法律要点之间保持其推理的一致性。研究人员谨慎地指出，虽然 AI 通过了这一特定的多选题部分，但这并不意味着它已经准备好在法庭上担任真正的律师了；它仍然无法撰写长篇法律论证或处理考试中的简答部分。但对于这个特定的、高压力的测试，传达出的信息非常明确：有时，解决难题的最佳方式不是将其拆解，而是观察全局，检查你的工作，并恪守规则。

=== 摘要 ===

技术摘要：自我验证是通过日本司法考试的唯一关键

问题陈述

尽管大型语言模型（LLMs）取得了快速进展，但在处理高度专业化、结构化的考试方面仍面临重大挑战。日本司法考试（特别是多项选择题形式的“短答”部分）提出了独特的基准要求，其严苛程度体现在：

复杂推理： 题目要求对多个相互关联的命题进行联合评估（例如，同时确定三个不同法律陈述的真假值）。
严格格式： 答案必须遵循严格的约束（例如，特定的数字序列如“112”，或选择单一的组合选项）。任何一个组成部分的错误都会导致整个答案失效。
评估差距： 先前的研究方法（如日本司法考试问答数据集 JBE-QA）通常将复杂问题分解为独立的真/假判断。虽然这简化了训练，但从根本上改变了考试结构。因此，目前尚不清楚在分解数据上训练的模型是否能在实际考试真实的、整体性的评估标准下取得成功。

方法论

作者提出了一种基于符合格式的数据集进行训练的**自我验证（Self-Verification）**方法，避免了任务分解或复杂的多智能体架构。

1. 数据集构建

来源： 由日本法务省提供的 2019–2024 年（令和 1–6 年）实际考试题目。
结构： 与将问题拆分为独立二元任务的 JBE-QA 不同，本数据集保留了原始考试格式。每个实例都包含完整的题目、所有组成部分的陈述以及要求的答案格式（例如，代表每个陈述真值的连接数字）。
划分： 使用 2019–2023 年（令和 1–5 年）的数据进行训练，而 2024 年（令和 6 年）的考试作为留出测试集，以模拟真实的备考条件。
标注： 包括学科类别（宪法、民法、刑法）以及根据官方评分标准计算的分数，该标准包含了部分得分规则（例如，在分组问题中出现单个错误会导致失分）。

2. 自我验证微调策略

核心方法论涉及使用单个微调模型进行的两步推理过程：

初始生成： 模型经过微调，能够直接从完整问题生成符合考试风格的答案，而不进行问题分解。
一致性验证： 在推理阶段，模型进行第二次处理。模型被提示将其初始预测（ $f_\theta(q)$ $f_{θ} (q)$ ）针对原始问题上下文进行重新评估。
- 验证函数 $g_\theta(q, f_\theta(q))$ 评估问题与预测答案之间的一致性。
- 模型被指示仅在检测到明显不一致时才修改答案；否则，保留原始输出。
- 该过程使用相同的模型参数，但使用不同的提示词（一个用于生成，一个用于保守性修正）。

3. 基准测试与对比

研究评估了以下策略：

基础模型： Zero-shot（零样本）和 Few-shot（少样本）GPT-4.1。
分解训练： 在 JBE-QA 数据集（真/假分解）上进行微调的模型。
多智能体架构： 包含检索、验证、知识提取和最终推理的独立智能体流水线，并测试了使用共享参数和独立微调模型的表现。

关键结果

实验是在 2024 年（令和 6 年）日本司法考试上进行的，其官方及格分数线为 175 分中的 93 分。

自我验证的表现： 使用作者开发的符合格式数据集进行微调并辅以自我验证的模型，实现了 94.7（平均分）以及最高 96 分，超过了 93 分的及格线。
- 在没有自我验证的情况下，同一模型得分为 92.3，已接近及格线。
- 自我验证在所有模型变体（基础模型、JBE-QA 微调模型、作者微调模型）中均一致提升了性能，证明了它是一种与模型无关的技术。
分解法的失败： 在 JBE-QA 数据集（分解格式）上微调的模型在真实考试中的表现显著较差（得分：64.0–80.7），即使使用了自我验证也是如此。这表明，在简化的、独立的命题上进行训练，无法教会模型如何针对联合约束进行推理。
多智能体系统的失败： 多智能体流水线（无论是共享还是独立微调）的表现均逊于单模型方法，得分在 71.0 到 75.7 之间。作者将其归因于错误传播以及在受限极强的任务中难以维持分布式智能体间的全局一致性。
评分细微差别： 论文强调，仅看准确率是不够的。由于考试存在部分得分规则（例如，在一组问题中答对 4/5 个可能导致 0 分），模型必须实现高度的全局一致性。自我验证步骤对于纠正那些会导致整组问题得分为零的单项陈述错误至关重要。

意义与主张

论文声称展示了首次在不改变原始问题结构或评分规则的情况下，由 LLM 通过日本司法考试的案例。

符合格式的监督至关重要： 结果表明，在训练过程中保留考试原生的、多命题的结构，对于使模型将局部法律知识与全局决策一致性对齐至关重要。简化任务（通过分解）会产生分布偏移，从而阻碍在实际考试中的表现。
自我验证作为催化剂： 研究表明，强力微调模型中的许多错误并非源于缺乏法律知识，而是源于全局一致性的失效。自我验证作为一种轻量级的非训练机制，能够激发潜在知识并纠正连贯性失效。
简约胜过复杂： 与倾向于复杂多智能体系统的趋势相反，作者认为，在需要严格一致性的高风险专业推理任务中，设计精良的单模型配合自我验证的方法优于更复杂的架构。
对基准测试的警示： 论文提醒不要根据大幅简化任务结构的基准测试（如 JBE-QA）来得出关于法律能力的结论，因为这些测试无法捕捉到职业资格认证所需的整体推理能力。

局限性

作者明确指出，其工作仅限于考试的多项选择部分。该方法并未解决需要结构化论证和引用控制的简答题（论述题）部分。此外，该方法依赖于强大的预训练基础模型（GPT-4.1），并不声称可以取代正式的法律教育或专业判断。