🤖 AI

Mitigating Legibility Tax with Decoupled Prover-Verifier Games

本文提出了一种解耦的证明者-验证者博弈框架，通过训练一个翻译模型将求解器正确但不可检查的输出转换为可验证格式，从而在保持准确性的同时增强可检查性，以此减轻“可读性税”。

原作者： Yegon Kim, Juho Lee

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Yegon Kim, Juho Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：“可理解性税”（Legibility Tax）

想象你有一个才华横溢、超级聪明的学生（大语言模型），他能解决非常难的数学问题。然而，这个学生有个坏习惯：当他在解释自己的解题过程时，写得乱七八糟、晦涩难懂或者过于复杂。

为了确保这个学生没有作弊，你聘请了一位老师（“验证者/Verifier”）来监督他。这位老师的智力水平比学生低得多。老师的任务是阅读学生的解释，然后说：“是的，这是正确的”或者“不，这是错误的”。

问题在于： 在以往试图训练这些学生为老师写出清晰解释的过程中，出现了一些问题。为了让解释更容易被老师理解，学生在实际的数学答案上开始出现了错误。他们牺牲了获得正确答案的能力，仅仅是为了让解释看起来很漂亮。

作者将这种现象称为**“可理解性税”（Legibility Tax）**。这就像一个学生在考试中拿了满分，但由于他的字迹无法辨认，导致老师给了他零分。或者更糟的是，学生为了让解释变得简单易懂，甚至把答案改成了虽然简单但却是错误的答案。

旧方法：“全能型”学生

在旧的方法（被称为标准的“证明者-验证者博弈/Prover-Verifier Game”）中，你要求学生同时做两件事：

正确地解决数学问题。
写出足够清晰的解释，以便老师进行检查。

论文指出，要求学生同时完成这两件事太难了。学生会感到困惑，并为了通过“清晰度”测试而开始在“数学”部分出错。

新方案：“翻译官”团队

作者提出了一个新的三角色团队结构来解决这个问题。他们不再让一个学生尝试做所有事情，而是将工作进行了拆分：

求解器（天才/The Solver）： 这个模型经过训练，只负责得到正确答案。它不在乎解释是否混乱，它只负责完美地解决数学问题。
翻译官（编辑/The Translator）： 这个模型唯一的任务是接过“天才”那混乱的解题过程，并将其重写为一种干净、易读的格式。它必须承诺：“我不会改变答案，我只是让它看起来更美观。”
验证者（老师/The Verifier）： 这个模型检查“翻译官”的工作。它会询问：“这个解释是否清晰？它是否与‘天才’给出的答案一致？”

如何训练：“黑白脸”游戏

为了确保“翻译官”能够诚实守信，而不是试图欺骗老师，作者设置了一个包含两种类型“翻译官”的游戏：

忠实的翻译官（The Faithful Translator）： 这个翻译官试图清晰地重写“天才”的答案，并保持原有的答案完全不变。
狡猾的翻译官（The Sneaky Translator）： 这是一个“骗子”。它被给予老师提供的正确答案，但被要求写出一个具有说服力的解释，从而引导向一个错误的答案。它试图误导“验证者”，让其认为错误答案是正确的。

游戏规则：

验证者试图识别出“忠实的翻译官”（诚实的人）和“狡猾的翻译官”（撒谎的人）之间的区别。
忠实的翻译官试图让验证者同意其解释既清晰又正确。
狡猾的翻译官试图欺骗验证者。

随着时间的推移，验证者变得非常擅长识破谎言。忠实的翻译官意识到，赢得游戏的唯一方法是做到既清晰又严格遵循原始答案。狡猾的翻译官则发现，它再也无法欺骗验证者了。

结果：不再有“税”

论文表明，通过将“得到正确答案”的部分与“使其可读”的部分分离，他们解决了这个问题。

准确率： 该系统保持了“天才求解器”的高准确率（在他们的数学测试中约为 57%）。
可理解性： 翻译官学会了在不改变数学逻辑的前提下，使答案变得易于检查。
无税： 与旧方法不同（在旧方法中，由于模型试图表现得过于清晰，准确率下降到了 22%），这种新方法在保持高准确率的同时，还实现了输出的可检查性。

一个简单的类比：建筑师与蓝图

可以把这想象成盖房子：

旧的方法： 你要求建筑师在设计房子的同时，还要画出完美的蓝图。因为他们太专注于把线条画得漂亮了，结果不小心把厨房的位置放错了。
新的方法： 你聘请了一位大师级建造者，他负责完美地设计房子（忽略图纸是否好看）。然后，你聘请了一位绘图员，他的唯一工作就是把建造者的粗略笔记转化为一份精美、易读的蓝图。此外，你还聘请了一位检查员，负责检查蓝图是否与建造者的笔记相符。

如果绘图员试图为了让图纸看起来更简单而改变厨房的位置，检查员会立刻抓住他。最终的结果是：房子盖得正确（准确），且蓝图易于阅读（可理解）。

总结

这篇论文介绍了一种防止 AI 模型为了让答案更容易阅读而变得“变笨”的方法。通过将工作拆分为“求解器”（负责答对）和“翻译官”（负责易读），并利用一个“狡猾”的骗子进行对抗训练，他们创造了一个既聪明又易于检查的系统，且没有损失准确率。

技术摘要：通过解耦型证明者-验证者博弈缓解可理解性税

问题陈述

随着大语言模型（LLMs）在复杂推理能力方面的不断进步，一个关键挑战随之而来：如何确保其输出能够被能力较低的系统（如人类或较小的模型）可靠地验证。虽然“证明者-验证者博弈”（Prover-Verifier Games, PVG）提供了一个极具前景的框架，用于训练模型生成无需人类监督即可被检查的输出，但该方法存在一个显著缺陷，即被称为可理解性税（legibility tax）的问题。

前人的研究（Kirchner 等人，2024）表明，训练单个模型同时最大化正确性和可检查性，会导致其准确率较仅针对正确性进行训练的基准模型出现大幅下降（例如，在小学数学基准测试中从 80% 降至 60%）。这种现象之所以发生，是因为优化目标迫使模型为了满足对验证者而言具有“说服力”的约束，而不得不牺牲其推理能力。

方法论

作者提出了一种解耦型证明者-验证者博弈（Decoupled Prover-Verifier Game, DPVG），将正确性和可检查性的目标进行分离。该框架并非训练单个既要正确又要可检查的证明者，而是引入了三个不同的组件：

求解器（Solver, $s$ ）： 一个专门针对正确性进行优化的固定模型。它生成解决方案（推理过程和答案），而不考虑可检查性。
转换器（Translator, $\tau$ ）： 一个负责将求解器的解转换为可检查形式的模型。至关重要的一点是，转换器必须是忠实的（faithful），即其最终答案必须与求解器的答案一致。
验证者（Verifier, $v$ ）： 一个旨在区分包含正确答案的证明与包含错误答案的证明的模型。

解耦博弈结构

该博弈涉及一个忠实转换器（Faithful Translator）和一个狡猾转换器（Sneaky Translator, $\tau'$ ）与验证者进行对抗：

忠实转换器： 试图为求解器的答案构建一个具有说服力的证明。
狡猾转换器： 试图为一个错误的答案构建一个具有说服力的证明。为了实现这一点，狡猾转换器被提供了地面真值答案 $y$ ，以确保它知道什么不是它应该输出的内容，而不是被迫通过隐式求解问题来寻找另一种错误答案。
验证者： 优化分类目标，以辨别忠实转换器和狡猾转换器的输出。

优化与均衡

作者将此建模为一个由验证者主导的斯塔克伯格博弈（Stackelberg game）。他们证明（定理 1），该博弈的均衡点恰好对应于一个既忠实又可检查的转换器。

忠实性（Faithfulness）： 转换器的答案与求解器的答案一致。
可检查性（Checkability）： 系统满足完备性（验证者接受正确的证明）和可靠性（验证者拒绝错误的证明）。

训练过程涉及交替进行验证者训练（使用交叉熵损失）和转换器训练（使用 RLOO 强化学习）。转换器的奖励函数旨在鼓励角色对齐（忠实转换器追求忠实，狡猾转换器追求欺骗）以及通过高验证器评分来体现说服力。

核心贡献

解耦框架： 本文引入了一种新型架构，将推理的正确性（由求解器处理）与输出的可检查性（由转换器处理）进行了解耦。
理论保证： 作者为他们提出的博弈提供了形式化证明，证明其均衡点对应于忠实且可检查的转换器，从而确保可检查性目标不会损害底层的正确性。
缓解可理解性税： 该框架证明，可以训练模型生成可检查的输出，而不会出现传统 PVG 设置中观察到的准确率下降现象。

实验结果

作者在 GSM8K-Aug 数据集上进行了评估，使用 Llama-2-7b-chat 作为求解器/转换器，并使用 Qwen2-1.5B 作为验证者。

准确率保持： DPVG 模型在测试集上的准确率为 56.9%，几乎与训练好的求解器基准（57.0%）持平。相比之下，标准的 PVG 方法（复现自 Kirchner 等人，2024）显著下降至 22.3%，证实了基准模型中确实存在可理解性税。
忠实性： 忠实转换器在训练期间收敛至 1.0（100%）的忠实度得分，并在独立的测试集上达到了 99.8%，表明转换器成功保留了求解器的答案。
训练动态： 验证器得分随轮次增加，表明验证器变得更加鲁棒。相反，忠实转换器的输出随训练轮次的推进变得更加结构化和简洁，表明其可理解性有所提升。

重要性与主张

本文声称，通过将正确答案的生成与可检查证明的生成进行解耦，可以实现稳定的训练动态，即在提高可理解性的同时不损害系统的准确性。作者将此定位为解决“可理解性税”的一种方案，使得高度复杂的推理模型能够被能力较低的系统进行验证。

作者对其主张保持审慎，指出：

他们并未进行大规模的人类评估研究来精确测量可理解性的提升，而是依赖于定性样本和验证器评分。
先前工作中的“可理解性税”也可能归因于证明者缺乏思维链（chain-of-thought）推理，这是他们认为值得未来调查的一个因素。
未来的工作包括探索替代的奖励公式以及在生成证明之前加入思维链推理。

其核心贡献在于展示了基于转换器的方法可以在保持求解器高准确率的同时，满足可信 AI 监管所需的严格可检查性条件。