AiDER: Auditing and Document Evaluation via Rule Compilation and Small Language Models - An Education Case Study

想象一下，你正试图教一个机器人如何批改学生的作业。在人工智能领域，实现这一目标主要有两种方式。第一种方法是让一个巨大的、超级聪明的“大脑”（被称为大语言模型）阅读作业，并根据它的直觉直接猜测分数。这种方法很快，但它是一个“黑盒”；如果它判错了，你根本不知道原因，也无法检查它的工作过程。第二种方法是使用一本严格的规则手册。你会写下精确的指令，比如“如果学生提到了‘重力’，就给5分。”这种方法透明且易于检查，但很难为所有情况都编写规则，尤其是当指令是用凌乱的人类语言编写时。

这篇论文正处于这两个世界的交汇点。它提出了这样一个问题：我们能否将智能 AI 的灵活性与严格规则手册的诚实性结合起来？研究人员正在从事“可审计 AI”（auditable AI）领域的工作，该领域致力于确保 AI 的决策是可以被解释和检查的，而不是仅仅被当作一种“魔法”来接受。他们特别对使用“小语言模型”（SLMs）感兴趣——这些是更小、更便宜、可以在单台计算机上运行而无需庞大云端服务器的 AI 大脑。核心问题在于：一个更小、更简单的 AI 是否足够聪明，能够将人类模糊的指令转化为计算机可以完美执行的严格规则手册？

作者介绍了一个名为 AiDER（通过规则编译和小语言模型进行审计与文档评估）的新系统。可以将 AiDER 想象成一个聪明的“翻译官”和一个严格的“裁判”在协同工作。AiDER 并不让 AI 直接猜测分数，而是强迫 AI 分别完成两项任务。首先，AI 扮演翻译官的角色：它将自然语言需求（例如“学生需要了解他们将如何被评分”）尝试编译成一段严格的、可执行的代码规则。其次，一个独立的、确定性的计算机程序充当裁判：它查看文档，寻找规则所要求的特定证据，并检查规则是否得到满足。AI 实际上并不决定分数，它只负责制定规则并寻找线索。

为了测试这一点，研究人员使用了四种不同的轻量级 AI 模型（参数规模在 20 亿到 40 亿之间）以及 200 份真实的教学文档，如教学大纲和评分标准。他们尝试了三种不同的让 AI 编写规则的方法：

1. 人工编写规则：“金标准”，即由人类编写严格的代码。
2. 直接编译：AI 尝试一次性写出代码。
3. 验证循环修复：如果 AI 写出了错误的规则，系统会告诉它“错误！”，并允许 AI 最多尝试五次来修复它。

结果既有“好消息”，也带有“谨慎的乐观”。研究发现，当 AI 成功编写出有效的规则时，即使是最小的模型在寻找正确证据以做出决策方面也表现得惊人地出色。然而，AI 往往难以在第一次尝试时就写出“完美的”规则。这正是“修复循环”大放异彩的地方。通过让 AI 修复自己的错误，该系统显著提高了规则正确运行的频率。

有趣的是，论文指出，一旦严格的规则（即“脚手架”）搭建完成，AI 就不需要太多额外的帮助来寻找证据。事实上，为小型模型添加过多的 AI 额外指令有时反而会适得其反。研究结论是，整个过程中最关键的部分是确保规则正确。如果规则清晰，即使是微小、简单的 AI 也能胜任寻找证据的重任。

最终，这篇论文表明，对于检查教育材料这类任务，我们不应该仅仅要求 AI 去“评判”一份文档。相反，我们应该利用 AI 将人类的需求转化为严格、可检查的规则，然后让计算机去验证事实。这种方法使整个过程变得透明：如果决策错误，你可以追溯到究竟是规则编写得不好，还是 AI 遗漏了某条证据，而不是将其归咎于一个神秘的“黑盒”判决。虽然这项研究受限于特定的课程和较小的文档集，但它为使教育领域的 AI 更加可靠、公平且易于理解提供了一个充满前景的蓝图。