Self-Healing JSON Generation in Small Language Models: A Systematic Evaluation of Syntax Repair, Schema Coercion, and Validator Feedback
本文提出了一种针对小语言模型的自愈框架，该框架结合了语法修复、模式引导转换以及验证器反馈，在不修改模型权重的情况下，将 JSON 有效性从 16.7% 显著提升至 78.1%，同时揭示了此类语法修正并不能保证语义准确性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下这样一个世界：计算机可以阅读凌乱的手写笔记、随意的电子邮件或口述的故事，并能瞬间提取出关键事实，填入整洁、有序的表格中。这就是将自由流动的语言转化为结构化数据的承诺，这项任务驱动着从数字日历到库存管理系统的方方面面。为了实现这一目标，计算机通常使用小型且高效的人工智能版本，这些模型可以在普通设备上运行，而无需依赖庞大的服务器。这些小型模型既廉价又注重隐私，但它们有一个缺陷：当被要求以一种被称为 JSON 的严格格式编写答案时，它们经常出错。它们可能会漏掉一个逗号、在答案外包裹多余的符号，或者虚构一个并不存在的电话号码。如果计算机程序试图读取这个破碎的答案，就会导致崩溃。多年来，解决方案是强迫计算机在写作时遵循非常僵化的思维方式，但这很难设置，有时还会降低计算机的智能。一项新的研究提出了一个更简单的问题：如果我们让计算机自由地书写答案，然后在事后轻轻地修复这些错误，会怎样呢？
研究人员着手测试一个类似于数字答案“维修队”的三步流程。他们采用了三种不同的轻量级人工智能模型，并要求它们将 120 种不同的文本描述转化为结构化记录，例如联系详情或活动日程。维修队的第一个步骤是语法修复器。这个工具观察原始文本，并移除常见的格式错误，比如多余的引号或缺失的中括号，而无需要求计算机重新思考。第二步是模式指南（schema guide）。这个工具根据表单的规则检查内容。如果计算机将日期写成“October 8, 2025”，但表单要求的是“2025-10-08”，该指南就会进行转换。如果计算机写了“yes”而不是“true”，指南也会将其更改。至关重要的一点是，这一步绝不会发明新信息，它仅仅是重塑已有的内容。第三步是反馈循环。如果答案仍不符合规则，系统会将具体的错误展示给计算机，并要求它再次尝试。
结果表明，前两个步骤完成了大部分繁重的工作。在进行任何修复之前，这些模型生成的可用答案仅占约六分之一。在语法修复器和模式指南完成工作后，可用答案的数量跃升至接近三分之二，而这一切都无需要求计算机生成任何新的响应。对于研究中最强大的那个模型，这种简单的清理工作使其几乎所有的答案都趋于完美。研究人员发现，计算机最大的问题往往只是习惯于在其答案周围包裹代码符号（如三反引号围栏），这会让严格的解析器感到困惑，但很容易被修复工具移除。对于最小、能力最弱的模型，问题则更为深层。它经常误解请求的结构，或者直接复制了表单本身的规则而非数据。在这种情况下，仅仅在展示错误后要求计算机重试是有帮助的，但前提是修复工具已经先清理好了基础格式。
然而，这项研究揭示了一个令人惊讶且重要的真相：仅仅格式正确并不意味着内容真实。即使在维修队修复了语法和结构之后，近一半的有效答案仍然包含错误信息。模型有时会留下空白字段、虚构一个看起来像那么回事的电话号码，或者在没有核实的情况下从选项列表中随意挑选第一个选项。即使在计算机被告知重试时，这种情况依然发生。研究人员观察到，计算机完全可以完美地满足表单规则，但在完成“讲述真相”的任务上却失败了。例如，一个模型可能会正确地格式化一张联系卡，但由于不知道真实的号码，便用“123-456-7890”这样的占位符填充了电话号码。
这项研究表明，仅仅依靠答案是否符合某种格式是不够的。为了真正信任这些小型模型，系统需要检查答案中的信息是否与原始文本相匹配。研究人员得出结论，最好的方法是先使用简单的自动化工具来修复格式和结构，因为这样做可以免费解决大部分问题。只有在那之后，系统才应该要求计算机重试，并且即便如此，也必须验证新答案包含的是真实的事实，而不仅仅是一个看起来完美的空壳。这项工作表明，虽然通过一些后处理可以使小型模型变得更加可靠，但提取准确信息的任务仍然是一个挑战，它需要对内容进行校验，而不仅仅是对其形状进行检查。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。