💬 NLP

When Correct Isn't Usable: Improving Structured Output Reliability in Small Language Models

本文指出了一个关键可靠性缺口，即小型语言模型在标准提示下无法同时生成数学正确且格式合规的输出，并提出 AloLab——一种迭代式元代理系统，该系统通过优化系统提示，在无需模型微调或约束解码的情况下，实现高输出准确率与接近原生的延迟。

原作者： Cosimo Galeone, Minsu Park, Giuseppe Ettorre, Daniele Ligorio

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Cosimo Galeone, Minsu Park, Giuseppe Ettorre, Daniele Ligorio

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢但略显混乱的助手（一个“小型语言模型”），它极其擅长解决复杂的数学谜题。如果你问它"2 加 2 等于几？”，它会愉快地回答：“嗯，我把它们加起来，答案是 4。”

但在计算机的现实世界中，这还远远不够。等待答案的系统不想要一段句子；它需要一个具体、严格的格式，就像一个带有两个标注窗口的数字信封：一个用于“推理”，一个用于“答案”。如果助手将答案写成一个段落，或者用华丽的框将其包裹，或者完全忘记将其放入信封，计算机就会拒绝它。对计算机而言，格式错误的完美答案等同于错误的答案。

这篇题为《当正确却不可用时》的论文，调查了为什么这些聪明的助手会持续无法遵循这些简单的格式规则，以及作者是如何解决这一问题的。

问题所在：“完美答案，错误信封”的差距

研究人员在数学问题上测试了三个流行的较小 AI 模型。他们发现了一种奇怪的现象：

数学能力：模型在解决问题方面表现出色（数学正确率达到 77%–85%）。
格式遵循：它们在遵守规则方面表现极差（以正确 JSON 格式输出的答案比例为 0%）。

这就像一位厨师能烹制出完美的牛排，却总是将其盛在会散架的纸盘上端上来。牛排美味可口，但你无法食用。

他们尝试了两种常见的修复方法，但都失败了：

礼貌请求（朴素/参考方法）：告诉模型“请给我一个带框的答案”并没有奏效。模型继续忽略指令，或者用额外的装饰（如 Markdown 围栏）包裹答案框，从而破坏了计算机的解析器。
强制灌输规则（约束解码）：这就像给模型穿上紧身衣，使其在物理上无法输入任何非有效 JSON 的内容。这种方法在格式上有效，但使模型变慢了 3 到 8 倍，有时还会导致模型困惑，从而降低数学质量。

解决方案：AloLab（“提示教练”）

作者构建了一个名为AloLab的系统。将 AloLab 想象成一位专业教练，它观察模型尝试解决问题的过程，发现其失败之处，并改写指令（即“系统提示”）以修正这些具体错误。

以下是教练的工作方式：

观察：教练（使用非常智能的 AI，即 Claude Sonnet 4.5）观察模型尝试回答问题。
发现错误：如果模型持续用"Markdown 围栏”（一种破坏格式的奇怪符号）包裹答案，教练会注意到这种模式。
重写规则：教练更新指令手册，说明“不要使用 Markdown 围栏”，或者“将答案放在‘答案’字段中，而不是‘推理’字段中”。
重复：这一过程会进行几轮，直到模型正确执行。

结果：

速度：与“紧身衣”方法不同，AloLab 不会拖慢模型的速度。事实上，由于指令变得更加清晰，模型有时回答得甚至更快。
成功率：在数学测试中，AloLab 将较小模型的“可用”答案率从0%提升至84%–87%。
甚至对大型模型也有效：他们在一个庞大且昂贵的模型（GPT-4o）上测试了这种方法。即使该模型也无法遵循格式（成功率为 0%），直到 AloLab 对其进行指导，其成功率才跃升至95%。

论文的关键要点

“元代理”至关重要：教练需要足够聪明。当他们用更便宜、更笨拙的教练（Haiku）替换聪明的教练（Sonnet 4.5）时，结果变得像抛硬币一样不确定。有时有效，有时则完全失败。你需要一位有能力的教练才能获得一致的结果。
无需“内部访问”：AloLab 像一个黑盒一样运作。它不需要查看模型的内部代码或权重；它只需观察输出并调整指令。
“推理与答案”的故障：即使有了 AloLab，仍存在一个小问题。有时模型在其“推理”部分正确计算了数学，却在最终“答案”框中意外写错了数字。这就像模型知道答案，但在写下来时出现了拼写错误。这种情况发生在约 1.5% 到 1.8% 的案例中。

总结

该论文认为，对于小型 AI 模型而言，最大的障碍并非智能，而是沟通。它们知道答案，但无法以计算机所需的正确格式呈现。作者发现，与其强迫模型缓慢移动（约束解码），不如让一位聪明的教练（AloLab）重写指令，直到模型学会完美地用计算机的语言说话。这使得 AI 既更快又更可靠。

技术摘要：正确但不可用

问题陈述

已部署的语言模型面临一个关键的可信度差距：输出必须同时数学正确且符合格式要求（例如，包含特定字段的合法 JSON），才能在生产环境中使用。标准基准测试通常孤立地衡量任务准确性，而忽略了“结构化输出可信度差距”，即模型正确解决了问题，但未能遵守所需的模式，导致响应无法使用。

本文利用数学基准测试（GSM8K 和 MATH）作为受控测试平台来研究这一差距。真实答案明确无误，且输出契约严格（包含 reasoning 和 answer 字段的 JSON 对象）。主要指标是输出准确性，定义为数学正确性与有效 JSON 结构的联合事件。

方法论

实验设置

本研究评估了三种开源小语言模型（7–9B 参数）：Llama 3.1-8B Instruct、Gemma 2-9B IT 和 Qwen 2.5-7B Instruct。此外，GPT-4o 在 GSM8K 上作为泛化探针进行评估。模型在五种提示策略下进行测试：

NAIVE（朴素）：无系统提示；仅包含任务输入。
REFERENCE（参考）：最小化、手工编写的静态提示，包含基本 JSON 指令（无迭代调整）。
CONSTRAINED（约束）：基于语法的约束解码（vLLM），以强制语法有效性。
REF+CONSTRAINED（参考 + 约束）：REFERENCE 提示与约束解码的结合。
ALOLAB：迭代式系统提示优化器（如下所述）。

AloLab 框架

AloLab 是一种迭代式黑盒系统提示优化器，旨在无需模型微调或权重访问的情况下缩小输出准确性差距。

架构：它作为一个元代理（meta-agent）管道运行，使用 Claude Sonnet 4.5 作为底层 LLM，分别充当分析器和优化器节点。
流程：
1. 求解器：通过 API（黑盒）在训练/验证集上查询目标模型。
2. 评估器：确定性计算 json_valid 和 is_correct。
3. 分析器：识别反复出现的失败模式（例如，Markdown 围栏包裹、字段不匹配）和成功模式，可选择利用“模型卡片”（架构、参数量）来定制发现。
4. 优化器：重写系统提示以解决已识别的失败，同时保留成功行为。
成本：优化过程每个模型/数据集需要约 5,000–10,000 次目标模型推理调用和 30 次元代理调用。部署时零额外开销，仅使用最终优化后的提示。

消融研究

仅历史：从分析器/优化器中移除显式的模型配置文件信息，以测试仅靠迭代反馈是否足够。
元代理质量：用较小的 Claude 3 Haiku 替换 Claude Sonnet 4.5，以测试优化器能力是否驱动结果。

关键结果

1. 基线格式失败

在基线处出现系统性的格式失败：

NAIVE 提示 实现了较高的任务准确性（例如，GSM8K 上为 77–85%），但在所有模型上的输出准确性均为 0%。模型解决了数学问题，但未能生成有效的 JSON。
REFERENCE 提示（静态手工编写提示）表现不佳，在 MATH 数据集上，Gemma 和 Qwen 的输出准确性为 0%，在 GSM8K 上 Gemma 的输出准确性也为 0%，原因是系统性的 Markdown 围栏包裹（```json）破坏了解析器。

2. AloLab 性能

AloLab 显著缩小了差距：

GSM8K：在所有三个开源模型上实现了 84–87% 的输出准确性，在 GPT-4o 上实现了 95.2%。
MATH：实现了 34–40% 的输出准确性。
统计显著性：在 30 次配对 McNemar 比较中（5 次运行 × 3 个模型 × 2 个数据集），AloLab 在 $p < 0.05$ 水平上显著优于最佳静态提示（REFERENCE）。
延迟：AloLab 的运行延迟接近基线推理延迟（GSM8K 上为 NAIVE 的 0.71–1.06 倍），而约束解码则产生 3.6–8.2 倍 的延迟开销。

3. 约束解码的权衡

虽然约束解码强制了语法有效性，但它引入了显著的延迟，并且在某些情况下（例如 GSM8K 上的 Gemma）会降低任务性能（52.4% 的输出变成了完全重复）。与 AloLab 相比，它处于“高延迟、较低输出准确性”的区域。

4. 消融研究发现

元代理能力：将 Sonnet 4.5 替换为 Haiku 使平均输出准确性从 84.15% 降至 61.0%，并将运行间方差从 <1 个百分点增加到 21.8 个百分点。这证实了元代理能力是优化质量的主要驱动力；如果没有有能力的优化器，仅靠迭代循环是不够的。
模型知识：从优化器中移除显式的模型配置文件（架构等）导致性能下降微乎其微（<1.3 个百分点），表明观察到的执行模式是优化的主导信号，而非先验的模型知识。

5. 泛化性

格式失败不仅限于小型开源模型。GPT-4o 在 NAIVE 和 REFERENCE 提示下也因系统性的 Markdown 包裹而表现出 0% 的输出准确性。AloLab 通过学习抑制这些围栏解决了这一问题，实现了 95.2% 的输出准确性，证实该失败是模型特定的生成默认行为，而非与规模相关的限制。

6. 残余失败

即使使用 AloLab，一种特定的失败模式依然存在：格式 - 执行不一致。在 1.5–1.8% 的失败案例中，JSON 是有效的，且 reasoning 字段包含正确的逻辑，但 answer 字段包含错误的值。独立的 LLM 评判员验证了这种解耦，表明这是一种内在的生成属性，随着更简单的格式错误被消除而变得更加明显。

意义与主张

本文主张，在严格输出契约下，小型语言模型的实际限制并非推理能力的限制（高 NAIVE 任务准确性已证明这一点），而是结构化通信的限制。

AloLab 证明，迭代式黑盒提示优化可以在无需微调的情况下，有效弥合任务正确性与格式合规性之间的差距。
与受限于高延迟和潜在任务退化的约束解码相比，它提供了一种在推理时更准确且更具成本效益的解决方案。
该工作强调，静态提示通常不足以应对复杂的格式约束，且必须动态识别并抑制模型特定的生成默认行为（如 Markdown 包裹）。

作者得出结论，虽然 AloLab 显著提高了可靠性，但剩余的“格式 - 执行不一致”（推理正确，但答案字段错误）代表了未来研究的一个具体方向。