💬 NLP

High Accuracy, Less Talk (HALT): Reliable LLMs through Capability-Aligned Finetuning

本文提出了 HALT 方法，通过构建能力对齐的微调数据（将回答拆解为事实片段并剔除或标记不确定的错误内容），使大语言模型能够根据置信度选择性地生成内容，从而在保持部分回答完整性的同时显著提升回答的准确性并减少幻觉。

原作者： Tim Franzmeyer, Archie Sravankumar, Lijuan Liu, Yuning Mao, Rui Hou, Sinong Wang, Jakob N. Foerster, Luke Zettlemoyer, Madian Khabsa

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tim Franzmeyer, Archie Sravankumar, Lijuan Liu, Yuning Mao, Rui Hou, Sinong Wang, Jakob N. Foerster, Luke Zettlemoyer, Madian Khabsa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 HALT（High Accuracy, Less Talk，即“高准确率，少废话”）的新方法，旨在解决大型语言模型（LLM）最头疼的问题：幻觉（胡说八道）。

简单来说，现在的 AI 就像是一个过于热心的导游：不管游客问什么，它都恨不得把知道的、猜的、甚至瞎编的都一股脑讲出来。如果它不知道答案，它也会假装知道，编造一个听起来很像真的故事。这在写诗时很可爱，但在看病、写代码或处理法律问题时，这种“不懂装懂”是致命的。

HALT 的核心思想是：让 AI 学会“知之为知之，不知为不知”，并且只说它真正有把握的话。

下面我用几个生活中的比喻来解释它是如何工作的：

1. 核心比喻：从“全能演说家”到“谨慎的专家”

传统的 AI（Standard Finetuning）：就像一个刚毕业、急于表现的大学生。你问他任何问题，他都会滔滔不绝地回答。如果问题很难，他可能会编造一些细节来填补空白，结果就是“看起来很像那么回事，但全是错的”。
HALT 训练后的 AI：就像一个经验丰富的老专家。他非常清楚自己的知识边界。
- 如果你问他一个他完全不懂的领域，他会直接说：“这部分我不确定，我不敢乱说。”
- 如果你问一个复杂问题，他只会回答他100% 确定的那几部分，剩下的部分他会停下来，告诉你：“到这里我就不确定了（Unsure from here）”，而不是继续编造。

2. HALT 是怎么“教”AI 学会闭嘴的？（训练过程）

HALT 并不是给 AI 灌输新知识，而是教它如何正确地使用自己已有的知识。这个过程就像给 AI 做了一次“体检”和“剪辑”：

第一步：试错（生成初稿）
让 AI 先像往常一样回答问题，写出一篇完整的文章或解题步骤。
第二步：切片（拆解内容）
把这篇回答像切香肠一样，切成一个个独立的“事实片段”或“推理步骤”。
- 例子：在写人物传记时，切分成“奥巴马是第 45 任总统”、“奥巴马有一只狗叫 Bo"等独立句子。
- 例子：在解数学题时，切分成“列出公式”、“代入数值”、“计算结果”等步骤。
第三步：找茬（评估对错）
请一个更强大的“考官 AI"（或者人类专家），拿着标准答案，逐一检查这些“切片”。
- 如果切片是对的，打勾 ✅。
- 如果切片是错的，打叉 ❌。
第四步：剪辑（生成训练数据）
这是最关键的一步！
- 对于独立的事实（如传记）：直接把打叉的“坏切片”剪掉，只保留打勾的“好切片”。
- 对于连续的逻辑（如数学题）：一旦发现第一步错了，后面的所有步骤都不可信。于是，从第一个错误开始，把后面所有的内容都剪掉，并在最后贴上一张标签：“此处存疑，我不确定”。
第五步：重新学习
用这些经过“剪辑”和“打标签”后的完美数据，重新训练 AI。
- 结果：AI 学会了，如果我不确定，我就不要强行输出，而是停下来或者承认不知道。

3. 一个生动的场景：解数学题

想象你在问 AI 一道很难的数学题：

普通 AI：

“首先，我们要用这个公式...（算对了）。然后代入数字...（算错了）。最后得出答案是 42！其实这道题很难，但我算出来了。”
(结果：前面是对的，后面全是瞎编的，用户以为全对，结果被误导。)
HALT AI：

“首先，我们要用这个公式...（算对了）。然后代入数字...（算对了）。
Unsure from here（此处存疑，我不确定后续步骤）。”
(结果：用户知道前两步是对的，但最后一步 AI 很诚实。用户可以选择自己算最后一步，或者去问别人，而不会被误导。)

4. 灵活的控制：在“多说”和“说对”之间做选择

HALT 还有一个很棒的特性，就像调节收音机的音量旋钮：

调向“多说”：AI 会尝试回答更多，但可能会偶尔犯错（适合创意写作）。
调向“说对”：AI 会变得非常保守，只说它 100% 确定的话，哪怕这意味着它回答的内容变少了（适合医疗、法律、编程）。

论文实验发现，通过调整这个“旋钮”，他们训练出了一个Llama3-70B 模型，在四个不同领域（写传记、做数学题、写代码、回答医学问题）的准确率从 51% 飙升到了 87%！虽然它回答的完整度（说了多少话）只有原来的 53%，但它说的每一句都是真话。

5. 总结：为什么这很重要？

以前的 AI 总是试图“讨好”用户，不管懂不懂都要给个答案。
HALT 让 AI 学会了“诚实”。

它不再是一个只会瞎编的“话痨”，而变成了一个可靠的合作伙伴。当你需要它帮忙处理重要事情时，你可以信任它说出来的每一个字；如果它停下来了，你就知道那里需要你自己多留个心眼，而不是盲目相信。

一句话总结：HALT 就是给 AI 装上了一个“刹车”和“诚实标签”，让它少说废话，多说真话，在关键时刻靠得住。

1. 研究背景与问题 (Problem)

核心问题：大语言模型（LLM）的幻觉与过度自信
当前的 LLM 倾向于对绝大多数提示（Prompt）做出回应，无论其是否具备相应的知识或能力。当模型缺乏相关知识或推理能力时，它仍会强行生成答案，导致“幻觉”（Hallucination），即产生看似合理但事实错误的信息。这在医疗、法律等高风险领域尤为危险。

现有方法的局限性

标准微调 (Standard Finetuning)： 通常使用包含所有答案（包括模型可能无法正确生成的部分）的数据集进行训练，导致模型在测试时继续生成超出其能力范围的内容，从而产生错误。
现有去幻觉方法： 大多依赖测试时的后处理、采样或额外的计算开销，或者要求模型完全放弃回答（Abstain），这往往以牺牲回答的完整性为代价，无法在“完整性”和“正确性”之间灵活权衡。

目标
提出一种方法，使 LLM 仅在对其生成的内容有信心时才回答，否则（部分）放弃回答，从而在保持高正确性的同时，根据应用场景调整回答的完整性。

2. 方法论：HALT (Methodology)

HALT (High Accuracy, Less Talk) 是一种基于能力对齐（Capability-Aligned）的后训练微调方法。其核心思想是：只让模型学习它在预训练阶段已经具备能力去生成的正确内容，剔除或标记其不确定的部分。

2.1 核心流程

HALT 的处理流程包含四个主要步骤：

生成初步响应 (Generate Preliminary Response)：
- 利用预训练模型 $M$ ，通过少样本提示（Few-shot prompting）为每个训练提示 $x_j$ 生成初步响应 $y^{pt}_j$ 。
- 为了控制权衡，可以采样多个初步响应，并根据设定的阈值 $\alpha$ 选择“最保守”或“最激进”的响应作为基准。
分解为事实片段 (Split into Factual Fragments)：
- 将初步响应分解为独立的、可验证的“事实片段”（Factual Fragments）。
- 独立片段： 如维基百科传记中的事实陈述（例如："Obama 出生于夏威夷”）。
- 因果依赖片段： 如数学解题步骤或代码逻辑，后续步骤依赖于前一步的正确性。
评估片段正确性 (Assess Correctness)：
- 使用一个强大的评估器 LLM（文中使用 Llama3-405B），结合地面真值（Ground Truth）信息，判断每个片段的正确性。
- 独立片段： 独立评估每个片段。
- 因果依赖片段： 识别第一个出现错误的片段，并判定该片段及其之后的所有片段均为错误。
构建微调目标响应 (Create HALT Finetuning Response)：
- 对于独立片段： 直接移除所有被判定为错误的片段。
- 对于因果依赖片段： 移除从第一个错误片段开始的所有后续内容，并在末尾添加标记 "Unsure from here"（此处不确定）。
- 最终生成的数据集 $D_H$ 仅包含模型有能力生成的正确内容。

2.2 正确性与完整性的权衡 (Trade-off Tuning)

HALT 引入了一个可调节的阈值参数 $\alpha$ （百分位数），用于控制模型在“保守”与“激进”之间的行为：

高正确性模式（低 $\alpha$ ）： 选择采样响应中正确片段最少的一个作为基准。这导致模型学习更保守，只输出极有把握的内容，正确率极高，但完整性较低。
高完整性模式（高 $\alpha$ ）： 选择正确片段较多的响应，模型会尝试输出更多内容，但可能包含少量错误。
这使得实践者可以根据部署场景（如医疗诊断需高正确性，创意写作需高完整性）灵活调整模型行为。

3. 关键贡献 (Key Contributions)

提出了 HALT 框架： 一种无需测试时后处理或额外采样的微调范式，通过构建“能力对齐”的数据集，使模型学会根据内部置信度选择性回答。
实现了细粒度的能力对齐： 不同于以往让模型“全有或全无”地回答，HALT 将回答分解为片段，精确剔除模型无法可靠生成的部分，并用"Unsure from here"标记。
证明了微调不增加新能力： 基于“微调不会赋予模型新知识，只是利用预训练知识”的假设，HALT 通过剔除模型无法处理的数据，有效减少了幻觉。
灵活的权衡机制： 通过参数 $\alpha$ 实现了正确率（Precision）与完整性（Recall）之间的连续调节，并提出了 F1 分数作为综合评估指标。
扩展性方案 (Add-On HALT)： 提出了一种变体，不删除不确定片段，而是将其标记为"Uncertain"，从而在保持回答完整性的同时告知用户哪些部分不可信。

4. 实验结果 (Results)

实验在四个领域（维基百科传记写作、数学竞赛题、医疗问答、代码生成）和四个开源模型（Llama3-8B/70B, Gemma2-9B, Mistral-7B）上进行了验证。

正确性显著提升：
- 在 Llama3-70B 上，通过 HALT 微调（针对最高正确性调整），跨四个领域的平均正确率从标准微调的 51% 提升至 87%。
- 平均而言，HALT 将响应片段的平均正确率提高了 15%。
权衡效果显著：
- 通过调整 $\alpha$ ，正确率可以在一定范围内波动（例如 Llama3-70B 波动约 ±17%），同时保持合理的完整性。
- 在追求最高正确性的设置下，虽然响应完整性降至标准微调的 53%（或平均 25%），但模型变得极度可靠。
综合指标 (F1 Score)：
- 在所有设置下，HALT 在完整性和正确性的调和平均数（F1 分数）上均优于基线方法（包括 FactTune, IDK 和随机截断基线），平均提升 4%。
通用指令遵循能力：
- 在 AlpacaEval 风格的评估中，HALT 微调的模型在通用指令遵循方面与基线模型表现相当（胜率 50.8%），证明选择性放弃回答并未严重损害模型的通用能力。
Add-On HALT 效果：
- 当将不确定部分标记为"Uncertain"而非删除时，模型在排除这些标记后的正确率提升与默认 HALT 相当，同时保持了 100% 的响应完整性。

5. 意义与结论 (Significance & Conclusion)

意义：

解决高风险场景的幻觉问题： HALT 为医疗、法律等需要高事实准确性的领域提供了一种实用的解决方案，通过“少说（Less Talk）”来换取“高准确（High Accuracy）”。
无需推理时开销： 与许多需要测试时多次采样或后处理的方法不同，HALT 训练出的模型在推理时直接输出结果，部署成本低。
重新定义模型能力边界： 该方法承认并利用了模型的能力边界，而不是强迫模型在未知领域强行作答，符合“能力对齐”的 AI 安全理念。

局限性：

假设片段是独立或因果依赖的，复杂的依赖图结构尚未处理。
目前使用二元（正确/错误）评估，细粒度的置信度缩放可能有助于进一步优化。
针对不同权衡参数需要训练不同的模型，未来可探索单一自适应模型。

总结：
HALT 通过构建仅包含模型“力所能及”之正确内容的数据集，成功训练出了在多个领域具有极高可靠性的 LLM。它证明了通过微调让模型学会“知之为知之，不知为不知（并明确标记）”，是提升 LLM 事实准确性和可靠性的有效途径。