💬 NLP

No One Size Fits All: QueryBandits for Hallucination Mitigation

本文提出了 QueryBandits，一种针对闭源大语言模型幻觉问题的模型无关上下文多臂老虎机框架，通过在线自适应学习选择最优查询重写策略，在无需重训练或梯度调整的情况下显著优于静态重写策略和基线方法，证明了不存在适用于所有查询的单一重写策略。

原作者： Nicole Cho, William Watson, Alec Koppel, Sumitra Ganesh, Manuela Veloso

发布于 2026-02-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nicole Cho, William Watson, Alec Koppel, Sumitra Ganesh, Manuela Veloso

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 QueryBandits（查询老虎机）的新方法，用来解决大型语言模型（LLM）经常“一本正经地胡说八道”（即幻觉）的问题。

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“给 AI 请了一位聪明的导航员”**。

1. 核心问题：为什么 AI 会“迷路”？

现在的 AI 非常聪明，但有时候它会犯傻。比如你问它：“在 6 和 14.8 之间有多少个整数？”

普通 AI 的反应：它可能凭直觉回答"8 个”（7, 8, 9, 10, 11, 12, 13, 14），却忘了6 本身也是整数，或者它没看清边界。这就是“幻觉”。
现状：大多数解决这个问题的方法，都是试图去“修改 AI 的大脑”（重新训练模型或调整内部参数）。但这就像你想让一个闭源的商业软件（比如 GPT-4）不犯错，但你没有它的源代码，无法修改它的内部设置。这就好比你想让一辆没有钥匙的法拉利开得更好，但你不能拆开引擎。

2. 解决方案：QueryBandits（智能导航员）

这篇论文的作者没有去改 AI 的大脑，而是决定在 AI 开口说话之前，先帮它把问题“翻译”得更清楚。

想象一下，你有一个智能导航员（QueryBandits），它站在你和 AI 之间。

你的任务：你问导航员一个问题（比如那个数学题）。
导航员的观察：导航员会迅速扫描你的问题，看看它有什么特点。比如：
- 这个问题是不是太模糊了？（像“告诉我关于历史的事”）
- 是不是需要专业知识？（像“解释 GDPR 的法律影响”）
- 是不是句子太复杂，像绕口令？
导航员的决策：根据这些特点，导航员会从**5 种不同的“改写策略”**中选一个最合适的，把你的问题重新包装一下，再发给 AI。

3. 那 5 种“改写策略”是什么？（导航员的工具箱）

导航员手里有 5 种工具，它会根据情况灵活使用：

换个说法 (Paraphrase)：把问题换个词问，看看 AI 会不会因为措辞不同而更准确。
简化 (Simplify)：如果问题太绕，导航员就把它拆成简单的大白话。
消除歧义 (Disambiguate)：如果问题里有“它”、“那个”这种指代不清的词，导航员会把它补全。
补充细节 (Expand)：如果问题太简略，导航员会帮它加上必要的背景信息（比如加上时间、地点）。
解释术语 (Clarify Terms)：如果问题里有生僻词，导航员会先给它加个括号解释一下。

4. 它是怎么学会“选对工具”的？（老虎机游戏）

这是论文最精彩的地方。导航员不是死板的，它会在线学习，就像在赌场玩**老虎机（Bandit）**一样：

试错：刚开始，导航员不知道哪种策略对哪种问题最有效。它会随机选一种策略改写问题，然后问 AI。
打分：AI 回答后，系统会立刻给答案打分（是对了还是错了？）。
奖励机制：如果 AI 答对了，导航员就得到“奖励”，并记住：“哦！原来这种‘复杂且需要专业知识’的问题，用‘补充细节’策略最有效！”
进化：随着问的问题越来越多，导航员越来越聪明。它发现：没有一种策略是万能的。
- 遇到模糊的问题，它知道用“消除歧义”。
- 遇到太专业的，它知道用“补充细节”。
- 遇到太简单的，它甚至可能什么都不改（直接原样发给 AI），因为有时候乱改反而坏事。

5. 实验结果：真的有用吗？

作者在 GPT-4o（目前最强的闭源模型之一）上做了测试，用了 16 种不同的问答场景（从数学题到常识题）。

结果惊人：
- 使用这个“智能导航员”后，AI 答对的概率比“直接问”（不改写）提高了 87.5%。
- 它比那些“死脑筋”的固定策略（比如永远只帮 AI 简化问题，或者永远只帮 AI 补充细节）要聪明得多，准确率提升了 40% 到 60%。
- 关键发现：确实没有一种“万能药”。有时候“简化”会让 AI 变笨，有时候“补充细节”反而让它更糊涂。只有像 QueryBandits 这样看人下菜碟、见招拆招的方法才最有效。

6. 为什么这很重要？

不用改模型：这个方法不需要你拥有 AI 的源代码，不需要重新训练它。它就像给 AI 戴了一副“智能眼镜”，让它在回答前看清问题。这对那些使用闭源商业模型（如 GPT-4, Claude 等）的企业来说，简直是救星。
省钱省力：它只需要在输入端做一点处理，计算成本很低，不需要昂贵的算力。
动态适应：它不是死板的规则，而是像人一样，根据问题的不同特征，动态调整策略。

总结

这篇论文告诉我们：面对 AI 的幻觉，不要试图强行“修理”它的脑子，而是要学会“聪明地提问”。

QueryBandits 就像一个经验丰富的老练翻译或导航员，它知道什么时候该把问题说简单点，什么时候该把背景补全，什么时候该保持原样。通过这种动态的、自适应的提问技巧，它能让最强大的 AI 模型少犯错，更靠谱地为你服务。

一句话概括：既然不能改变 AI 的大脑，那就改变我们问它的方式，而且要用一种**“看菜吃饭、量体裁衣”**的智能方式。

这是一篇关于利用**上下文多臂老虎机（Contextual Multi-Armed Bandit）**框架来缓解大语言模型（LLM）幻觉的学术论文，题为《NO ONE SIZE FITS ALL: QUERYBANDITS FOR LLM HALLUCINATION MITIGATION》（没有一种方案适合所有情况：用于 LLM 幻觉缓解的 QueryBandits）。该论文发表于 ICLR 2026。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

幻觉的严峻性：随着 LLM 推理能力的增强，事实性错误（即“幻觉”）的发生频率也在增加。
闭源模型的困境：现有的缓解方法大多针对开源模型（通过修改内部表示、编辑参数或基于 Logits 的检测），但机构部署中绝大多数使用的是闭源模型（如 GPT-4o），这些模型的权重不可访问，导致现有方法失效。
“一刀切”策略的局限性：现有的查询重写（Query Rewriting）方法通常采用静态策略（如总是“改写”或总是“简化”），缺乏根据具体查询的语义特征进行自适应调整的能力。
核心假设：没有一种单一的重写策略对所有查询都是最优的；幻觉的产生与查询的特定语言特征密切相关，需要一种在线、自适应的机制来为每个查询选择最佳的重写策略。

2. 方法论 (Methodology)

作者提出了 QueryBandits，一个模型无关（Model-Agnostic）的上下文老虎机框架。

A. 动作空间 (Action Space)

定义了 5 种查询重写策略（Arm），通过提示词（Prompt）引导 LLM 进行改写：

PARAPHRASE (改写)：引入词汇多样性，保持语义不变。
SIMPLIFY (简化)：消除嵌套从句和复杂语法，减少长距离依赖导致的错误。
DISAMBIGUATE (消歧)：解决模糊指代（如代词、时间表达），使其显式化。
EXPAND (扩展)：添加关键实体和属性，丰富上下文。
CLARIFY TERMS (术语澄清)：定义专业术语，减少领域特定歧义。

B. 上下文特征 (Context)

为每个查询提取一个 17 维的二值语言特征向量 ( $f_t \in \{0, 1\}^{17}$ )。这些特征基于语言学原理和 LLM 理解能力，包括：

结构特征：如回指（Anaphora）、从属从句（Subordination）。
场景特征：如任务不匹配（Mismatch）、预设（Presupposition）、语用（Pragmatics）。
词汇特征：如稀有词（Rarity）、否定（Negation）、最高级（Superlative）、多义词（Polysemy）。
风格与语义：如可回答性（Answerability）、过度细节（Excessive Details）、主观性（Subjectivity）、歧义（Ambiguity）、语义锚定（Grounding）、约束（Constraints）、实体（Entities）、领域专业化（Specialization）。

C. 奖励模型 (Reward Model)

构建了一个复合奖励函数 $r_t$ 来衡量回答的正确性（即减少幻觉）：
$r_t = \alpha s_{llm} + \beta s_{fuzz} + \gamma s_{bleu}$

$s_{llm}$ ：基于 LLM 作为裁判（LLM-as-a-Judge）的二元正确性标签。
$s_{fuzz}$ ：模糊字符串相似度分数（RapidFuzz）。
$s_{bleu}$ ：BLEU-1 分数（单词重叠）。
权重优化：通过帕累托最优分析，确定最佳权重为 $(\alpha, \beta, \gamma) = (0.6, 0.3, 0.1)$ 。该奖励函数在人类标注集上的 ROC-AUC 达到 0.973，能有效区分正确与错误答案。

D. 算法选择

采用上下文老虎机算法（Contextual Bandits）而非完整的强化学习（RL），原因包括：

幻觉通常是单轮交互问题，不需要长程信用分配。
不同查询的上下文差异巨大，平均奖励会掩盖个体特征。
主要目标是快速适应，而非建模 Token 级别的转移动态。
使用的算法包括：Thompson Sampling (TS), LinUCB, LinUCB+KL, FTRL, EXP3 等。

3. 关键贡献 (Key Contributions)

事实性奖励建模：提出并验证了一个由 LLM 裁判、模糊匹配和 BLEU 组成的复合奖励函数，在闭源模型上作为学习信号非常稳定且具有高区分度。
上下文自适应的胜利：证明了基于语言特征的上下文老虎机（Contextual Bandits）显著优于静态提示（Static Prompts）和非上下文老虎机。
- 最佳模型：上下文 Thompson Sampling (TS) 在 16 个场景中赢得了 8 个，宏观平均准确率达到 0.766，比“不重写”基线（0.681）提高了 8.5 个百分点。
- 胜率：QueryBandits 对“不重写”基线的胜率为 87.5%。
- 对比静态策略：比零样本静态策略（如 PARAPHRASE 和 EXPAND）分别高出 42.6% 和 60.3% 的胜率。
可解释的决策权重：通过回归分析发现，不同重写策略的有效性高度依赖于查询的语义特征。
- 例如：具有“领域专业化”特征的查询，EXPAND 策略效果最好；而具有“语用”特征的查询，SIMPLIFY 策略更有效。
- 实验表明，移除 17 维特征向量会导致 TS 的胜率从 87.5% 降至 81.7%，证明了特征的重要性。
闭源模型的适用性：该方法完全在输入层操作，无需访问模型权重或梯度，成功将闭源模型 GPT-4o 在 TruthfulQA 上的表现从 81.4% 提升至 88.8%。

4. 实验结果 (Results)

数据集：在 13 个不同的 QA 基准（16 个场景，约 1050 个查询/数据集）上进行了评估，包括 ARC, MMLU, TruthfulQA, SQuAD 等。
性能对比：
- Contextual TS 和 LinUCB 家族 在所有数据集中表现最佳。
- 非上下文老虎机（Non-Contextual）虽然优于静态提示，但表现不如上下文方法，且倾向于收敛到单一策略。
- 静态策略 的表现与“不重写”基线相当，甚至在某些情况下（如 TruthfulQA 中的 EXPAND）会增加累积遗憾（即 worsen hallucinations），证明僵化的重写策略可能适得其反。
特征方差与选择：发现特征方差较高的数据集，老虎机在臂（策略）选择上的方差也更大，证实了“没有一种策略适合所有情况”的结论。

5. 意义与影响 (Significance)

填补空白：首次系统性地针对闭源 LLM 的幻觉缓解提出了基于在线学习的解决方案，解决了机构用户无法微调模型权重的痛点。
范式转变：从“一刀切”的静态提示转向基于特征的动态自适应策略。研究表明，理解查询的语言指纹（Linguistic Fingerprint）对于选择正确的干预措施至关重要。
低成本高效：QueryBandits 仅增加少量的 Token 开销（用于特征提取和重写），无需重新训练模型，即可显著提升模型的事实准确性。
未来方向：指出了当前特征独立性假设的局限性，未来可探索特征间的交互作用，并进一步研究因果机制。

总结：
这篇论文通过引入 QueryBandits，证明了利用轻量级的语言特征作为上下文，通过上下文老虎机算法在线选择最佳查询重写策略，是缓解闭源大模型幻觉的有效且实用的方法。其核心发现是**“没有一种方案适合所有情况” (No One Size Fits All)**，自适应的、基于特征的决策机制远优于固定的启发式规则。