💬 NLP

QAQ: Bidirectional Semantic Coherence for Selecting High-Quality Synthetic Code Instructions

该论文提出了名为 QAQ 的新框架，通过引入逆向互信息（RMI）评估答案对查询的预测能力，利用双向语义一致性有效筛选合成代码指令中的低质量数据，从而在仅使用 25% 数据的情况下实现了与全量训练相当甚至更优的代码生成模型性能。

原作者： Jiayin Lei, Ming Ma, Yunxi Duan, Chenxi Li, Tianming Yang

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiayin Lei, Ming Ma, Yunxi Duan, Chenxi Li, Tianming Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 QAQ 的新方法，旨在解决人工智能（AI）在学习写代码时，如何从海量“人造数据”中挑出真正好教材的问题。

为了让你轻松理解，我们可以把训练 AI 写代码想象成**“教一个学生（AI）通过做题来学习编程”**。

1. 背景：为什么我们需要“挑题”？

现在的 AI 写代码很强，但训练它需要海量的题目和答案（指令 - 回答对）。

传统做法：以前大家觉得，只要题目多，让 AI 多做题就行。
新问题：现在有一种叫“无种子合成数据”的方法，就是让 AI 自己出题、自己写答案。这就像让一个学生自己给自己出题。虽然题目数量爆炸式增长，但里面混进了很多**“垃圾题”**：
- 胡编乱造题：题目里全是生造的词（比如“把粗糙的苏拉矩阵转换成超脆数组”），AI 虽然能写出语法正确的代码，但全是废话，学不到真东西。
- 答非所问：题目是“你好”，答案却是一堆乱码或无关的客套话。

以前的筛选方法（比如 IFD）主要是看**“题目能不能难倒 AI"**（即：给题目，AI 能不能写出答案）。但这就像只检查学生能不能解题，却不管题目本身是不是胡编乱造的。

2. 核心创新：QAQ 的“逆向思维”

作者提出了 QAQ 方法，它的核心思想非常巧妙：不要只看“题目 -> 答案”，我们要看“答案 -> 题目”。

比喻：侦探破案 vs. 学生解题

传统方法（IFD）：像是学生解题。老师给题，学生做。如果学生做得很吃力，说明题目有深度；如果做得太容易，说明题目太简单。但这无法判断题目本身是不是胡编的。
QAQ 方法：像是侦探破案。
- 我们手里拿着答案（代码），然后问：“看到这个答案，你能猜出它是在回答什么问题吗？”
- 好题目：看到一段精妙的代码，你能很清晰地推断出它解决了什么具体问题（比如“这段代码在处理异常”）。这说明答案和题目是紧密相连的（语义一致）。
- 坏题目（胡编乱造）：看到一段代码，你完全猜不出它想解决什么问题，或者答案只是把题目里的胡话重复了一遍（比如题目说“苏拉矩阵”，答案就重复“苏拉矩阵”）。这时候，答案对猜题目没有任何帮助。

作者定义了一个叫 RMI（逆向互信息） 的指标，用来衡量“答案对理解题目的贡献有多大”。

3. 三个关键发现（避坑指南）

作者发现，RMI 分数并不是越高越好，也不是越低越好，而是有一个**“甜蜜区间”**：

RMI 太低（低分）：
- 现象：答案完全帮不上忙猜题目。
- 比喻：题目是“你好”，答案却是“今天天气不错”。
- 结论：这是**“答非所问”**，直接扔掉。
RMI 太高（高分）：
- 现象：答案让题目变得太容易猜了，甚至不需要思考。
- 比喻：题目是“如何把苹果切成两半”，答案直接说“把苹果切成两半的方法是把苹果切成两半……"（全是废话重复）。或者题目全是生造词，答案只是机械地重复这些词。
- 结论：这是**“机械复读”或“套路化”**，虽然看起来像那么回事，但学不到真本事，也要扔掉。
RMI 中等（甜蜜区间）：
- 现象：答案能很好地解释题目，既不是废话，也不是答非所问。
- 结论：这才是好教材。

4. 终极绝招：利用“学霸”和“学渣”的“认知差”

这是论文最精彩的部分。作者发现，光靠一个模型打分还不够，他们找来了两个模型：

学霸模型（强模型）：很聪明，能看懂复杂的逻辑。
学渣模型（弱模型）：比较笨，只能看懂简单的东西。

他们观察这两个模型对同一道题的打分差异（认知差）：

如果两个模型都觉得这题好：可能这题太简单，或者只是简单的重复（两个都容易看出来）。
如果两个模型都觉得这题烂：直接扔掉。
如果“学霸”觉得好，但“学渣”觉得一般：
- 比喻：这道题里藏着只有聪明人才能看懂的深层逻辑（比如复杂的算法技巧），笨蛋看不出来，觉得这题没意思；但聪明人一看就知道这题很有价值。
- 结论：这种**“认知差”最大的题目，才是含金量最高**的！因为它们既有效（学霸认可），又有挑战性（学渣搞不定）。

5. 实验结果：四两拨千斤

作者用这个方法，从 31 万条数据中只挑出了 25%（也就是四分之一的数据）来训练 AI。

结果：用这 25% 的高质量数据训练出来的 AI，性能和用全部 100% 数据训练的 AI 几乎一样好，甚至超过了用其他方法筛选的数据。
意义：这意味着我们可以节省 75% 的算力和时间，同时还能保证 AI 变强。

总结

这篇论文就像给 AI 培训部门提供了一套**“精选题库”**的筛选标准：

逆向思考：别光看题目难不难，要看答案能不能解释清楚题目。
拒绝极端：太简单的废话和太难的乱码都要扔掉，只要中间那个“刚刚好”的。
利用差异：专门挑那些“只有聪明人懂，笨蛋看不懂”的题目，因为那里面藏着真正的知识。

通过这套方法，我们能用更少的数据、更少的钱，训练出更聪明的 AI 程序员。

论文技术总结：QAQ - 基于双向语义一致性的合成代码指令筛选

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）在代码生成领域的广泛应用，合成数据（Synthetic Data）已成为训练模型的主要范式。然而，无种子（seedless）的合成数据生成方法（如 Magpie, WarriorCoder）虽然能产生多样化的指令 - 响应对，但也引入了大量难以检测的噪声和幻觉。

现有数据筛选方法（如 Instruction-Following Difficulty, IFD）主要评估模型根据查询生成答案的难度（ $P(A|Q)$ ），存在以下局限性：

方向单一：仅关注“指令->答案”的生成难度，忽略了“答案->指令”的解释能力。
噪声识别不足：难以区分“任务本身复杂”与“模型生成的幻觉/无意义内容”。
- 低质量模式 1（语义错位）：查询与答案完全无关（如查询"Hi!"，回答却是一段代码），导致学习信号缺失。
- 低质量模式 2（关键词回声/简单复述）：答案仅仅是复述查询中的生造词或废话（如“将粗糙的 sulla 矩阵转换为..."），导致表面质量高但无实际学习价值。
现有指标失效：传统的 IFD 指标在区分上述两种噪声时表现不佳，且与语义对齐度相关性低。

2. 方法论 (Methodology)

作者提出了 QAQ (Query, Answer-Query) 框架，核心思想是从反向评估数据质量，即评估“答案在多大程度上能预测查询”（ $P(Q|A)$ ）。

2.1 核心指标：反向互信息 (Reverse Mutual Information, RMI)

定义 RMI 为查询的困惑度（Perplexity, PPL）与给定答案后的查询困惑度之差：
$RMI(Q, A) = \log PPL(Q) - \log PPL(Q|A)$

物理意义：衡量答案 $A$ 为查询 $Q$ 带来的信息增益。
低 RMI：表示答案无法帮助预测查询，暗示语义错位（如无关的问答对）。
极高 RMI：表示答案让查询变得极易预测，通常暗示缺陷模式（如简单的复述、关键词回声、重复），这类样本缺乏真正的学习信号。
理想区间：中等范围的 RMI 代表答案与查询有深度的语义对齐，且包含合理的推理过程。

2.2 分层 RMI (Stratified RMI)

由于问题的复杂度（$PPL(Q)$）直接影响 RMI 的绝对值（简单问题天然 RMI 较低），直接全局筛选会误删高质量简单样本。

策略：根据 $PPL(Q)$ 将数据分为 10 个分位桶（Bins）。
操作：在每个桶内独立计算 RMI 的排名并归一化，消除问题复杂度带来的偏差，确保筛选的是“相对质量”而非绝对分数。

2.3 模型分歧策略 (Model Disagreement)

利用强模型（Strong Model, $M_s$ ）和弱模型（Weak Model, $M_w$ ）对样本质量评分的差异来捕捉“认知差距”（Cognitive Gap）。

定义差异信号： $Diff = r_s - r_w$ ，其中 $r$ 为分层后的归一化 RMI 排名。
筛选逻辑：
- 强模型高分，弱模型低分（高 Diff）：样本对强模型而言语义清晰、逻辑严密，但对弱模型具有挑战性。这类样本被认为是**“有效且具学习价值”**的。
- 强/弱模型均高分：可能包含简单的复述模式（缺陷）。
- 强/弱模型均低分：样本质量差或过于困难/无关。
最终选择：保留 $Diff > \tau$ （阈值设为 0.1，约占总数据 25%）的样本。

3. 主要贡献 (Key Contributions)

提出 QAQ 框架：首次将数据筛选视角从“生成难度”（ $A|Q$ ）转向“解释能力”（ $Q|A$ ），引入 RMI 量化语义对齐度。
揭示 RMI 分布特性：实证发现 RMI 的极端值（过低或过高）均对应低质量数据，只有中间“甜蜜点”（Sweet Spot）包含高质量样本。
引入模型分歧作为筛选信号：提出利用强弱模型在 RMI 评分上的差异（Cognitive Gap）来识别那些“强模型认可但弱模型难以掌握”的高价值样本，优于传统的共识筛选。
高效的数据筛选：证明仅使用 25% 的精选数据即可达到全量数据训练的效果，显著降低计算成本。

4. 实验结果 (Results)

在 WarriorCoder 数据集（31 万条合成代码指令）上，使用 DeepSeek-Coder-6.7B-Base 进行微调，并在 HumanEval, HumanEval+, MBPP, MBPP+ 等基准测试中评估。

性能对比：
- RMI 50-75% (25% 数据)：在 HumanEval+ 上达到 72.56，与全量数据（72.56）持平，在 MBPP+ 上达到 58.47（全量 59.52）。
- 超越基线：显著优于随机采样（Random）、IFD 筛选、SCAR 等方法。例如，在 HumanEval+ 上，RMI 50-75% (72.56) 优于 IFD (66.46) 和 RDS+ (71.34)。
- 极端值危害：RMI 最高的 25% 样本（Top-25%）性能反而下降（HumanEval+ 降至 70.12），证实了“关键词回声”等缺陷模式的存在；RMI 最低的 25% 性能也较差，证实了语义错位。
模型分歧验证：
- Diff-High（强模型高分、弱模型低分）策略在 HumanEval+ 上得分为 71.95。
- Sum-High（强/弱模型均高分）策略得分为 68.90。
- 这表明分歧样本（Diff-High）比共识样本更具训练价值，且两者重叠率仅为 13.85%，证明了该策略挖掘了独特的优质数据子集。
稳定性：RMI 评分在训练前后高度稳定（相关性 $\rho=0.95$ ），适合一次性静态筛选。

5. 意义与影响 (Significance)

理论创新：打破了传统仅关注“指令跟随难度”的单一视角，确立了双向语义一致性（Bidirectional Semantic Coherence）在合成数据清洗中的核心地位。
解决合成数据痛点：提供了一种有效检测并过滤“语义错位”和“简单复述”等隐蔽噪声的方法，提升了合成数据的纯净度。
成本效益：通过筛选仅 25% 的高质量数据即可达到全量训练效果，为大规模代码模型训练提供了可扩展且低成本的解决方案。
通用性潜力：虽然当前聚焦于代码生成，但其基于互信息和模型分歧的筛选框架可推广至其他领域的指令微调数据清洗。

总结：QAQ 通过反向预测查询的能力（RMI）和强弱模型间的认知差异，成功从海量合成噪声中提炼出高价值的“黄金数据”，证明了**“少而精”**的数据筛选策略在提升代码生成模型性能方面的巨大潜力。