ADHint: Adaptive Hints with Difficulty Priors for Reinforcement Learning

该论文提出了 ADHint 方法，通过引入样本难度先验来动态调整提示比例，并结合一致性梯度调制与基于难度的优势估计，有效解决了现有基于提示的强化学习方法中探索与模仿失衡及训练不稳定的问题，从而显著提升了模型的推理能力与泛化性能。

要点

这篇论文介绍了一种名为 ADHint 的新方法，旨在让大型人工智能模型（特别是那些能看图、做数学题的“多模态大模型”）变得更聪明、推理能力更强。

为了让你轻松理解，我们可以把训练 AI 的过程想象成教一个学生（AI）做高难度的数学竞赛题。

1. 以前的困境：要么“太笨”，要么“太依赖”

在 ADHint 出现之前，教 AI 做难题主要有两种笨办法：

• 纯靠自己摸索（传统强化学习）：
  老师（算法）只给题目，不给答案。学生（AI）自己瞎猜。
  • 问题： 如果题目太难，学生根本猜不出来，或者猜了一万次还是错。这就叫“样本效率低”，学得太慢，而且能力上限被锁死了，只能学会它本来就会的那点东西。
• 直接抄作业（现有的“提示”法）：
  老师直接给出一部分解题思路（Hint，提示），让学生接着往下写。
  • 问题： 以前的方法不管题目难易，给所有学生发同样长度的“提示”。
    • 对于简单题，给提示是画蛇添足，学生反而变笨了。
    • 对于难题，给的提示可能不够用，或者给多了，学生就死记硬背提示里的内容，完全失去了自己思考的能力。一旦考试（测试）时没有提示，学生就彻底懵了。

2. ADHint 的核心理念：因材施教 + 聪明地“抄”

ADHint 就像一位超级金牌教练，它有两个绝招，专门解决上述问题：

绝招一：根据“难度”动态调整提示量（Adaptive Hint）

• 以前的做法： 无论题目多难，都发一张写满 50% 解题步骤的纸条。
• ADHint 的做法：
  1. 先让学生裸考一下（生成“无提示”的尝试），看看他卡在哪里。
  2. 如果学生完全不会（难度高），教练就给他多写点提示，帮他起步。
  3. 如果学生其实会做（难度低），教练就少给点提示，甚至不给，逼他自己思考。
  • 比喻： 就像教骑自行车。对刚学的人，你扶着车座跑（多提示）；对快学会的人，你只在后面轻轻推一下（少提示）。这样学生既能学会骑车，又不会依赖你的手。

绝招二：聪明地“批改”和“鼓励”（Advantage Estimation & Gradient Modulation）

这是 ADHint 最厉害的地方，它解决了“抄作业”带来的副作用。

• 问题： 如果学生照着提示写对了，以前的算法会疯狂奖励他。结果学生发现：“哦，原来只要照着提示抄就能得高分！”于是他开始只模仿提示，不再动脑子。
• ADHint 的解法：
  1. 看难度给分（Rollout Difficulty Posterior）：
     • 如果学生靠自己（无提示）解出了难题，哪怕过程慢一点，也要给大奖（因为这说明他真学会了）。
     • 如果学生照着提示解出了简单题，奖励要打折（因为太容易了，没体现进步）。
     • 如果学生照着提示还是做错了，那就重罚（说明提示也没帮上忙，或者他根本没理解）。
  2. 防止“走火入魔”（Consistency-based Gradient Modulation）：
     • 有时候提示里的写法（比如用词、逻辑）和 AI 自己的风格差别太大。如果 AI 强行模仿，就会变得“精神分裂”（熵值崩溃）。
     • ADHint 会检查：AI 在接提示后面的部分，是不是还保持着自己的思考风格？如果接得太生硬、太像机器人，就降低那部分的奖励权重，强迫 AI 保持自己的“人格”。

3. 最终效果：既博学又独立

通过这套方法，ADHint 训练出来的 AI 模型：

• 不再死记硬背： 它学会了利用提示作为“脚手架”，而不是“拐杖”。
• 举一反三： 在没提示的考试（测试）中，它依然能表现出极强的推理能力，甚至能解决以前解决不了的难题。
• 适应性强： 无论是做数学题、看图说话，还是回答医学问题，它都能稳定发挥。

总结

简单来说，ADHint 就是给 AI 请了一位懂得“因材施教”的私教。
它不再是一刀切地给提示，而是先诊断学生的水平，再决定给多少提示；并且在批改作业时，更看重学生“自己思考”的部分，而不是“抄作业”的部分。

这让 AI 从“只会背答案的做题机器”，进化成了“真正懂得思考的解题高手”。

技术摘要

ADHint 论文技术总结

论文标题：ADHint: Adaptive Hints with Difficulty Priors for Reinforcement Learning (基于难度先验的自适应提示强化学习)
作者单位：阿里巴巴集团、北京理工大学、北京大学等

1. 研究背景与问题定义

在大语言模型（LLM）和多模态大语言模型（MLLM）的强化学习（RL）后训练阶段，特别是基于可验证奖励的强化学习（RLVR，如 GRPO），面临着两个核心挑战：

1. 能力扩展受限：传统的 RLVR 主要放大模型已有的行为并优化已知推理链，难以突破基座模型的能力边界，无法真正习得全新的推理能力。
2. 样本效率低：学习过程受限于当前策略的性能，导致奖励信号稀疏，难以有效利用高难度样本。

为了解决这些问题，近期研究引入了“提示（Hints）”机制，即利用离线（Off-policy）数据中的完整推理轨迹的前缀来引导模型。然而，现有的基于提示的 RL 方法存在以下关键缺陷：

• 忽视难度因素：在提示比例（Hint Ratio）调度中，未考虑样本难度，导致简单样本获得过多提示（过拟合），而困难样本提示不足。
• 优势估计偏差：在相对优势估计中，将带有提示的轨迹（Hint-rollouts）和无提示轨迹（Naive-rollouts）混在一起计算。由于提示轨迹通常更简单且更长，容易获得更高的正奖励，导致模型过度模仿离线提示分布，丧失了自主探索能力，甚至引发训练崩溃（Entropy Collapse）。

2. 核心方法论：ADHint

ADHint 提出了一种显式将“难度”融入提示比例调度和相对优势估计的框架，旨在在“探索（Exploration）”和“模仿（Imitation）”之间取得更好的平衡。其核心包含四个模块：

2.1 基于样本难度先验的自适应提示 (AH-SDP)

• 机制：对于每个样本，模型首先进行无提示的推理（Naive-rollouts），根据这些轨迹的平均奖励计算样本难度先验（Sample Difficulty Prior）。
• 调度：根据难度先验动态调整该样本的提示比例（Hint Ratio）。
  • 难度高的样本：分配较高的提示比例，提供必要的引导。
  • 难度低的样本：分配较低或零提示比例，鼓励自主探索。
• 目的：确保生成的带提示轨迹（Hint-rollouts）始终处于“中等难度”区间，提供低方差的更新信号，避免模型因提示过多而退化为简单的文本补全。

2.2 基于 rollout 难度后验的优势估计 (AE-RDP)

• 问题：传统方法将提示轨迹和无提示轨迹混同计算优势，导致提示轨迹因更容易获得正奖励而主导更新，使模型过度拟合离线分布。
• 机制：引入Rollout Difficulty Posterior。分别计算无提示轨迹和提示轨迹的难度分数。
  • 正奖励调整：对于难度更高且获得正奖励的无提示轨迹，赋予更大的优势值（因为它们代表了当前策略的真实进步）。
  • 负奖励惩罚：对于难度较低但获得负奖励的提示轨迹，施加更重的惩罚。
• 目的：平衡两类轨迹的学习权重，防止模型仅学会“补全提示”而丧失独立推理能力。

2.3 基于一致性的梯度调制 (CGM)

• 问题：离线提示的语言风格、知识结构和长度可能与当前策略模型差异巨大，直接学习可能导致分布偏移。
• 机制：计算提示 Token 的熵与模型自主生成的后续部分（Continuation）的平均熵之间的一致性。
  • 如果提示 Token 的熵与模型自身分布差异过大，则降低其梯度权重。
• 目的：防止模型被离线提示的分布“带偏”，保持策略模型的内在分布稳定性。

2.4 提示保留的选择性掩码 (Selective Masking)

• 机制：对于带有提示但整体推理结果错误（负优势）的轨迹，**屏蔽（Mask）**提示前缀部分的梯度更新。
• 目的：提示前缀通常被视为“正确”的引导，如果因为后续推理错误而惩罚前缀，会产生冲突的梯度信号，导致训练不稳定。

3. 主要贡献

1. 理论发现：揭示了“难度”是提示比例调度和相对优势估计中的关键信号，忽视难度会导致训练不稳定和过度拟合离线分布。
2. 方法创新：提出了 ADHint 框架，通过 AH-SDP、AE-RDP、CGM 和 Selective Masking 四个组件，实现了提示引导与自主探索的良性平衡。
3. 广泛验证：在多种模态（多模态/纯文本）、不同模型规模（3B-30B+）、不同模型家族（Qwen, MiMo 等）及不同领域（数学、逻辑、医疗）的基准测试中，均取得了显著的性能提升。

4. 实验结果

• 多模态模型 (MLLMs)：
  • 在 Qwen2.5-VL-7B 上，ADHint 相比基线 GRPO 在 Pass@1 和 Avg@8 上分别提升了 2.1% 和 2.0%。
  • 相比其他基于提示的方法（如 StepHint, HintGRPO, GHPO），ADHint 在多个基准（MathVista, MMMU, LogicVista 等）上取得了 SOTA 性能，且泛化性更强。
  • 在 Qwen3-VL 和 MiMo-VL 上也验证了方法的通用性。
• 纯文本模型 (LLMs)：
  • 在 Qwen2.5-Math-7B 的数学推理任务中，平均准确率提升了 2.4%，证明了方法在不同模态下的有效性。
• 跨域泛化：
  • 在医疗视觉问答（Medical VQA）这一高难度、分布外（OOD）任务上，ADHint 相比 GRPO 提升了 1.7%，展现了强大的知识迁移能力。
• 训练动态：
  • 实验显示，ADHint 在训练过程中保持了稳定的熵值（未出现崩溃），奖励信号方差更低，且模型能够持续学习长程推理能力，而不会退化为简单的提示补全。

5. 意义与结论

ADHint 为基于提示的强化学习提供了一个 principled（有原则的）解决方案。它不再将提示视为静态的引导，而是将其视为一个需要根据样本难度和推理难度动态调整的学习信号。

• 解决痛点：有效解决了现有方法中因提示比例固定导致的训练不稳定，以及因优势估计偏差导致的模型过度模仿问题。
• 实际价值：使得模型能够从高质量的离线专家数据中高效学习，同时保留并增强自身的探索能力，从而突破基座模型的能力边界，实现真正的推理能力进化。
• 未来展望：虽然 ADHint 表现优异，但在更大规模模型（32B+）上的扩展性以及对不可验证答案任务的泛化性仍需进一步研究。

总结：ADHint 通过引入“难度感知”机制，成功调和了 RL 中“模仿专家”与“自我探索”的矛盾，显著提升了大模型在复杂推理任务中的表现和泛化能力。