💻 computer science

CARE: Competence-Aware Reward Shaping for Adaptive Reasoning Length in Video-MLLMs

本文介绍了 CARE，一种能力感知型奖励塑造框架，该框架通过根据模型不断演进的性能，实现从以探索为导向的长篇推理向以效率为导向的简洁推理的过渡，从而在不增加推理开销的情况下，动态调整视频多模态大语言模型（video-MLLMs）的推理长度，进而提高准确性、训练稳定性和 Token 效率。

原作者： Chengwen Liu, Hao Peng, Jisheng Dang, Hong Peng, Bin Hu, Tat-Seng Chua

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chengwen Liu, Hao Peng, Jisheng Dang, Hong Peng, Bin Hu, Tat-Seng Chua

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人通过视频片段来解决复杂的谜题。你希望机器人能在给出答案之前，“边做边说”（展示其思考过程）。但有一个难点：机器人应该“思考多少”，取决于两件事：机器人当前有多聪明，以及谜题有多难。

这篇论文介绍了一种名为 CARE（能力感知奖励塑造，Competence-Aware Reward Shaping）的新型训练方法，旨在解决一个特定问题：现有的方法将机器人的“思考时间”视为一种固定的规则书。它们要么规定“始终思考 5 分钟”，要么规定“始终控制在 2 分钟以内”。

作者认为，这就像是在教一个孩子游泳时，无论是在浴缸里还是在深海里，都告诉他要“始终踢腿 50 次”。

以下是 CARE 的工作原理，使用简单的类比进行说明：

1. 问题所在：“一刀切”的陷阱

过去，研究人员使用静态规则。

训练初期： 机器人是一个“新手”。它需要探索许多不同的路径来找到正确答案。如果你强迫它保持简洁，就会切断它的学习过程。
训练后期： 机器人成为了“专家”。它能很快找到正确的路径。如果你仍然让它啰里啰嗦地思考很长时间，它只会浪费能量并不断重复（就像一个已经知道答案的学生，为了凑字数而反复书写同样的句子）。

静态规则之所以失败，是因为它们不知道机器人何时已经“长大成人”。它们要么在过早阶段阻止机器人探索，要么在后期让机器人变得懒散且冗长。

2. 解决方案：CARE（“聪明的教练”）

CARE 扮演着一位聪明的教练的角色，实时观察机器人的进步情况并随时调整规则。

“能力监测器”（教练的眼睛）：
教练会记录机器人表现的移动平均值。如果机器人今天解开了一个很难的谜题失败了，教练不会惊慌，而是观察长期趋势。这告诉教练：“这个机器人现在是新手、探索者、熟练学生，还是大师？”
“阶段路由”（规则书的变更者）：
根据教练的评估，规则会发生变化：
- 新手阶段： 教练说：“尽情发挥吧！需要思考多久就想多久。不用担心啰嗦。我们需要找到解决方案。”
- 探索者阶段： “你进步了。继续探索，但开始删减冗余内容。”
- 熟练/大师阶段： “你现在是专家了。请保持简洁。如果用 10 个词就能解决，就不要用 100 个词。我们要的是效率。”
“难度归一化器”（上下文检查）：
教练知道有些谜题本身就比其他的更难。如果机器人正在解决一个超级困难的视频谜题，教练会允许更长的回答。如果是一个简单的谜题，教练则要求简洁。这防止了机器人因为回答短就认为难题“简单”，或者因为回答长就认为简单题“难”。
“惊喜放大器”（啦啦队）：
有时，一个新手机器人通过偶然或运气猜中了一个超级难的问题。教练会注意到这种“意料之外的成功”，并给予巨大的奖励，说：“哇！太精彩了！保持这种特定的思考方式！”这有助于机器人在困难任务上学得更快。

3. 结果：“倒 U 型”旅程

如果你观察机器人随时间变化的行为，它会遵循一个特定的模式，就像一座山丘：

上升期（扩张）： 在开始阶段，机器人的回答会变得更长。它正在探索每一个角落以掌握基本功。
顶峰： 它达到了知识的巅峰。
下降期（压缩）： 随着它掌握了这项技能，它的回答会变得更短、更精炼。它不再啰嗦，而是开始传递完成任务所需的“高密度”信息。

4. 为什么这很重要

作者在视频推理（观看视频并回答问题）上测试了这一点。

旧方法： 机器人要么陷入简短、不完整的想法中，要么浪费时间写冗长的重复故事。
CARE 方法： 机器人学会了完美地分配它的“思考预算”。它会在困难的视频上花费更多时间，而在简单的视频上花费极少的时间。

核心结论：
CARE 教会了 AI 如何适应环境。它明白，变得“聪明”不仅仅是得到正确答案，而是要懂得为了得到那个答案应该投入“多少精力”。到训练结束时，机器人不仅更准确，而且更快速、更高效，能用更少的“词汇”（Token）表达同样的意思。

作者提供了这个“聪明教练”系统的代码，证明了它在实际测试阶段不需要任何额外的计算能力——它只是让训练过程变得更聪明。

技术摘要：CARE (能力感知奖励塑造)

1. 问题陈述

在多模态视频推理（特别是视频问答 VideoQA）中，模型必须处理异构输入、追踪时间变化并组合中间推理过程。虽然近期的后训练方法利用强化学习 (RL) 来鼓励显式的思维链 (Co-T) 推理，但现有方法依赖于静态的推理长度控制策略（例如固定的奖励、惩罚或阈值）。

本文识别了一个关键的能力–约束失配 (competence–constraint mismatch) 问题，这在这些静态设计中表现得尤为明显：

训练早期： 当模型能力较低时，静态的简洁性惩罚可能会过早地截断有用的探索轨迹，从而阻止模型发现必要的推理路径。
训练后期： 随着模型能力的提升，对长推理的静态激励会鼓励冗余的叙述、自我验证式的填充以及低效的解码，在不提升解题质量的情况下消耗大量 Token。
静态归一化： 固定长度的归一化无法考虑到实例的难度，往往会对困难样本中必要的长推理进行惩罚，或者未能对简单样本中的冗余进行惩罚。

核心问题在于，理想的“推理预算”是非平稳的；它应当在探索阶段扩张，并在巩固阶段收缩，然而目前的 RL 框架将其视为一个固定的超参数。

2. 方法论：CARE 框架

作者提出了 CARE (Competence-Aware Reward Shaping，能力感知奖励塑造)，这是一个集成到 GRPO (Group Relative Policy Optimization) 流水线中的训练时奖励框架。CARE 能够根据模型不断演进的能力动态调整推理长度的奖励偏好，且无需推理时的控制器。

核心组件

能力监测器 (EMA)：
- CARE 并非使用瞬时批次准确率（因为其具有噪声），而是通过使用组通过率的指数移动平均 (EMA) 来维护一个平滑的模型能力估计值 ( $P_{b,t}$ )。
- 这提供了一个稳定的全局状态变量，用于追踪长期能力趋势。
阶段感知路由 (Stage-Aware Routing)：
- 根据能力阈值，将训练分为四个递进阶段：新手 (Novice)、探索者 (Explorer)、熟练者 (Proficient) 和大师 (Master)。
- 新手/探索者阶段： 奖励强烈倾向于长推理，以最大化探索空间。
- 熟练者/大师阶段： 奖励转向惩罚冗余，倾向于简洁、信息密集的推理。
- 这种路由确保了模型在获得足够的推理模式之前不会被过度压缩。
难度感知的努力度评分 (Difficulty-Aware Effort Scoring)：
- 原始 Token 长度相对于批次上下文进行归一化，以避免将冗余与内在任务复杂度混淆。
- 使用批次统计数据（正确回答的平均长度、第 75 百分位数）和稳定底线 ( $T_{floor}$ ) 来计算归一化后的努力度得分 ( $z$ )，以防止过早截断。
- 使用 Sigmoid 函数根据当前阶段的偏好系数 ( $k_s$ ) 来调节奖励。
后验放大器 (Posterior Amplifier)：
- 为了区分常规结果与出人意料的强劲表现，CARE 引入了一个放大因子 ( $A$ )。
- 如果一组的通过率显著超过历史能力估计值 ( $\Delta_{diff}$ )，则会放大奖励。这对于强化在历史上困难样本上的成功探索特别有用。
最终奖励组装：
- 总奖励结合了任务准确率 ( $R_{acc}$ )、格式奖励以及 CARE 努力度奖励 ( $R_{CARE}$ )。
- 努力度项由正确性门控： $R_{CARE} = R_{raw} \cdot R_{acc}$ 。
- 最终目标为 $R_{total} = R_{acc} + R_{format} + R_{CARE} + \lambda_{temp}R_{temporal}$ 。

3. 主要贡献

识别失配： 本文正式识别出静态推理长度奖励会施加一种固定的预算偏好，这与模型能力在 RL 中的非平稳性质相冲突。
CARE 框架： 一种新型的奖励塑造机制，通过基于能力的阶段路由、难度归一化和后验放大，实现从面向探索的长篇推理向面向效率的简洁推理的过渡。
涌现的自适应性： 该方法诱导了一种自适应推理策略，使模型能够自我组织，将更多推理分配给困难实例，并将更少推理分配给简单实例，且无需显式的推理时控制器。

4. 实验结果

实验基于 Qwen2.5-VL-7B 主干网络，使用 Video-R1 数据集（260k 对）进行，并在多个基准测试上进行了评估。

性能增益

视频推理： CARE 在推理密集型数据集上显著优于 Video-R1 基线：
- VSI-Bench： 从 30.3 提升至 33.9。
- VideoMMMU： 从 47.2 提升至 50.2。
- MMVU： 从 63.5 提升至 64.2。
通用视频理解： 在 MVBench、TempCompass 和 VideoMME 上均观察到持续的改进，证明了效率的提升并未以牺牲通用感知能力为代价。
扩展性： 当输入帧数从 16 增加到 64 时，性能增益保持一致，表明其对更丰富的时序上下文具有鲁棒性。

效率与训练动态

Token 效率： CARE 在保持或提高准确率的同时，实现了显著的 Token 消耗降低（在某些基准测试中高达 ~41%）。
倒 U 型轨迹： 训练动态揭示了一个特征性的“扩张-压缩”循环。随着能力增长，推理长度先增加（探索），然后减少（巩固），这与维持固定且往往是次优长度的静态基线形成对比。
消融实验：
- 去除能力感知路由（固定步长法）会导致性能大幅下降，证实了静态阶段转换是不充分的。
- 去除后验放大器或 EMA 平滑会导致训练不稳定或在困难实例上表现下降。
- 稳定底线 ( $T_{floor}$ ) 对于防止训练坍塌为平凡的短响应至关重要。

5. 重要性与主张

本文主张 CARE 提供了一种在推理探索与执行效率之间取得原则性平衡的方法。其主要意义在于：

自适应预算分配： 证明了推理长度应被视为一个随策略演进的可控预算，而非一个静态的正则化项。
训练时内化： 展示了自适应行为可以在训练期间被“内化”到策略中，从而消除了对复杂推理时控制器或事后截断的需求。
鲁棒性： 该框架稳定了 RL 训练，防止了在“过度思考”与“思考不足”之间的震荡，并在收敛时产生更短但信息量更丰富的推理轨迹。

作者也谦虚地指出，虽然目前的超参数设置提供了良好的平衡，但绝对最优值可能会随模型规模或数据混合比例的变化而变化。其核心贡献在于验证了能力感知自动奖励塑造作为一种可解释且有效的多模态推理系统训练机制的有效性。