APPO: Attention-guided Perception Policy Optimization for Video Reasoning

本文提出了注意力引导的感知策略优化（APPO）算法，通过利用令牌级密集奖励优化聚焦关键视频帧的感知令牌，在无需昂贵细粒度标注的情况下，以低成本显著提升了视频推理模型的细粒度感知能力。

要点

这篇论文介绍了一种名为 APPO 的新算法，它的核心目标是让 AI 在看视频回答问题时，“看得更清楚”，而不仅仅是“想得更深”。

为了让你轻松理解，我们可以把 AI 看视频解题的过程，想象成一个侦探在案发现场（视频）寻找线索并推理破案。

1. 核心发现：破案的关键是“观察”，而不是“脑补”

在传统的 AI 训练中，大家普遍认为：只要给 AI 装上更强大的“大脑”（推理能力），它就能解决更复杂的问题。就像给侦探配一个更聪明的助手，让他逻辑更严密。

但作者通过大量实验发现了一个反直觉的事实：

• 场景：假设侦探（AI）已经看到了现场，但没看清关键细节（比如：小猫到底是在睡觉还是在打哈欠？）。
• 尝试：如果你只给侦探换了一个更厉害的“逻辑大脑”（从普通侦探换成福尔摩斯），但现场画面还是模糊的，他破案率提升微乎其微（只涨了 0.7%）。
• 真相：如果你让侦探戴上“高清放大镜”（提升感知能力，看清画面细节），哪怕他的逻辑大脑没变，破案率也会大幅提升（涨了 1.4%）。

结论：在复杂的视频推理中，“看清细节”（感知）比“逻辑推理”更重要。如果连小猫在干什么都没看清，再强的逻辑也是瞎猜。

2. 痛点：以前的方法太“粗”了

以前的 AI 训练方法（如 GRPO、DAPO），就像是一个只给最终结果打分的考官。

• 考官说：“你答对了，奖励 10 分；答错了，扣 10 分。”
• 问题：考官没告诉侦探哪里看错了。是漏看了小猫的耳朵？还是没注意到猫尾巴的摆动？
• 后果：AI 为了拿高分，可能会学会“蒙答案”或者“背题”，而不是真正学会如何仔细观察视频的每一帧。而且，如果要人工标注每一帧哪里重要，成本太高了（就像请人把整部电影每一秒都写注释）。

3. 解决方案：APPO 算法 —— “聪明的观察员”

APPO 算法（Attention-guided Perception Policy Optimization）就像给侦探团队引入了一位**“智能观察员”**，它不需要人工标注，就能自动发现哪里是关键线索。

它的工作流程分为两步，我们可以用**“找茬游戏”**来比喻：

第一步：找出“关键帧”（Attention-guided Frame Selection）

• 做法：让一群侦探（AI 生成多个不同的回答）去分析同一个视频。
• 观察：
  • 高分侦探（答对的）：他们的目光（注意力）通常聚焦在正确的地方（比如小猫睡觉的那几秒）。
  • 低分侦探（答错的）：他们的目光可能飘到了别处（比如盯着背景里的椅子）。
• 策略：观察员会自动对比这两组人，锁定高分侦探盯着看、而低分侦探没注意到的那些画面帧。
• 比喻：这就好比老师批改作业，发现全班做对的同学都盯着黑板上的公式，而做错的同学在看窗外的鸟。老师立刻意识到：“哦！黑板上的公式才是解题关键！”

第二步：精细化奖励（Intra-group Perception Tokens Re-weighting）

• 做法：一旦锁定了“关键帧”，观察员会进一步分析：
  • 那些答对的侦探，在描述这个关键帧时，用了哪些词（Token）？
  • 那些答错的侦探，在描述同一个关键帧时，又用了哪些词？
• 奖励机制：
  • 如果某个词（比如“睡觉”）是高分侦探用来描述关键帧的，APPO 就大力奖励这个词，让模型以后多学学。
  • 如果某个词是低分侦探乱用的，APPO 就抑制它。
• 比喻：这就像教练在训练运动员。以前教练只说“你赢了/输了”。现在教练拿着慢动作回放说：“你看，冠军在起跑时眼睛是盯着终点的（关键帧），而输家是盯着地面的。下次你也像冠军一样盯着终点，就能赢！”

4. 为什么 APPO 很厉害？

1. 不用花钱请人标注：它不需要人类老师去写“这一秒小猫在睡觉”，而是通过 AI 自己生成的“好答案”和“坏答案”的对比，自动发现哪里重要。这叫**“低成本”**。
2. 越小的模型提升越明显：实验发现，对于能力稍弱（3B 参数）的模型，APPO 带来的提升比大模型（7B）更显著。就像给一个视力不好的人配了副好眼镜，他看世界的变化比视力好的人戴眼镜更巨大。
3. 举一反三：在没见过的视频类型（泛化能力）上，APPO 的表现也比以前的方法更好，因为它真正学会了“如何观察”，而不是死记硬背。

总结

这篇论文告诉我们：在教 AI 看视频时，不要只盯着它的“逻辑大脑”练，更要帮它练好“火眼金睛”。

APPO 就像是一个自动化的“观察力训练师”，它通过分析 AI 自己的回答，自动找出视频中最重要的细节，并告诉 AI：“看这里！这才是关键！”从而让 AI 在不需要昂贵人工标注的情况下，变得更聪明、更敏锐。

技术摘要

APPO: 注意力引导的感知策略优化 (Attention-guided Perception Policy Optimization) 技术总结

1. 研究背景与问题定义

核心问题：现有的视频推理任务（Video Reasoning）往往过度依赖“专家级”的推理能力，而忽视了**细粒度感知（Fine-grained Perception）**的重要性。

• 观察发现：通过“分而治之”的实证研究，作者发现当感知能力固定时，将推理模型从 Qwen3-8B 升级到 OpenAI-o3，性能仅提升 0.7%；反之，当推理模型固定，仅将感知模型从 7B 升级到 32B（规模微小变化），性能却提升了 1.4%。
• 结论：在复杂的视频推理场景中，提升感知能力比提升推理能力对整体性能的提升更为关键。
• 现有挑战：
  1. 现有的强化学习（RL）方法（如 GRPO, DAPO）主要依赖稀疏的结局奖励（Outcome Rewards，如最终答案正确与否），缺乏细粒度的引导信号。
  2. 获取细粒度的感知标注（如关键帧、物体位置）成本高昂，难以大规模应用。
  3. 如何在不依赖昂贵标注或额外奖励模型的情况下，通过推理过程本身来增强模型的细粒度感知能力？

2. 方法论：APPO 算法

为了解决上述问题，作者提出了 APPO (Attention-guided Perception Policy Optimization) 算法。其核心思想是利用Token 级别的稠密奖励来优化模型对关键视频帧的感知。

核心流程

APPO 主要包含两个核心步骤：

步骤一：注意力引导的帧选择 (Attention-guided Frame Selection)

• 原理：模型对视频帧的注意力分数（Attention Scores）是其感知能力的内在表征。高奖励的回答通常关注了正确的关键帧，而低奖励的回答往往忽略了这些帧。
• 操作：
  1. 将一组（Group）响应 $G$ 根据奖励分数分为高奖励集 $S_1$ 和低奖励集 $S_2$。
  2. 计算每个响应 Token 到视频帧的注意力权重。
  3. 分别提取 $S_1$ 和 $S_2$ 中主要关注的帧集合 $\psi_{S1}$ 和 $\psi_{S2}$。
  4. 通过三种策略（Hard, Soft, All）确定最终的目标关键帧集合 $\psi'$。通常采用 Hard 策略（即 $\psi' = \psi_{S1} \setminus \psi_{S2}$），即重点关注高奖励组关注但低奖励组忽略的帧，以此将稀疏的结局奖励转化为稠密的帧级引导信号。

步骤二：组内感知 Token 重加权 (Intra-group Perception Tokens Re-weighting)

• 定义：将不同响应中关注同一关键帧的 Token 定义为**“组内感知 Token" (Intra-group Perception Tokens)**。
• 机制：
  1. 对于每个选定的关键帧，收集所有响应中关注该帧的 Token 组。
  2. 利用 KL 散度 (KL Divergence) 衡量同一组内不同 Token 的概率分布差异。
  3. 重加权策略：优先学习来自高奖励路径的 Token，抑制来自低奖励路径的 Token。
  4. 计算每个 Token 的重要性权重 $W$，并将其引入到策略优化目标函数中。
• 目标函数：在标准的 GRPO/DAPO 损失函数基础上，乘以 Token 级别的权重 $W$，使得模型在优化过程中更专注于那些能够正确感知关键帧的 Token。

3. 主要贡献

1. 量化感知与推理的影响：通过模块化实验（控制变量法），首次量化证明了在视频推理中，增强感知能力比增强推理能力更能显著提升性能。
2. 提出 APPO 算法：设计了一种无需额外标注或奖励模型的算法，通过推理过程中的注意力机制，自动挖掘关键帧并生成 Token 级别的细粒度奖励，实现感知与推理的联合优化。
3. 广泛的实验验证：在多个视频基准测试（SEED-Bench-R1, Perception Test, NExT-GQA 等）和不同规模模型（3B, 7B）上验证了有效性，证明了其低成本的优越性。

4. 实验结果

• 性能提升：
  • 在 SEED-Bench-R1 基准上，APPO 相比 DAPO 在 3B 模型上提升了 3.2%，在 7B 模型上提升了 0.5%。
  • 在 Perception Test 上，APPO 同样取得了显著优于 GRPO 和 DAPO 的结果。
  • 在细粒度时空感知任务 NExT-GQA 中，APPO 在 mIoU 指标上表现最佳，证明了其增强感知定位能力的有效性。
• 泛化能力：在分布外（OOD）测试数据（Level-2 和 Level-3）上，APPO 的改进幅度（最高达 3.2%）远大于分布内数据，显示出更强的泛化性。
• 训练动态：
  • APPO 在训练过程中表现出更高的生成熵 (Generation Entropy) 和梯度范数 (Grad Norm)，表明模型拥有更大的探索空间，避免了模式坍塌。
  • 相比其他视频推理模型（如 Video-R1, VideoChat-R1），APPO 仅使用 34K 的训练数据（远少于其他模型的 260K+），却取得了 SOTA 或极具竞争力的性能。

5. 意义与价值

• 低成本高效益：APPO 提供了一种无需昂贵细粒度标注即可提升模型感知能力的新范式，极大地降低了视频推理模型优化的门槛和成本。
• 理论洞察：纠正了以往过度追求复杂推理模型而忽视基础感知能力的误区，为多模态大模型（MLLM）的优化方向提供了新的视角。
• 通用性：该算法不仅适用于视频推理，其“通过推理反馈优化感知”的思路也可推广至其他需要细粒度感知的视觉任务中。

总结：APPO 通过巧妙利用注意力机制将稀疏奖励转化为稠密的 Token 级感知信号，成功实现了“以推理促感知”，在低资源消耗下显著提升了多模态大模型的视频理解与推理能力。