技术摘要：READ —— 用于生成准确且连贯音频描述的强化学习框架

问题陈述

音频描述（Audio Description, AD）旨在为盲人和低视力受众生成简洁的自然语言叙述，以描述关键的视觉内容。与密集的视频字幕生成不同，AD 受叙事上下文和交付时间的严格约束，要求描述必须插入在对话之间，且不得干扰原始音频。高质量的 AD 需要具备两个关键能力：准确选择显著的视觉信息（动作、表情、场景变化），以及生成能与周围故事自然融合的连贯叙述。

现有方法面临显著局限性：

1. 免训练提示词（Training-free prompting）： 依赖于使用手工设计提示词的现成多模态模型。这些方法往往无法匹配特定的 AD 风格，且缺乏任务特定学习，导致性能遭遇瓶颈。
2. 基于训练的方法（Training-based methods）： 通常通过优化的轻量级投影器对模型进行适配（监督式微调，即下一标记预测）。虽然它们能生成更符合领域特征的描述，但往往无法充分挖掘模型的潜力，并容易导致生成内容趋向于泛泛而谈的通用表达。至关重要的是，下一标记预测优化的是局部标记匹配，而非序列层面的属性，如内容特异性和与周围上下文的叙事一致性。

方法论：READ 框架

作者提出了 READ（基于强化学习的自动音频描述框架），这是第一个利用强化学习（RL）进行音频描述生成的训练型框架。READ 将 AD 生成视为一个序列级优化问题，而非仅仅依赖于标记级的监督。

核心算法：GRPO

READ 构建于 组相对策略优化（Group Relative Policy Optimization, GRPO） 之上，这是近端策略优化（PPO）的一种变体，它避免了训练额外的价值模型，从而提高了计算效率。对于每个输入，策略模型会采样一组响应，并通过在组内进行归一化处理来估计每个响应的相对优势。

奖励设计

READ 采用了一个由四个部分组成的统一奖励函数来引导策略：

1. 准确性奖励 ($R_{acc}$)：衡量序列对人工编写参考文本的忠实度，使用 ROUGE-1、ROUGE-2 和 ROUGE-L 分数的平均值。这取代了标准的下一标记预测损失，以鼓励忠实的细节选择。
2. 格式奖励 ($R_{fmt}$)：强制执行结构合规性，要求中间推理过程被包含在 <thought> 标签中，最终的 AD 被包含在 <answer> 标签中。这使输出标准化，以便进行可靠的奖励计算。
3. 长度奖励 ($R_{len}$)：解决时间约束问题，通过将生成的描述字数与地面真值（Ground Truth）进行比较。在预定义的长度差异范围内的响应将获得正向奖励，确保描述符合可用的叙述窗口。
4. 连贯性奖励 ($R_{coh}$)：一项新颖的贡献，旨在促进叙事连续性。
   • 上下文感知训练：模型在形式为 {context, clip} → AD 的实例上进行训练，其中上下文由时间上最近的相邻 AD 组成。
   • 门控机制：仅当响应的准确性得分超过阈值 ($\tau_{acc}$) 时，才会应用连贯性评估，以防止模型因生成了上下文合理但视觉不准确的描述而获得奖励。
   • 反复制掩码（Anti-Copy Masking）：为了防止通过简单重复上下文词汇来获取微小的收益，连贯性得分使用经过掩码处理的平均对数概率进行计算，该掩码会忽略与上下文重叠的 n-gram。
   • 评分：一个轻量级的、经过 AD 适配的 LLM (LLM-AD*) 会评估给定上下文下响应的条件合理性。在一次 Rollout 组中，排名在前 $k$ 的响应会获得离散的正向奖励。

最终奖励为加权和：$R_i = R_{acc} + \lambda_1 R_{fmt} + \lambda_2 R_{len} + \lambda_3 R_{coh}$。

核心贡献

1. 首个基于 RL 的 AD 训练框架：READ 将强化学习引入自动音频描述生成领域，建立了一种超越标准监督式微调的新型优化范式。
2. 专门的连贯性奖励：本文引入了一种特定的连贯性奖励机制，通过利用准确性门控和反复制掩码，显式地优化叙事一致性和上下文感知能力，确保描述既忠实于视频片段，又与故事流衔接。
3. 全面的评估：该框架在三个标准基准测试（MAD-Eval, CMD-AD, TV-AD）上进行了验证，证明其性能显著优于免训练和基于训练的基线方法。

实验结果

实验基于 Qwen3-VL-8B（骨干网络）和 GPT-2（用于 LLM-AD*）进行。

• MAD-Eval 上的表现：READ 持续优于所有先前的方法。使用 Qwen3-VL-8B 时，其 BLEU-1 得分为 22.7（次优方法为 15.9），CIDEr 为 40.0（次优为 28.2），ROUGE-L 为 20.8（次优为 17.6）。它也在 AD 特定指标如 Recall@5/16 (61.7) 和动作得分 (Action score, 36.1) 上处于领先地位。
• 泛化能力 (CMD-AD & TV-AD)：READ 在这些基准测试上也取得了最佳整体表现，将 CMD-AD 上的 CIDEr 分数从 26.1 提升至 33.7，并在 TV-AD 的所有指标上排名第一。
• 连贯性评估：通过条件对数概率进行的定量分析显示，与基线相比，带有 $R_{coh}$ 的 READ 实现了最低的困惑度（Perplexity, 99.5）和最高的对数概率（LogP, -3.61），证实了其改进的上下文兼容性。
• 消融实验：
  • 基于 RL 的训练显著优于零样本（Zero-shot）和 SFT 基线。
  • 去除长度奖励会导致“奖励作弊”，产生过于简短且通用的描述。
  • 去除连贯性奖励会导致连贯性指标和标准质量指标下降，证明了连贯性优化并不会牺牲描述的忠实度。
  • 门控和掩码机制对于防止模型单纯复制上下文至关重要。

意义与主张

论文声称 READ 展示了强化学习作为一种极具前景的范式，用于生成准确、独特且具备上下文兼容性的音频描述。通过从标记级预测转向具有针对性（涵盖忠实度、格式、长度和连贯性）的序列级优化，READ 解决了当前 AD 系统的一个核心问题：倾向于使用通用表达以及缺乏叙事连续性的问题。

作者指出，尽管 READ 代表了重要的进步，但仍存在局限性。连贯性建模依赖于外部启发式规则（门控、掩码）和外部评分器，可能无法完全捕捉高层级的叙事结构。此外，目前的框架侧重于局部文本上下文，尚未显式地对更长程的故事结构、对话语义或音频线索进行建模。其在非英语语言及更广泛领域的泛化能力仍是未来探索的开放课题。