技术摘要：InteracVid

问题陈述

尽管大语言模型（LLMs）已将文本确立为人类与 AI 交互的默认媒介，但对于需要具有表现力、具身化响应的多模态助手、化身（avatars）和具身智能体而言，仅靠文本是不够的。近期的音视频生成模型虽然提高了合成的保真度和同步性，但其监督方式在很大程度上仍是描述性的：模型被训练去渲染由输入文本描述的内容，而非产生由外部用户交互所引起的响应。

现有的交互式音视频生成数据集存在三个主要局限性：

1. 缺乏因果结构： 它们通常将视频上下文与文本配对，但未能识别特定的反应性视频片段，也未能提供触发这些片段的用户侧查询（query）。
2. 模态限制： 许多数据集局限于谈话头像（talking-heads）或人类说话行为，缺乏多样化的物体交互、基于屏幕的操作或具身演示。
3. 缺失监督： 当前的资源无法提供足够的、由查询触发且具备上下文关联的交互式响应数据，即模型必须生成与特定用户刺激相匹配的音视频反应。

方法论

数据集构建：InteracVid

作者推出了 InteracVid，这是首个旨在解决交互式音视频响应生成中缺失监督问题的大规模开源数据集。该数据集通过直播视频构建，捕捉了主播对观众评论做出反应的自然交互循环。

构建流程采用了一种感知元数据的双分支方法，以处理原始直播流中的稀疏性和噪声问题：

1. 真实查询分支（自然交互）：

   • 对于带有时间戳实时聊天元数据的视频，系统将观众评论与随后的主播话语进行对齐。
   • 从字幕中构建句子级的语义时间线，以确定话语角色（主动独白 vs. 被动反应）。
   • 利用 LLM 过滤配对，以确保存在合理的“查询–响应”因果联系，从而提取完整的交互结构：前置上下文 ($C$)、用户查询 ($Q$) 以及真实的音视频响应 ($Y$)。

2. 重建查询分支（合成触发器）：

   • 对于缺乏聊天元数据的视频（如 VOD 录播视频），系统根据话语角色分类识别转录文本中的反应性响应时刻。
   • 视觉语言模型（VLM）观察局部视频上下文和响应转录文本，以重建一个可能触发该响应的合理用户查询。
   • 至关重要的是，目标响应 ($Y$) 始终从真实素材中提取；只有输入的查询条件是合成的。这确保了数据集始终植根于真实的真人反应。

数据处理与质量控制

• 规模： 该流程从 59K+ 个直播视频中提取了超过 454K 个上下文-查询-响应三元组，涵盖了以对话为中心、以物体为中心、程序化操作、具身行为以及基于屏幕的操作等多种场景。
• 多模态过滤： 严格的质量控制确保了语音与视觉之间的语义对齐。剔除了具有突发场景转换的片段。对提取的片段重新运行自动语音识别（ASR），以精炼转录文本并优化词级时间戳。
• 辅助字幕： 为每个片段生成辅助性的音视频字幕 ($T$)，结合语音和视觉观察，以支持训练与分析。

实验框架

作者提出了一个两阶段生成流水线，以应对交互式生成的复杂性：

1. 交互规划器（Interaction Planner）： 视觉语言模型（VLM）接收上下文 ($C$) 和查询 ($Q$)，预测一个具备交互感知能力的文本描述 ($T$)。
2. 音视频协同生成器（Audio-Video Co-Generator）： 基于扩散的模型（MOVA）接收描述 ($T$) 和上下文 ($C$)，合成最终的多模态响应 ($Y$)。

实验通过在 InteracVid 上微调规划器和生成器，并将其与零样本基线（zero-shot baselines）及预言家级字幕上限（oracle-caption upper bounds）进行对比。

核心贡献

1. InteracVid 数据集： 一个包含 454K+ 交互式三元组 ($C, Q, Y$) 的大规模高质量数据集，它明确地模拟了外部刺激与音视频响应之间的因果联系。它是唯一一个支持跨多样化视频领域、具备前置上下文的音视频输入/输出的数据集。
2. 感知元数据构建流程： 一种从长且充满噪声的直播流中提取交互式片段的新颖方法，利用双分支策略（真实查询与重建查询）在保持因果完整性的同时最大化数据覆盖范围。
3. 人工验证： 一项针对十名评分者的研究证实，无论是真实查询还是重建查询，都具有因果性、自然性和时间完整性。重建查询由于消除了原始直播聊天中常见的俚语和省略表达，其自然度得分略高。
4. 交互结构化数据的实证验证： 实验表明，在 InteracVid 上进行微调能显著提升上游交互规划器和下游音视频生成器的性能，证明了交互结构化数据是多模态智能体的关键基础。

结果

语义性能

在包含 100 个真实直播聊天查询的留出基准测试中：

• 生成器微调： 在 InteracVid 上微调音视频协同生成器（MOVA）在所有语义维度（相关性、恰当性、表现力）上均取得了实质性提升。例如，使用 Qwen3.5-9B 作为规划器时，整体得分（OVRL）提升了 +1.41。
• 规划器微调： 微调交互规划器也带来了持续的改进，尽管增幅小于生成器微调（例如，Qwen3.5-9B 的 OVRL 提升为 +0.44）。这表明学习如何规划交互式响应是一个显著的瓶颈。
• 预言家对比： 即使使用地面真值（Ground-truth）字幕（Oracle），微调生成器也仅获得了边际收益（+0.09 OVRL），这表明主要的局限在于规划正确的响应，而非渲染该响应。然而，Oracle 仍比表现最好的学习型规划器高出 0.71 OVRL，凸显了当前规划能力的差距。

人类评估

针对生成视频进行的 10 名评分者的独立人类评估，重现了自动 VLM 评判系统的排名（皮尔逊相关系数 $r \approx 0.96$）。

• 人类评分者确认，微调生成器是提升性能的主导因素（使用 InternVL 规划器时提升了 +1.68 OVRL）。
• 结果验证了模型是对查询而非仅仅是对场景做出反应，这一点通过交换查询后的反事实测试得到了证实：只有在模型具备查询感知能力时，相关性得分才能在更换查询后保持稳定。

音视频质量

在 InteracVid 上进行微调提升了底层生成指标：

• 视频： 主体一致性（+1.3%）、背景一致性（+1.2%）以及运动平滑度（误差减少 39.2%）均有所改善。
• 音频： 内容愉悦度（+3.4%）、内容有用性（+5.7%）以及制作质量（+5.6%）均有所提升。
• 同步性： 唇形同步距离改善了 4.1%，AV-Align 提升了 16.3%。
• 上下文音频： 实验表明，除了第一帧之外，引入前置音频作为条件可以显著提高说话人相似度和声学状态，恢复了相当一部分与真实录音之间的差距。

意义与主张

本文主张，交互结构化数据是下一代多模态智能体亟需解决的关键基础。虽然目前的模型在描述性生成方面表现出色，但在交互式生成（即产生由外部刺激因果触发的响应）方面仍面临困难。

作者提出：

1. 数据是瓶颈： 缺乏将外部刺激与具身化、反应性音视频响应相结合的数据集，阻碍了交互式智能体的进展。InteracVid 填补了这一空白。
2. 规划是主要挑战： 实验表明，学习如何规划一个合理的交互式响应（“思考者”阶段）仍然是一个比渲染该响应（“行动者”阶段）更为显著的瓶颈。
3. 泛化性： 该数据集的多样化覆盖范围（从物体操纵到基于屏幕的操作）使得研究更广泛情况下的音视频交互成为可能，超越了谈话头像数据集的局限性。

这项工作总结道，InteracVid 为研究能够做出具身化、有表现力且具备交互感知能力音视频响应的多模态助手提供了便利，为从基于文本的聊天机器人向真正的具身智能体和化身智能体演进提供了必要的监督。