ViASNet: A Video Ad Saliency Network for Predicting Dynamic Saliency and Viewer Engagement
本文介绍了 ViASNet，这是一种基于 3D U-Net 架构的深度学习模型，它整合了音频和语义线索以预测短视频广告中的动态显著性图，并通过眼动追踪验证和基于熵的诊断展示了其优化广告设计并识别缺乏吸引力的内容的能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位导演，正在拍摄一则 30 秒的商业广告。你希望确保当人们观看时，他们的目光能精准地落在你期望的位置：产品、微笑的演员，或是引人注目的标志。但问题在于：你无法让一百万人观看你的广告，并为每一帧画面追踪他们的视线。那将既昂贵又缓慢。
本文介绍了ViASNet，这是一款旨在解决该问题的智能计算机程序。可以将 ViASNet 想象为一位“超级观察者”，它能观看视频广告，并逐秒即时预测人类的视线将落在何处。
以下是其工作原理的简化概念解析：
1. 问题：广告的“杂乱”
我们在 TikTok、YouTube 和电视上被短视频广告淹没。由于数量庞大，任何单一广告都难以吸引你的注意力。广告商需要一种快速测试广告的方法，以辨别哪些有效、哪些乏味。通常，他们必须雇佣人员，将其连接到眼动追踪摄像头，并观察他们盯着屏幕的样子。ViASNet 旨在自动完成这一过程。
2. 解决方案：一位“三感”侦探
大多数用于预测眼动的旧计算机模型仅关注画面（视觉）。它们就像一位只查看犯罪现场却忽略声音或故事的侦探。
ViASNet 则不同。它是一位同时关注三件事的“三感”侦探：
- 视觉： 屏幕上发生了什么？（有脸吗？有东西在移动吗？）
- 音频： 说了什么或听到了什么？（巨大的噪音或声音会让你抬头看吗？）
- 故事（语义）： 这个场景是关于什么的？（是悲伤的时刻？有趣的笑话？还是汽车追逐？）
为了理解“故事”，该系统使用一个巨大的 AI 大脑（称为 Qwen3-VL）来阅读视频，并像人类一样撰写描述场景的简短字幕。
3. 如何构建地图：“显著性图”
ViASNet 的目标是生成一张显著性图。想象一下给视频帧的照片涂上热力图：
- 红色/高温区域： 人们会注视的地方。
- 蓝色/低温区域： 人们会忽略的地方。
ViASNet 为视频的每一帧构建这张图，生成一个动态热力图，精确展示注意力如何随时间转移。
4. 秘诀：它是如何学习的
研究人员利用来自151 个真实电视广告的数据训练了 ViASNet，每个广告由约 20 人观看，同时通过高科技摄像头追踪他们的视线。
该模型通过将自身的预测与这 20 人的真实眼动进行对比来学习。它使用一种称为3D U-Net的特殊架构。
- 类比： 将 U-Net 想象成一个漏斗。它接收视频，将其压缩以理解核心思想（即“瓶颈”），然后再扩展回来，绘制出详细的热力图。
- “中心偏差”： 人类天生倾向于注视屏幕中心。ViASNet 知晓这一技巧，并在其预测中加入轻微的“中心偏差”，就像真实人类一样。
5. “熵”测试：衡量无聊程度
作者创建的最酷工具之一是测量熵（一个 fancy 词汇，意为“混乱”或“困惑”）的方法。
- 低熵（有序）： 如果热力图显示所有人都盯着一个点（例如中心的脸），则熵值较低。这意味着广告引人入胜。
- 高熵（混乱）： 如果热力图四处分散，或者人们没有特别注视任何地方，则熵值较高。这意味着广告令人困惑或乏味。
作者利用这一方法测试了 15 个他们从未见过的全新广告。他们能立即发现哪些场景导致观众失去焦点。例如，他们发现，如果一个场景包含太多物体或文字四处散落，观众的视线就会游移，“参与度得分”也会下降。
6. 结果：它比其他模型更出色
研究人员将 ViASNet 与其他著名的计算机模型进行了测试（有些仅看图片，有些看视频）。
- 结论： ViASNet 获胜。它预测人们视线位置的准确度超过了他们测试的任何其他模型。
- 原因： 因为它不仅观察像素，还理解了声音、故事以及场景之间的切换。它意识到当场景发生变化（即“切换”）时，人们的视线会自然地跳向中心以重新定位，并对此进行了考量。
总结
简而言之，ViASNet 是一款自动化工具，让广告商无需任何人类坐在实验室里，就能“透过”受众的眼睛观察。它结合了你所看到的、听到的以及故事的含义，以精准预测你的注意力将投向何处。如果一则广告乏味或令人困惑，该系统能确切告诉你发生在哪一秒，从而让创作者在投入大规模营销活动资金之前进行修正。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。