DualFact+: A Multimodal Fact Verification Framework for Procedural Video Understanding
DualFact+ 提出了一种新颖的双层多模态框架，将程序性视频事实分离为概念性成分和上下文成分，以提供更具可解释性且与人类对齐的视频字幕评估，揭示出最先进的模型往往存在标准指标未能检测到的系统性事实遗漏和不一致问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在观看一档烹饪节目或一个 DIY 家具制作教程。一台智能计算机正试图根据视频中的画面编写食谱或操作指南。有时，计算机写出的句子听起来完美无缺、流畅自然，但实际上却在歪曲事实。比如，它可能会说“厨师切了洋葱”，而视频里明明显示他们在切胡萝卜。或者，它可能忘记提及厨师使用的是刀而不是勺子。
本文介绍了一种新方法，用于核查这些计算机生成的指令是否属实。研究人员将其系统命名为DualFact。
以下是其工作原理，拆解为几个简单的概念：
1. 真理的两个层面
作者意识到，检查视频描述不仅仅关乎阅读文字，更关乎理解现实的两个不同层面：
- “概念”层面（计划）： 这是关于应该发生什么的抽象概念。例如，“切蔬菜”。此时它并不关心切的是哪种蔬菜或使用什么工具，它只知道正在发生某个动作。这就像一幅画的草图。
- “语境”层面（现实）： 这是视频中实际发生的具体、落地的细节。他们切的是番茄还是洋葱？用的是刀还是砍刀？这是完成后的、细节丰富的画作。
问题所在： 大多数现有的计算机程序擅长处理“概念”层面（听起来很聪明），但往往在“语境”层面表现不佳（搞错具体细节）。它们可能会说“切蔬菜”（这是对的），却忽略了他们用的是钝刀，或者凭空捏造了一个根本不存在的工具。
2. “DualFact"侦探
为了解决这个问题，研究人员构建了一个名为DualFact的侦探系统。它像一位严格的编辑，通过两种方式检查计算机的工作：
- 文本核查： 将计算机生成的句子与“黄金标准”文本（即完美的人类编写指令）进行对比。
- 视频核查： 将计算机生成的句子与实际视频画面进行对比。
该系统将每个句子拆解为微小的“事实”（例如：动作=切，对象=番茄，工具=刀）。然后，它会问：“这个事实是否有视频支持？”
3. 捕捉三类错误
论文指出，计算机常犯三种特定的“谎言”，而 DualFact 的设计正是为了捕捉它们：
- 幻觉（“魔法”错误）： 计算机凭空捏造了不存在的事物。
- 示例： 视频里显示的是一个碗，但计算机却说“厨师使用了搅拌机"。搅拌机在视频中从未出现过。
- 遗漏（“缺失”错误）： 计算机忘记提及原本存在的重要信息。
- 示例： 视频显示厨师加了盐，但计算机只说“厨师混合了汤”，完全忽略了盐。
- 显著性错误（“分心”错误）： 这是最棘手的一种。计算机提到了视频中确实存在的事物，但该事物对任务并不重要。
- 示例： 厨师正在切番茄，但背景柜台上放着一个柠檬。计算机却说“厨师切了柠檬"。柠檬确实存在（所以这不是幻觉），但它并非主要事件。计算机被背景噪音分散了注意力。
4. 他们的发现
研究人员在两类视频上测试了该系统：烹饪类（YouCook3）和家具制作类（CraftBench）。他们发现了一些令人惊讶的现象：
- 流畅度 ≠ 真实性： 听起来最流畅、最悦耳的句子，往往包含最多的事实错误。计算机是“口若悬河”的，但在细节上却表现糟糕。
- 旧指标在撒谎： 衡量成功的标准方法（例如统计有多少单词匹配）在捕捉这些错误方面表现极差。它们给那些事实错误的句子打出了高分。
- 视频是真相的讲述者： 当系统对照视频而非仅仅对照文本来核查时，它发现许多“谎言”实际上只是“分心”（显著性错误）或“遗漏”。视频以一种单纯文本无法做到的方式，将真相 grounded（锚定）在现实中。
5. 核心启示
论文总结道，要真正理解程序性视频（如烹饪或建造），我们需要一种系统，它不仅要检查文字是否听起来悦耳，还要验证具体的角色（动作、工具、对象）是否与视觉证据相符。
DualFact就像一位严谨的事实核查员，它将“宏大概念”与“具体细节”区分开来，确保当计算机描述视频时，它讲述的是完整的真相，而不仅仅是一个漂亮的版本。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。