CuriosAI Submission to the CASTLE Challenge at EgoVis 2026
CuriosAI 团队为 2026 年 EgoVis 的 CASTLE 挑战赛提出了 SVA 和 TMKG 两种方法，其包含搜索、验证与回答的三阶段流水线在源自 600 多小时同步多视角第一人称视频的 185 道选择题上取得了 0.50 的排行榜准确率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图根据 12 人共同生活的600 小时视频录像来解决一个巨大的谜团，这些录像由 15 台摄像机同时拍摄。挑战在于：回答 185 个关于“发生了什么”、“谁做的”以及“何时发生”的具体多项选择题。
这就是CASTLE 挑战赛，来自软银（CuriosAI）的团队尝试了两种不同的人工智能方法来解决它。他们将这两种方法命名为SVA和TMKG。
以下是它们的运作方式，简单解释如下：
共同基础：“图书馆”
在尝试回答问题之前，两种方法首先构建了一个庞大且有条理的视频“图书馆”。它们不仅仅是观看原始视频，而是将其分解为五个有用的层级：
- 人物识别：确认这 12 个人是谁。
- 事件描述：为场景编写字幕。
- 物体识别：发现特定物品，如棋盘游戏或厨房用具。
- 语音转录：转录音频并确定是谁在说话。
- 时间线：为每个人创建行动时间表。
两种方法都使用了这个相同的“图书馆”，但它们寻找答案的路径截然不同。
方法 A：SVA（搜索 – 验证 – 回答）
类比：手持严格规则手册的侦探
将 SVA 想象为一个由三名侦探组成的团队，在一条严格的流水线上工作：
- 搜索（侦察兵）：首先，他们查看整个“图书馆”，猜测哪一段 15 分钟的视频片段最可能包含答案。他们将范围从数小时缩小到一个极小的时间窗口。
- 验证（怀疑论者）：这是最关键的部分。他们将那 15 分钟的窗口进一步拆分为更小的 5 分钟片段。他们让 AI 查看这些片段，但会提供一份严格规则手册以防止其撒谎（胡编乱造）。
- 规则 1：不要只是把问题重复一遍。
- 规则 2：如果视频是静音或空白的，承认你不知道。
- 规则 3：如果你数了什么东西，必须明确指出它在视频中的确切位置。
- 规则 4：如果看不到事实，不要编造。
- 回答（法官）：最后，一个聪明的“法官”AI 会审查“怀疑论者”收集的所有证据，权衡它们（更信任音频引语而非模糊的视觉猜测），并选出最终答案。
结果：这种方法非常谨慎。它针对每个谜团向 AI 提出了大量问题（约 28 次），但正确率达到了50%。这是他们最终获奖的提交方案。
方法 B：TMKG（时序 – 多模态 – 知识图谱）
类比：连接之网
将 TMKG 想象为构建一个巨大的、三维的事实蜘蛛网。
- 每 5 分钟，系统会创建一个包含所有发生事件的“节点”（一个点）：谁在场、他们说了什么以及看到了什么物体。
- 它用线条（边）将这些点连接起来，展示谁做了什么、他们在哪里以及接下来发生了什么。
- 当问题提出时，系统会搜索这张网，找到正确的点簇。
- 一旦找到位置，它便将视频和图谱数据交给单个 AI，立即给出答案。
结果：这种方法速度更快，针对每个谜团向 AI 提出的问题更少（仅约 1 次），但准确性较低，正确率仅为35%。
主要启示
团队比较了这两种方法，得出了一个清晰的教训：
- SVA（侦探） 获胜是因为它纪律严明。通过迫使 AI 复查其工作并遵守关于不编造事实的严格规则，它避免了愚蠢的错误。
- TMKG（蜘蛛网） 表现不佳，是因为它依赖单个 AI 一次性完成所有工作，缺乏额外的“事实核查”层。
结论：
在如此巨大的规模下（600 小时视频），仅仅构建一个更智能的数据库是不够的。秘诀在于验证。尽管“侦探”方法需要更多的计算资源和运行时间，但增加“迫使 AI 在回答前证明其事实”这一步骤，正是将得分从 35% 提升至 50% 的关键差异。
团队指出，两种方法有时失败是因为它们一开始就选错了 15 分钟的时间窗口。但他们总结认为，如果你能找到正确的时间窗口，增加一个“纪律严明的验证者”是获得正确答案的最佳方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。