ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance

本文针对现有监控视频检索在长时序、多模态查询及时间定位方面的不足，提出了首个支持图像与文本混合查询及精确时间标注的基准数据集 ForeSeaQA，并构建了包含跟踪、多模态索引与检索增强生成三阶段流程的 ForeSea 系统，显著提升了复杂场景下的视频检索与事件定位性能。

要点

这篇论文介绍了一个名为 ForeSea 的新系统，以及一个名为 ForeSeaQA 的新测试标准。简单来说，它解决的是如何在成千上万小时的监控录像中，快速、准确地找到特定的人或事这一难题。

我们可以把这篇论文的核心内容想象成**“给监控录像请了一位超级侦探”**。

1. 现在的痛点：大海捞针

想象一下，你是一名警察，需要调查一起发生在几天前的案件。你需要在几十路摄像头、长达几百小时的录像里，找出“那个穿红衣服、骑蓝色自行车的人”在什么时间出现了。

• 以前的方法（传统搜索）： 就像让一个实习生拿着放大镜，一帧一帧地看录像。效率极低，而且容易漏掉细节。
• 早期的 AI 方法（纯文字搜索）： 就像你问 AI：“帮我找穿红衣服的人”。AI 只能听懂文字，如果你手里有一张嫌疑人的照片，它却看不懂，只能瞎猜。而且，它往往只能告诉你“大概有这个人”，却说不准具体是哪一分钟。
• 现有的大模型（VideoLLM）： 就像让一个博学的教授看录像。他确实能看懂，但如果让他看几百小时的录像，他会累得“记不住重点”，或者因为信息太多而“晕头转向”，导致找不准时间。

2. 我们的新方案：ForeSea（超级侦探）

作者提出了 ForeSea，这是一个**“三步走”**的智能搜索系统，专门用来处理这种复杂的监控任务。

第一步：先“过滤”垃圾（追踪模块）

比喻： 就像侦探先让助手把录像里所有“无关紧要”的画面（比如空荡荡的街道、静止的树木）全部剪掉，只留下**“有人出现”**的片段。

• 作用： 把几百小时的录像，瞬间压缩成只有几分钟的“精华片段”。这大大减少了后续工作的负担。

第二步：建立“万能档案库”（多模态索引）

比喻： 侦探把剩下的这些片段，整理成一本**“超级相册”。这本相册很神奇，它不仅能通过文字（“穿红衣服”）搜索，还能通过照片**（嫌疑人照片）搜索，甚至能**“照片 + 文字”**混合搜索（“照片里这个人，什么时候骑了自行车？”）。

• 作用： 无论你怎么问，系统都能迅速从海量片段中，把最相关的几个片段“捞”出来。

第三步：专家“深度推理”（视频大模型）

比喻： 把捞出来的这几个关键片段，交给一位**“视频专家”**（VideoLLM）。因为专家只需要看这几个片段，不需要看几百小时，所以他可以全神贯注地分析：

• “是的，这个人确实在上午 10:35 骑了自行车。”
• “而且，他是在那个路口转弯的。”
• 输出： 系统不仅给出答案，还会精准地标记出时间（比如：10:35:00 到 10:35:15），并附上那段视频作为证据。

3. 新测试标准：ForeSeaQA（侦探资格考试）

为了证明这个系统真的好用，作者还设计了一套**“侦探资格考试”**（ForeSeaQA 数据集）。

• 以前的考试： 只问文字题，或者只考能不能找到视频。
• 现在的考试（ForeSeaQA）：
  • 多模态： 给你一张嫌疑人的照片，再问你一个复杂的问题（比如“他什么时候和另一个人打架了？”）。
  • 精准定位： 不仅要看你答对没有，还要看你找的时间准不准（比如打架是 10:35 开始的，你不能说是 10:40）。
  • 场景真实： 题目涵盖了寻找、活动识别、事件分析、时间推理、数人数、发现异常等 6 种真实刑侦场景。

4. 为什么它很厉害？（实验结果）

在“侦探资格考试”中，ForeSea 的表现远超其他方法：

• 更准： 它的回答准确率提高了，而且找时间的能力（IoU）提升了 11%。这意味着它不仅能找到人，还能精准地告诉你“就是这一秒”。
• 更快： 因为它先过滤了无关画面，只让专家看关键片段，所以处理速度比那些硬啃几百小时录像的模型快了一倍多。
• 更聪明： 它能理解“照片 + 文字”的复杂指令，这是以前很多系统做不到的。

总结

ForeSea 就像给监控中心配备了一位**“眼观六路、耳听八方”的 AI 侦探**。它不再让你对着几百小时的录像发呆，而是能听懂你拿着照片问的复杂问题，并迅速把**“谁、在什么时间、做了什么”**精准地告诉你。

这项技术不仅能让警察破案更快，未来也可能用于寻找走失的老人、分析交通拥堵原因，或者在大型活动中快速定位突发事件。

技术摘要

1. 研究背景与问题 (Problem)

核心痛点：
现有的视频监控分析系统在面对长时程、多摄像头的海量视频数据时，难以高效地定位特定目标或事件。

• 传统方法局限： 基于目标检测和跟踪的流水线虽然计算高效，但缺乏对复杂活动、意图的理解，且无法进行自然语言或图像驱动的搜索。
• 现有大模型局限： 基于 CLIP 的检索或简单的 VideoRAG（检索增强生成）系统存在以下缺陷：
  1. 模态单一： 大多仅支持纯文本查询，无法处理“图片 + 文本”的多模态查询（例如：上传一张嫌疑人照片并问“他什么时候开始打架？”）。
  2. 浅层理解： 难以捕捉深层属性，缺乏时间推理能力。
  3. 检索精度低： 现有检索模型返回的片段往往缺乏精确的时间定位（Temporal Grounding），导致大模型（VideoLLM）基于错误证据产生幻觉。
  4. 缺乏基准： 目前缺乏专门针对“多模态查询 + 时间定位”的监控领域评测基准。

2. 核心贡献 (Key Contributions)

论文提出了两项主要贡献：

1. ForeSeaQA 基准数据集：
   • 这是首个专为监控领域设计的**多模态、时间定位视频问答（Video QA）**基准。
   • 特点： 包含 1,041 个精心策划的问题，涵盖 6 个子任务（搜索、活动、事件、时间、计数、异常）。
   • 多模态查询： 问题不仅包含文本，还包含参考图像（如嫌疑人照片），模拟真实的法医调查流程。
   • 精确标注： 每个问题都配有精确的时间戳（Start/End time）作为证据支撑，同时评估多项选择准确率（Accuracy）和时间定位交并比（Temporal IoU）。
2. ForeSea 系统架构：
   • 提出了一种即插即用的三阶段 AI 法医搜索系统，专为处理多模态查询设计。
   • 该系统在 ForeSeaQA 上显著优于现有的 VideoRAG 模型和 VideoLLM。

3. 方法论 (Methodology)

ForeSea 系统采用 3 阶段流水线，结合了现成的组件，形成了一个高效的检索增强生成（RAG）框架：

阶段一：基于人物的跟踪与过滤 (Tracking Module)

• 目的： 大幅缩小搜索空间。
• 操作： 使用基于 YOLO 的检测器和 ByteTrack 跟踪器，从长视频中提取**以人物为中心（Person-centric）**的短视频片段。
• 优势： 将数小时的视频转化为仅包含目标人物的短片段，去除了大量无关的背景噪声。

阶段二：多模态嵌入与索引 (Multimodal Embedding)

• 目的： 构建支持文本和图像混合查询的统一索引空间。
• 操作：
  • 使用多模态编码器（基于 GCL/VISTA 架构）将人物片段编码为统一的向量。
  • 视频嵌入： 对片段中的帧进行均匀采样，通过视觉编码器提取特征，结合 [CLS] token 生成数据库向量。
  • 查询嵌入： 支持纯文本查询（Text-only）和“图像 + 文本”查询（Image+Text）。对于图像查询，视觉特征经过投影层与文本特征拼接，生成统一的查询向量。
  • 检索： 在统一的多模态嵌入空间中计算相似度，检索出 Top-K 个最相关的候选片段。

阶段三：VideoLLM 推理与回答 (Response Generation)

• 目的： 基于检索到的证据生成精确的时间定位答案。
• 操作：
  • 将 Top-K 候选片段（通常 K=3）及其元数据（时间戳、边界框坐标）输入到 VideoLLM（如 VideoLLaMA3）。
  • 提示工程： 系统提示模型不仅回答问题，还要输出关键事件发生的具体时间区间。
  • 空间增强： 在输入给 LLM 的帧上绘制边界框（Bounding Box）或提供坐标文本，引导模型关注特定人物。

4. 实验结果 (Results)

在 ForeSeaQA 基准上的评估显示，ForeSea 全面超越了现有的 VideoLLM 和检索增强基线：

• 综合性能：
  • 准确率 (Accuracy)： ForeSea 达到 66.0%，在所有评估方法中排名第一（优于 VideoLLaMA3 的 64.6% 和 VideoRAG 的 62.9%）。
  • 时间定位 (Temporal IoU)： ForeSea 达到 13.6%，显著优于 VideoRAG (3.5%) 和 VideoLLaMA3 (13.2%)。这表明其检索到的证据在时间上更加精确。
• 多模态查询能力：
  • 在“图像 + 文本”查询（ForeSeaQAMM）任务中，大多数模型准确率下降明显，而 ForeSea 保持了 65.4% 的高准确率，证明了其对多模态输入的鲁棒性。
• 效率分析：
  • 低延迟： ForeSea 的端到端延迟仅为 2.6 秒，远低于 VideoRAG (5.2-7.6 秒) 和 VideoLLaMA3 (3.8 秒)。
  • 原因： 通过检索仅关注相关人物片段，大幅减少了输入给 VideoLLM 的帧数（仅使用约一半的帧预算），从而降低了计算成本。
• 泛化能力：
  • 在开放域长视频基准（VideoMME, MLVU, LongVideoBench）上，ForeSea 在仅使用一半帧数的情况下，性能仍能与 SOTA 模型持平或超越，证明了其架构的通用性。

5. 消融实验洞察 (Ablation Insights)

• 人物中心检索是关键： 即使不进行额外的空间提示，仅靠人物中心检索（Person-centric retrieval）就能显著提升性能，这作为一种强归纳偏置（Inductive Bias）对监控理解至关重要。
• 坐标提示优于裁剪： 在输入中直接提供边界框坐标（Text-based Coords）比裁剪图像（Crop）效果更好。裁剪会丢失背景上下文，而坐标提示能让模型在保留上下文的同时聚焦目标。
• Top-K 的选择： K=3 是准确率与时间定位精度的最佳平衡点；增加 K 值虽然略微提升准确率，但会稀释时间定位的精度。

6. 意义与总结 (Significance)

• 填补空白： ForeSeaQA 填补了监控领域缺乏多模态、时间定位基准的空白，为评估法医级视频分析提供了标准。
• 范式转变： 证明了在长视频理解中，“检索 + 推理”（特别是基于人物的检索）比“端到端全视频处理”更高效、更准确。
• 实际应用价值： 该系统能够直接模拟现实世界的法医调查流程（如“查找某人在某时段的特定行为”），并给出带时间戳的证据，极大地降低了人工审查监控视频的成本和难度。
• 技术启示： 展示了通过统一的多模态嵌入空间和精细的检索策略，可以显著提升大模型在长视频任务中的表现，同时保持低延迟。

总结： 这篇论文通过引入新的基准（ForeSeaQA）和高效的系统架构（ForeSea），解决了监控视频分析中多模态查询难、时间定位不准、计算成本高的问题，为下一代 AI 法医搜索系统奠定了坚实基础。