OmniFall: From Staged Through Synthetic to Wild, A Unified Multi-Domain Dataset for Robust Fall Detection

本文提出了 OmniFall，这是一个包含 80 小时视频和 16 类细粒度标注的统一多域基准数据集，通过整合标准化真实场景、合成数据及首个真实事故测试集，旨在推动隐私友好且具备强泛化能力的鲁棒跌倒检测与分割研究。

要点

这篇论文介绍了一个名为 OmniFall 的新项目，它的目标非常明确：让电脑学会像真人一样，在任何情况下都能准确识别“老人跌倒”这件事。

为了让你轻松理解，我们可以把这项技术比作训练一名“超级跌倒识别教练”。

1. 以前的教练为什么不够好？

在 OmniFall 出现之前，研究人员训练这些“教练”（AI 模型）时，主要依赖两种数据，但都有大毛病：

• 剧本式训练（Staged Data）： 就像让演员在摄影棚里假装跌倒。
  • 问题： 演员穿着整齐的衣服，灯光完美，动作很标准，而且大家都戴着护具。这就像在游泳池里学游泳，虽然姿势标准，但一旦到了波涛汹涌的大海里（真实世界），教练就懵了，分不清是“真摔”还是“故意躺下休息”。
• 缺乏真实案例： 以前的数据集里几乎没有真正的意外事故视频。因为让老人真的去摔一跤来拍视频，既危险又不道德。

结果就是： 以前的 AI 在实验室里考满分，一到了真实的养老院或家里，看到光线昏暗、老人穿着睡衣、或者被家具挡住视线时，就完全失效了。

2. OmniFall 的“三位一体”训练法

OmniFall 就像是一个超级训练营，它把三种完全不同的“学员”集合在一起，给教练提供了最全面的训练：

第一类学员：专业演员（OF-Staged）

• 来源： 把以前散落在世界各地的 8 个公开数据集（就像 8 个不同的摄影棚）全部收集起来。
• 作用： 它们提供了各种标准的跌倒动作。
• OmniFall 的创新： 以前这些数据集的标签（比如什么是“跌倒”，什么是“坐下”）五花八门，互不兼容。OmniFall 像一位总导演，把它们全部重新整理，统一了“剧本”和“术语”，让教练能同时学习这 8 个来源的知识，而不是只学一家之言。

第二类学员：数字替身（OF-Synthetic）

• 来源： 利用最新的 AI 视频生成技术（Wan 2.2），生成了 1.2 万段完全虚构的跌倒视频。
• 作用： 这是最酷的部分！研究人员可以像捏泥人一样，控制这些虚拟人物的年龄（从幼儿到百岁老人）、体型（瘦弱、肥胖）、肤色、穿着以及环境（厨房、公园、昏暗的走廊）。
• 比喻： 这就像在虚拟现实中进行无数次的模拟演习。既保护了真实老人的隐私（不需要真的让他们摔倒），又能覆盖到现实中很难拍到的各种极端情况（比如不同体型的老人在不同天气下的跌倒）。
• 惊人发现： 论文发现，用这些“虚拟替身”训练出来的教练，在应对真实世界的意外时，表现甚至比用“专业演员”训练的还要好！

第三类学员：真实考官（OF-In-the-Wild）

• 来源： 从互联网上精心挑选的真实意外跌倒视频（来自 OOPS 数据集）。
• 作用： 这是最终考试。这些视频里光线混乱、镜头晃动、有人被遮挡，充满了“意外感”。
• 规则： 这部分数据只用来考试，不用来训练。就像高考题一样，用来检验教练到底有没有真本事，能不能把在摄影棚和虚拟世界学到的东西，应用到混乱的现实中。

3. 这个新标准（OmniFall）带来了什么？

• 统一的“字典”： 以前大家各说各话，现在 OmniFall 定义了一套16 种动作的标准。
  • 它不仅教 AI 识别“正在跌倒”（那一瞬间），还教它识别“跌倒后躺在地上”（这更危险，因为老人可能无法呼救）。
  • 它还能区分“故意躺下休息”和“意外跌倒”，避免误报。
• 隐私保护： 通过大量使用 AI 生成的虚拟数据，减少了对真实老人拍摄敏感视频的需求，解决了伦理和隐私难题。
• 真正的通用性： 实验证明，如果只给教练看“演员”的视频，它考不过“真实考官”；但如果给它看“虚拟替身”的视频，或者把“演员”和“替身”结合起来，它就能在真实世界中表现出色。

4. 总结：这就像什么？

想象一下，你要教一个机器人去识别火灾：

• 旧方法： 只给它看实验室里点燃的小蜡烛（Staged），它以为火就是那样。
• OmniFall 方法：
  1. 给它看各种标准燃烧实验（Staged）。
  2. 用超级计算机模拟出森林大火、厨房油锅起火、甚至不同天气下的火势（Synthetic）。
  3. 最后，拿真实的火灾新闻视频来考它（Wild）。

结论： OmniFall 不仅仅是一个数据集，它是跌倒检测领域的“奥林匹克标准”。它告诉我们要想解决现实问题，不能只靠“摆拍”，必须结合标准化的真实数据和可控的虚拟数据，才能训练出真正能救命的 AI。

这项技术未来可以帮助养老院、家庭监控设备更智能地工作，在老人跌倒的第一时间发出警报，甚至在他们无法动弹时自动呼叫救援，从而挽救无数生命。

技术摘要

这是一篇关于OmniFall数据集的论文技术总结。OmniFall 是一个统一的、多领域的跌倒检测基准数据集，旨在解决现有跌倒检测模型在真实世界应用中泛化能力差、数据多样性不足以及缺乏标准化评估协议的问题。

以下是该论文的详细技术总结：

1. 问题背景 (Problem)

现有的基于计算机视觉的跌倒检测系统面临以下关键挑战：

• 数据局限性：大多数模型是在小规模、受控环境（实验室）和同质化数据集上训练的，导致在真实复杂环境（In-the-Wild）中泛化能力差。
• 伦理与隐私：从易受伤害的老年人群体中收集真实的跌倒数据存在伦理和隐私障碍。
• 评估缺失：缺乏标准化的基准来评估模型从“受控场景”到“真实事故”的跨域泛化能力。
• 标注不一致：现有数据集的标注体系（Taxonomy）不统一，且缺乏细粒度的帧级时间线标注，难以区分“跌倒事件”与“跌倒后状态”（如长时间躺地）。

2. 方法论与数据集构建 (Methodology)

OmniFall 是一个包含三个互补组件的统一基准，总计约 80 小时视频（15,000 个视频片段），并提供了统一的 16 类细粒度时间线标注。

A. 三大核心组件

1. OF-Staged (受控场景数据)：

   • 来源：整合了 8 个现有的公开跌倒数据集（如 CMDFall, UP Fall, Le2i 等）。
   • 处理：通过手动重新标注，将不同来源的数据统一到一个16 类分类体系中。
   • 规模：14 小时独特录制（含多视角共 42 小时），涵盖 101 个受试者和 29 个相机视角。
   • 协议：提供了标准的跨受试者（Cross-Subject, CS）和跨视角（Cross-View, CV）划分，用于标准化训练和测试。

2. OF-In-the-Wild (真实世界数据)：

   • 来源：从 OOPS 数据集中筛选并人工验证的真实事故视频。
   • 特点：包含自然相机运动、光照变化、遮挡和真实的跌倒场景。
   • 规模：818 个视频片段（约 2.65 小时）。
   • 用途：作为仅测试集（Test-only），用于评估模型从受控/合成数据到真实世界的泛化能力（OOD 评估）。

3. OF-Synthetic (合成数据)：

   • 生成：使用 Wan 2.2 视频生成模型生成。
   • 多样性控制：通过结构化提示词（Prompt）严格控制人口统计学特征（年龄、种族、体型/BMI、性别）和环境背景。
   • 规模：12,000 个视频（约 17 小时），每个视频代表独特的人物 - 环境组合。
   • 优势：解决了隐私问题，并提供了受控的多样性，填补了真实数据中缺乏特定人群（如不同年龄段、体型）的空白。

B. 统一标注体系 (Unified Taxonomy)

OmniFall 引入了一个包含 16 个类别的细粒度时间线标注体系，分为三类：

• 瞬态动作 (Transient Actions)：跌倒 (fall)、坐下 (sit_down)、躺下 (lie_down)、站起 (stand_up)。
• 静态状态 (Static States)：跌倒后状态 (fallen)、坐着 (sitting)、躺着 (lying)、站立 (standing)、跪着 (kneeling)、蹲着 (squatting)。
• 其他活动：行走、爬行、跳跃等。
• 意义：这种细粒度标注不仅支持视频分类，还支持时间线分割（Timeline Segmentation），能够检测 medically critical 的“长时间躺地”状态，即使跌倒瞬间被错过。

3. 关键贡献 (Key Contributions)

1. 首个统一的多领域基准：将受控场景、真实事故和合成数据统一在一个框架下，实现了跨域评估。
2. 标准化协议：提供了统一的帧级标注、跨受试者/视角的划分协议，使得不同数据集间的比较成为可能。
3. 合成数据的有效性验证：通过实验证明，精心设计的合成数据在跨域泛化任务中表现优于传统的受控真实数据。
4. 隐私保护路径：展示了利用合成数据替代敏感的真实老年跌倒数据的可能性，同时保持甚至提升模型性能。

4. 实验结果 (Results)

论文使用了 VideoMAE-K400、I3D 和 SigLIP2 等骨干网络进行了分类和时间线分割实验。

• 域偏移分析 (Domain Shift)：

  • 特征空间可视化（t-SNE, H-NNE）显示，受控数据（Staged）、真实数据（Wild）和合成数据（Synthetic）之间存在显著的特征分布差异。
  • 有趣的是，合成数据（OF-Syn）在特征空间上与真实事故数据（OF-ItW）的相似度，高于许多单个受控数据集与真实数据的相似度。

• 分类性能 (Classification)：

  • 受控数据训练：仅在 CMDFall 上训练，在 OF-ItW 上的跌倒 F1 分数仅为 52.3%。
  • 多数据集融合：在 OF-Staged（8 个数据集合并）上训练，OF-ItW 上的 F1 提升至 60.5-61.2%。
  • 合成数据训练：仅在 OF-Synthetic 上训练，OF-ItW 上的 F1 达到 64.2%，超过了使用所有真实受控数据训练的效果。
  • 混合训练：OF-Staged + OF-Synthetic 联合训练达到最佳效果（F1: 65.6%），表明合成数据补充了受控数据缺乏的多样性。

• 时间线分割 (Timeline Segmentation)：

  • 基于外观的特征（SigLIP2）在合成数据上表现更好，而基于运动的特征（I3D）在受控数据上表现更好。
  • 联合使用合成和受控数据（OF-Sta ∪ OF-Syn）配合 SigLIP2 特征，在真实世界测试集上取得了最佳的鲁棒性（F1@50: 28.61%）。

5. 意义与影响 (Significance)

• 推动鲁棒性研究：OmniFall 揭示了“受控到真实”的巨大鸿沟，并提供了评估和缩小这一鸿沟的标准化工具。
• 合成数据的崛起：论文颠覆了传统认知，证明在特定任务（如跌倒检测）中，受控生成的合成数据可能比受控采集的真实数据具有更好的泛化能力，因为它能覆盖更广泛的人口统计学和环境变化。
• 隐私与伦理：为医疗监控领域提供了一种无需收集敏感真实数据即可训练高性能模型的可行方案。
• 细粒度检测：通过区分“跌倒事件”和“跌倒后状态”，为降低老年人死亡率（特别是“长时间躺地”导致的并发症）提供了更精准的检测手段。

总结：OmniFall 不仅是一个数据集，更是一个重新定义跌倒检测评估范式的基准。它证明了通过结合标准化受控数据、隐私友好的合成数据以及严格的真实世界测试集，可以构建出真正具备现实世界鲁棒性的跌倒检测系统。