OmniFall: From Staged Through Synthetic to Wild, A Unified Multi-Domain Dataset for Robust Fall Detection

이 논문은 제한된 기존 데이터셋의 한계를 극복하고 실제 환경으로의 일반화 성능을 검증하기 위해, 80 시간 분량의 15 개 영상과 16 가지 클래스로 구성된 3 가지 영역 (스태지드, 합성, 자연 발생) 을 아우르는 통합 벤치마크 'OmniFall'을 제안합니다.

핵심

이 논문은 **"누가 넘어졌는지, 그리고 그 사람이 바닥에 그대로 누워있는지"**를 자동으로 찾아내는 인공지능 (AI) 을 더 똑똑하게 만들기 위한 새로운 **'만능 시험지 (OmniFall)'**를 소개합니다.

기존의 AI 는 주로 '연기'를 하거나 '실제 사고'가 아닌 '안전한 환경'에서 찍은 영상으로만 배워서, 실제 거리나 집안에서 진짜 사고가 나면 엉뚱한 답을 내놓곤 했습니다. 이 논문은 그 문제를 해결하기 위해 세 가지 다른 세계의 데이터를 하나로 모았습니다.

이 내용을 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드릴게요.

---

1. 문제: "연기만 잘하는 배우는 실제 무대에서 망한다"

지금까지 AI 를 훈련시킬 때 사용했던 데이터는 마치 **'연기 연습실'**에서 찍은 것이었습니다.

• 상황: 젊은 배우들이 안전 장비를 하고, 카메라 앞에서 "아이고, 넘어졌다!"라고 연기했습니다.
• 문제: 실제 세상 (In-the-Wild) 은 다릅니다. 조명이 어둡고, 카메라가 흔들리며, 노약자가 넘어질 때는 공포에 질려서 비명을 지르거나 옷차림도 제각각입니다.
• 결과: 연습실 (Staged) 에서 100 점 맞은 AI 가 실제 세상 (Wild) 에 나가면 0 점도 못 맞을 수 있습니다.

2. 해결책: "세 가지 세계를 섞은 만능 훈련소 (OmniFall)"

저자들은 AI 가 진짜 세상에 적응하도록 하기 위해, 마치 유니버설 훈련소처럼 세 가지 영역을 합쳤습니다.

🎭 영역 1: 연기 연습실 (OF-Staged)

• 내용: 기존에 공개된 8 개의 데이터셋을 모았습니다.
• 비유: "기본 체조"를 가르치는 곳입니다. 넘어지는 동작의 기본 원리를 배우지만, 너무 깔끔하고 통제된 환경이라 실제와 다릅니다.

🤖 영역 2: 가상 시뮬레이션 (OF-Synthetic)

• 내용: AI 가 만든 가상의 영상 12,000 개입니다.
• 비유: **"가상 현실 (VR) 게임"**입니다. 여기서 AI 는 나이를 조절할 수 있고 (어린아이부터 노인까지), 체형도 다양하게 (마른 사람부터 뚱뚱한 사람까지), 배경도 바꿀 수 있습니다.
• 핵심: 실제 노인 분들을 다치게 할 위험 없이, 모든 종류의 사람이 넘어지는 상황을 무한히 만들어낼 수 있습니다. 놀랍게도 이 '가상 영상'으로 훈련한 AI 가 실제 연기 영상보다 더 잘 작동했습니다!

🌍 영역 3: 진짜 현장 (OF-In-the-Wild)

• 내용: 실제 사고가 난 영상들입니다.
• 비유: **"실전 시험"**입니다. 여기서 AI 는 점수를 받습니다. 연기나 가상 게임이 아니라, 진짜 사고 현장에서 넘어진 사람을 찾아낼 수 있는지 확인하는 곳입니다.

3. 주요 발견: "가상 현실이 실전을 이겼다?"

이 논문에서 가장 놀라운 발견은 다음과 같습니다.

"실제 연기 영상 (연습실) 보다, AI 가 만든 가상 영상 (VR) 으로 훈련한 AI 가 실제 사고 (실전) 에서 더 잘했다."

왜일까요?

• 연기 영상은 너무 깔끔하고 규칙적입니다.
• 가상 영상은 의도적으로 다양한 사람, 다양한 옷, 다양한 배경을 섞어서 만들었습니다. AI 는 이 '다양성'을 통해 실제 세상의 혼란스러움에 더 잘 적응하는 법을 배웠습니다.
• 또한, 실제 노인 분들의 영상을 찍는 것은 사생활 침해와 윤리적 문제가 있지만, 가상 영상은 그런 걱정 없이 모든 데이터를 만들 수 있습니다.

4. 결론: "단순히 넘어지는 순간이 아니라, '바닥에 누워있는 상태'를 찾아라"

기존 AI 는 "넘어지는 순간"만 찾으면 됐습니다. 하지만 이 논문은 **"넘어졌고, 일어나지 못하고 바닥에 누워있는 상태 (Long-lie)"**를 찾는 것도 중요하다고 강조합니다.

• 비유: 넘어지는 순간을 감지하는 것은 '화재 경보기'가 울리는 순간을 듣는 것이고, 바닥에 누워있는 상태를 감지하는 것은 **"화재가 꺼지지 않고 계속 타오르고 있으니 구조대가 와야 한다"**고 알리는 것입니다.

요약

이 논문은 **"AI 가 진짜 세상에서 사람을 구할 수 있도록, 연기 영상과 AI 가 만든 가상 영상을 섞어 훈련시키고, 실제 사고 영상으로 시험보는 새로운 표준 (OmniFall)"**을 만들었습니다.

이제 AI 는 더 이상 "연기"에 익숙한 배우가 아니라, **"다양한 상황에서도 진짜 사람을 구할 수 있는 구조대원"**으로 거듭날 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 시각 기반 낙상 감지 (Fall Detection) 모델은 다음과 같은 심각한 한계를 가지고 있습니다:

• 제한된 다양성: 대부분의 모델이 소규모의 통제된 환경 (실험실, 무대) 에서 촬영된 데이터로만 훈련되어, 실제 자연스러운 환경 (Wild) 에서는 성능이 급격히 저하됩니다.
• 윤리적 및 실용적 장벽: 노약자나 어린이 등 취약 계층으로부터 실제 낙상 데이터를 수집하는 것은 윤리적 문제와 프라이버시 우려로 인해 어렵습니다.
• 표준화 부재: 서로 다른 데이터셋 간에 레이블 체계 (Taxonomy) 가 불일치하여 비교 평가가 어렵고, 실제 사고 (Genuine Accidents) 에 대한 표준화된 평가 프로토콜이 존재하지 않습니다.
• 지속적인 낙상 상태 인식 부족: 많은 시스템이 낙상 '사건' 자체를 감지하는 데 집중하지만, 실제로는 바닥에 누워 도움을 요청하지 못하는 '지속적인 낙상 상태 (Fallen State)'를 인식하는 것이 더 중요합니다.

2. 방법론 (Methodology)

저자들은 OmniFall이라는 통합 벤치마크를 제안하며, 이는 세 가지 상호 보완적인 도메인으로 구성됩니다:

1. OF-Staged (무대/실제 데이터):

   • 기존 공개된 8 개의 낙상 데이터셋 (CMDFall, UP Fall, Le2i 등) 을 통합했습니다.
   • 101 명의 피험자, 29 개의 카메라 뷰, 총 14 시간 (멀티뷰 포함 42 시간) 의 데이터를 16 개 클래스의 통일된 레이블 체계로 재주석 (Re-annotation) 했습니다.
   • 교차 피험자 (Cross-Subject) 및 교차 뷰 (Cross-View) 평가 프로토콜을 표준화했습니다.

2. OF-Synthetic (합성 데이터):

   • Wan 2.2라는 비디오 생성 모델을 사용하여 12,000 개의 합성 비디오 (약 17 시간) 를 생성했습니다.
   • 통제된 다양성 (Controlled Diversity): 연령 (유아~노인), 인종, 체형 (BMI), 성별, 환경, 카메라 각도를 체계적으로 변형하여 생성했습니다.
   • 이는 실제 데이터 수집의 윤리적 문제를 우회하면서도 다양한 시나리오를 제공합니다.

3. OF-In-the-Wild (야외/실제 사고 데이터):

   • OOPS 데이터셋에서 선별된 2.6 시간 분량의 실제 낙상 사고 영상을 테스트 전용 (Test-only) 벤치마크로 구성했습니다.
   • 자연스러운 카메라 움직임, 조명 변화, 가림 (Occlusion) 등 통제되지 않은 환경의 특성을 포함합니다.

주요 기술적 특징:

• 16 클래스 통일 Taxonomy: 낙상 (Fall), 바닥에 누움 (Fallen), 앉음/일어남 등 4 가지 일시적 동작, 6 가지 정적 상태, 기타 활동을 포함하여 낙상 사건을 놓치더라도 '바닥에 누워있는 상태'를 감지할 수 있도록 설계되었습니다.
• 밀도 높은 프레임 단위 주석 (Dense Frame-level Annotations): 비디오 분류뿐만 아니라 타임라인 분할 (Timeline Segmentation) 작업도 지원하도록 모든 프레임에 레이블이 부여되었습니다.

3. 주요 기여 (Key Contributions)

1. OmniFall 벤치마크 공개: 무대 (Staged), 합성 (Synthetic), 야외 (Wild) 데이터를 아우르는 최초의 통합 벤치마크로, 80 시간 (단일 뷰 기준 33 시간) 의 밀집 주석 데이터를 제공합니다.
2. 표준화된 평가 프로토콜: 기존 데이터셋의 레이블 불일치 문제를 해결하고, Staged/Synthetic → Wild 로의 일반화 (Generalization) 능력을 체계적으로 평가할 수 있는 프로토콜을 정립했습니다.
3. 합성 데이터의 유효성 입증: 통제된 다양성을 가진 합성 데이터가 실제 무대 데이터보다 야외 환경 (Wild) 으로 전이될 때 더 우수한 성능을 보일 수 있음을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

VideoMAE-K400 및 ASQuery 등을 활용한 실험 결과는 다음과 같습니다:

• 도메인 간 전이 성능:

  • 단일 무대 데이터셋 (CMDFall) 으로 훈련한 모델은 야외 데이터 (OF-ItW) 에서 낙상 F1 점수가 **52.3%**에 그쳤습니다.
  • 통합된 무대 데이터 (OF-Staged) 로 훈련 시 **60.5~61.2%**로 향상되었습니다.
  • 흥미로운 발견: 합성 데이터 (OF-Syn) 만으로 훈련한 모델이 야외 데이터에서 **64.2%**의 F1 점수를 기록하여, 실제 무대 데이터보다 더 나은 일반화 성능을 보였습니다.
  • 무대 데이터와 합성 데이터를 결합하면 **65.6%**로 최상의 성능을 달성했습니다.

• 특징 공간 분석 (Feature Space Analysis):

  • 합성 데이터 (OF-Syn) 는 실제 야외 데이터 (OF-ItW) 와 특징 공간에서 더 유사한 분포를 보였으며, 이는 합성 데이터가 실제 환경의 다양성을 더 잘 포착했음을 시사합니다.
  • 외관 중심 (Appearance-centric, SigLIP2) 특징은 합성 데이터의 다양성으로부터 큰 혜택을 받는 반면, 운동 중심 (Motion-centric, I3D) 특징은 무대 데이터의 운동 구조에서 더 큰 이점을 얻었습니다. 이는 두 도메인의 상호 보완성을 보여줍니다.

• 타임라인 분할 (Timeline Segmentation):

  • 밀집 주석 데이터를 활용하여 낙상 사건뿐만 아니라 '바닥에 누워있는 상태'를 정확히 분할하는 것이 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 프라이버시 보호형 낙상 감지: 취약 계층의 실제 낙상 데이터를 수집하지 않고도, 합성 데이터를 통해 고품질의 훈련 데이터를 확보할 수 있음을 보여주었습니다. 이는 윤리적 장벽을 해소하고 데이터 수집 비용을 절감합니다.
• 강건한 모델 개발: 통제된 환경 (Staged) 에서 높은 성능을 보이는 모델이 실제 환경 (Wild) 에서 실패하는 '도메인 갭 (Domain Gap)' 문제를 해결하기 위한 표준적인 벤치마크를 제공합니다.
• 임상적 중요성: 단순한 낙상 감지를 넘어, 환자가 바닥에 누워있는 '지속적인 상태 (Long-lie)'를 정확히 식별하여 의료 개입 시간을 단축할 수 있는 기반을 마련했습니다.

결론적으로, OmniFall 은 낙상 감지 연구에 있어 데이터의 다양성, 표준화된 평가, 그리고 합성 데이터의 실용성을 동시에 입증한 획기적인 작업입니다.