💻 computer science

DIFEM: Key-points Interaction based Feature Extraction Module for Violence Recognition in Videos

이 논문은 인간 골격 키 포인트의 상호작용을 기반으로 한 동적 상호작용 특징 추출 모듈 (DIFEM) 을 제안하여, 기존 딥러닝 기반 방법보다 훨씬 적은 파라미터 비용으로 비디오 내 폭력 행위를 효과적으로 인식하는 경량화 시스템을 제시합니다.

원저자: Himanshu Mittal, Suvramalya Basak, Anjali Gautam

게시일 2026-03-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Himanshu Mittal, Suvramalya Basak, Anjali Gautam

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"누가 싸우고 있는지 CCTV 영상에서 자동으로 찾아내는 똑똑한 방법"**을 소개합니다.

기존의 기술들은 마치 **거대한 두뇌 (딥러닝)**를 가진 로봇이 영상을 보고 싸움을 판단하려 했다면, 이 연구팀은 **"작지만 날카로운 눈 (키 포인트)"**을 가진 간단한 관찰자가 어떻게 싸움의 본질을 파악할 수 있는지 보여줍니다.

이 연구의 핵심 내용을 일상적인 비유로 설명해 드릴게요.

1. 문제 상황: 거대한 두뇌 vs. 날카로운 눈

지금까지 CCTV 에서 폭력을 감지하려면 무거운 컴퓨터 프로그램 (딥러닝) 을 사용했습니다. 이는 마치 수천 권의 책을 읽은 박사님이 한 장의 사진을 보고 "아, 저건 싸움이네!"라고 판단하는 것과 비슷합니다. 정확하긴 하지만, 컴퓨터 성능을 많이 먹고, 데이터가 부족하면 오히려 헷갈려 하기도 합니다.

이 연구팀은 **"싸움은 결국 몸짓과 거리 문제다"**라고 생각했습니다. 그래서 거대한 박사님 대신, 몸의 관절 (손, 팔, 무릎 등) 움직임과 서로의 거리만 집중해서 보는 간단한 관찰자를 만들었습니다.

2. 핵심 도구: DIFEM (싸움 감지 안경)

연구팀이 개발한 **'DIFEM'**이라는 모듈은 마치 특수 안경을 쓴 것과 같습니다. 이 안경은 두 가지 것만 봅니다.

① "얼마나 빠르게 움직이는가?" (속도)
- 비유: 싸우는 사람들은 손이나 팔이 폭풍처럼 빠르게 움직입니다. 반면, 평범하게 걷는 사람은 천천히 움직이죠.
- 이 안경은 "어? 저 손이 1 초 사이에 여기에서 저기로 날아갔네? 싸움일 확률 높겠다!"라고 판단합니다.
② "서로 얼마나 붙어있는가?" (겹침)
- 비유: 싸움은 두 사람이 서로 밀착해서 팔을 휘두르는 상황입니다. 한 사람의 손이 다른 사람의 몸통에 닿거나 겹치는지 봅니다.
- 이 안경은 "저 사람의 손이 저 사람의 몸통에 닿았네? 이건 싸움 신호다!"라고 감지합니다.

3. 어떻게 작동할까요? (간단한 3 단계)

뼈대 그리기 (OpenPose): 먼저 영상 속 사람의 모습을 **만화 캐릭터의 뼈대 (스케레톤)**로 변환합니다. 얼굴이나 옷차림은 중요하지 않고, 오직 **관절 (손목, 팔꿈치, 무릎 등)**의 위치만 기록합니다.
관찰하기 (DIFEM):
- 뼈대의 관절들이 얼마나 빠르게 움직였는지 계산합니다.
- 두 사람의 관절이 서로 얼마나 겹치는지 세어봅니다.
판단하기 (머신러닝): 이렇게 모은 숫자 (속도, 겹침 횟수) 를 가지고 랜덤 포레스트 (Random Forest) 같은 간단한 분류기를 통해 "싸움 (Violence)"인지 "아님 (Non-Violence)"인지 최종 판단합니다.

4. 왜 이 방법이 대단한가요?

가볍고 빠릅니다: 거대한 두뇌 (딥러닝) 를 쓸 필요 없이, 간단한 수학 공식과 작은 분류기만으로도 최고 수준의 정확도를 냈습니다. 마치 고급 스포츠카 대신 효율적인 경량 오토바이로 경기를 이긴 것과 같습니다.
정확합니다: 세 가지 다른 폭력 데이터셋 (하키 경기, 군중 폭력 등) 에서 기존에 있던 복잡한 방법들보다 더 좋은 점수를 받았습니다.
이유가 명확합니다: "왜 싸움이라고 판단했지?"라고 물으면, "손이 너무 빨리 움직였고, 서로 겹쳤기 때문"이라고 명확하게 설명할 수 있습니다.

5. 한계점과 결론

물론 이 방법도 완벽하지는 않습니다. **뼈대를 그리는 도구 (OpenPose)**가 먼저 정확하게 작동해야 하므로, 만약 카메라가 너무 어둡거나 사람이 너무 많으면 뼈대를 잘못 그릴 수 있습니다. 하지만, **"복잡한 것보다 핵심을 찌르는 것이 더 효과적일 수 있다"**는 것을 증명했습니다.

한 줄 요약:

"거창한 인공지능 대신, 사람의 손발이 얼마나 빠르게 움직이고 서로 얼마나 붙어있는지만 유심히 보면, 싸움을 아주 빠르고 정확하게 찾아낼 수 있다!"

이 연구는 앞으로 CCTV 감시 시스템이 더 가볍고, 빠르고, 저렴하게 발전할 수 있는 새로운 길을 열어주었습니다.

논문 요약: DIFEM (동적 상호작용 특징 추출 모듈) 을 활용한 비디오 폭력 인식

1. 문제 정의 (Problem Statement)

배경: 도시 폭력과 범죄가 증가함에 따라 감시 카메라를 통한 자동 폭력 탐지 시스템의 필요성이 대두되고 있습니다. 기존 시스템은 인간의 피로나 간과로 인해 중요한 사건을 놓칠 수 있어 자동화가 필수적입니다.
기존 방법의 한계:
- 대부분의 최신 (SOTA) 폭력 인식 방법은 3D CNN, 두 스트림 네트워크, 그래프 합성곱 네트워크 (GCN) 등 심층 학습 (Deep Learning) 기반 모델을 사용합니다.
- 이러한 모델들은 방대한 계산 자원과 파라미터를 요구하며, 폭력 데이터셋의 크기가 상대적으로 작아 과적합 (Overfitting) 문제가 발생하기 쉽습니다.
- 복잡한 모델은 실시간 처리에 부담을 주며, 폭력 행동의 본질적인 특징 (급격한 관절 움직임, 신체 간 근접성) 을 포착하는 데 불필요하게 복잡한 구조를 가질 수 있습니다.

2. 제안 방법론 (Methodology)

저자들은 복잡한 딥러닝 모델 대신, 휴리스틱 (Heuristics) 기반의 간결하고 효율적인 기계 학습 접근법을 제안합니다. 핵심은 **동적 상호작용 특징 추출 모듈 (DIFEM, Dynamic Interaction Feature Extraction Module)**입니다.

전체 파이프라인:
1. 포즈 추정 (Pose Estimation): OpenPose 알고리즘을 사용하여 비디오 프레임별 인간의 스키레톤 (관절) 키 포인트 좌표를 추출합니다.
2. 키 포인트 선택: 25 개의 OpenPose 키 포인트 중 폭력 행동과 밀접한 관련이 있는 11 개의 관절 (양쪽 손목, 팔꿈치, 엉덩이, 무릎, 발목, 목) 을 선별합니다.
3. 특징 추출 (DIFEM): 선별된 관절 좌표를 기반으로 시공간적 (Spatio-temporal) 특징을 계산합니다.
  - 시간적 동역학 (Temporal Dynamics): 연속된 프레임 간의 관절 이동 속도를 계산합니다.
    - 관절 $j$ 의 속도 $v_{i,j,t}$ 는 프레임 $t$ 와 $t+1$ 사이의 거리와 가중치를 기반으로 계산됩니다.
    - 최종적으로 비디오 전체에 대한 평균 속도, 최대 속도, 속도 분산을 추출합니다.
  - 공간적 동역학 (Spatial Dynamics): 서로 다른 두 사람 간의 관절 중첩 (Overlap) 을 분석합니다.
    - 한 사람의 관절이 다른 사람의 바운딩 박스 (Bounding Box) 내부에 위치하는지 확인하여 관절 중첩 횟수를 계산합니다.
    - 이는 폭력 상황에서 신체 부위가 서로 매우 가까이 접촉하거나 충돌하는 특성을 포착합니다.
    - 최종적으로 평균 중첩 횟수, 중첩 횟수 분산을 추출합니다.
4. 분류 (Classification): 추출된 5 차원 특징 벡터 (평균/최대/분산 속도 + 평균/분산 중첩) 를 기계 학습 분류기에 입력합니다.
  - 사용된 분류기: Random Forest, Decision Tree, AdaBoost, k-Nearest Neighbor (k-NN).

3. 주요 기여 (Key Contributions)

효율적인 특징 추출 모듈 (DIFEM) 제안: 복잡한 신경망 대신 단순한 휴리스틱 (거리, 속도, 중첩) 을 사용하여 관절의 움직임과 상호작용을 정량화합니다. 이는 시간적 정보 (속도 변화) 와 공간적 정보 (근접성) 를 효과적으로 결합합니다.
경량화된 기계 학습 접근: 딥러닝에 비해 파라미터 비용이 현저히 낮은 전통적인 기계 학습 알고리즘을 사용하여 분류 성능을 달성했습니다.
다양한 데이터셋에서의 검증: RWF-2000, Hockey Fight, Crowd Violence 등 3 개의 표준 데이터셋에서 광범위한 실험을 수행하여 기존 SOTA 방법들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

데이터셋: RWF-2000 (2,000 개), Hockey Fight (1,000 개), Crowd Violence (246 개).
성능 비교:
- 제안된 방법 (DIFEM + Random Forest) 은 RWF-2000 에서 96.50%, Hockey Fight 에서 98.80%, Crowd Violence 에서 **96.33%**의 정확도를 기록했습니다.
- 이는 Cheng et al. [1], Garcia-Cobo et al. [4], Hachiuma et al. [34] 등 기존 복잡한 딥러닝 기반 SOTA 방법들보다 높은 성능을 보입니다.
효율성:
- 계산 시간: Random Forest 기준 테스트 시간 약 0.0333ms로 매우 빠릅니다.
- 파라미터: 딥러닝 모델에 비해 파라미터 수가 극히 적어 리소스 효율성이 뛰어납니다.
Ablation Study: 속도 (Temporal) 와 중첩 (Spatial) 특징을 모두 사용할 때 가장 높은 성능을 보였으며, 어느 하나만 사용할 경우 (특히 혼잡한 Crowd 데이터셋에서) 성능이 저하됨을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

핵심 통찰: 폭력 인식에 있어 복잡한 딥러닝 모델이 필수는 아니며, 관절의 급격한 움직임과 신체 간 근접성이라는 물리적 특징을 정량화하는 것만으로도 높은 정확도의 탐지가 가능합니다.
실용성: 제안된 방법은 계산 비용이 적고 실시간 처리에 적합하여, 리소스가 제한된 환경이나 대규모 감시 시스템에 배포하기 용이합니다.
한계 및 향후 과제: 현재 방법은 OpenPose 알고리즘의 정확도에 의존합니다. 키 포인트 추출 실패는 특징 추출 단계에 영향을 미치며, OpenPose 자체의 파라미터 부하가 존재합니다. 향후 더 경량화된 스키레톤 추출 알고리즘을 적용할 계획입니다.

결론적으로, 이 논문은 폭력 인식 분야에서 "복잡함 = 성능"이라는 통념을 깨고, 단순하지만 물리적으로 의미 있는 특징을 추출하는 효율적인 기계 학습 접근법의 유효성을 입증했습니다.