💻 computer science

STEP: Score-Based Temporal Energy for Human Pose Video Anomaly Detection

이 논문은 포즈 시퀀스를 PCA 화이트닝(PCA-whitened) 공간으로 투영하여 더 긴 시간 창(temporal window)에 대해 물리적으로 타당한 노이즈 주입을 보장하고, 포즈 추정 오류를 완화하기 위해 신뢰도 기반 가중치를 통합함으로써 UBnormal 및 ShanghaiTech 벤치마크에서 최첨단 성능을 달est하는 경량 프레임워크인 STEP을 소개한다.

원저자: Jakub Micorek, Mateusz Koziński, Horst Possegger

게시일 2026-08-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jakub Micorek, Mateusz Koziński, Horst Possegger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

공장 바닥, 번잡한 거리, 요양 시설 등 현대 생활의 혼잡한 공간에서 문제를 감시하는 것은 끊임없이 에너지를 소모하는 작업입니다. 카메라는 끝없는 움직임의 흐름을 포착하지만, 인간의 눈은 넘어짐, 싸움, 또는 갑작스러운 사고를 놓치지 않고 모든 프레임을 모니터링할 수 없습니다. 수십 년 동안 과학자들은 컴퓨터가 이러한 드물고 위험한 순간들을 자동으로 포착하도록 가르치기 위해 노력해 왔습니다. 이 과제는 독특합니다. 무언가 잘못된 것을 인식하려면, 기계는 먼저 무엇이 '옳은' 모습인지부터 배워야 합니다. 위험한 사건은 드물고 예측 불가능하기 때문에, 연구자들은 컴퓨터가 안전의 리듬을 매우 잘 학습하여 그 리듬의 어떤 깨짐이라도 주의를 끌 수 있도록, 오직 정상적이고 일상적인 행동만을 바탕으로 시스템을 훈련시킵니다.

오랫동안 이를 수행하는 가장 신뢰할 수 있는 방법은 옷, 조명, 배경과 같은 시각적 잡음을 제거하고 오직 인간 신체의 골격에만 집중하는 것이었습니다. 팔꿈치나 무릎 같은 관절의 위치를 추적함으로써, 알고리즘은 움직임의 순수한 기하학적 구조를 볼 수 있습니다. 이 방식은 프라이버시를 보호하고 방해 요소를 무시하지만, 한계에 부딪혔습니다. 연구자들이 컴퓨터가 패턴을 학습하도록 돕기 위해 데이터에 무작위 노이즈를 추가하는 기술(데이터의 패턴을 학습하는 데 사용되는 기법)을 사용하여 시스템이 긴 움직임의 시퀀스를 이해하도록 가르치려 했을 때, 골격들이 무너져 내렸습니다. 무작위 노이즈가 사지를 불가능한 각도로 뒤틀어 버려 물리 법칙을 위배하고 컴퓨터를 혼란스럽게 만들었기 때문입니다. 시스템은 잘못된 방향으로 달리는 사람을 포착하는 법을 배우는 대신, 부러진 뼈를 고치는 법을 배우는 데 에너지를 낭비하게 되었습니다.

그라츠 공과대학교와 그라츠 의과대학의 연구팀은 이 무너진 토대를 바로잡을 방법을 찾아냈습니다. 그들은 컴퓨터가 학습하기 전에 데이터에 대한 필터 역할을 하는 STEP이라는 새로운 방법을 개발했습니다. 관절의 떨리는 좌표를 학습 시스템에 직접 입력하는 대신, 그들은 움직임을 인체 해부학적 규칙이 이미 내재되어 있는 압축된 수학적 공간으로 먼저 변환합니다. 복잡하고 뒤틀린 춤을 그 움직임의 본질을 포착하면서도 흔들림이 없는 몇 개의 단순하고 매끄러운 선으로 축소한다고 상상해 보십시오. 이 새로운 공간에서는 연구자들이 컴퓨터 학습을 돕기 위해 필요한 무작위 노이즈를 추가하더라도, 노이즈가 골격을 파괴하지 않습니다. 대신, 노이즘은 움직임을 부드럽게 밀어내어, 사람이 약간 더 빨리 걷거나 더 넓게 회전하는 것과 같이 여전히 물리적으로 가능한 변형을 만들어냅니다.

이러한 변화는 컴퓨터가 시간이 흐름에 따라 정상적인 행동이 무엇인지 훨씬 더 명확한 그림을 구축할 수 있게 해줍니다. 연구진은 두 가지 주요 데이터셋을 사용하여 시스템을 테스트했습니다. 하나는 다양한 장면 속 사람들의 실제 영상이 포함된 것이고, 다른 하나는 정교하게 라벨링된 이상 징나를 포함한 매우 사실적인 컴퓨터 생성 영상입니다. 결과는 놀라웠습니다. 합성 데이터셋에서 그들의 시스템은 이상 행동을 90.1%의 확률로 정확히 식별해 냈는데, 이는 기존의 최선책들을 크게 뛰어넘는 성과입니다. 실제 세계 데이터셋에서도 그들은 가장 진보된 기존 시스템들의 성능과 일치하는 결과를 보여주며, 영상이 지저도 있거나 카메라 각도가 까다로운 상황에서도 작동함을 입증했습니다.

결정적으로, 이 시스템은 자신의 한계에 대해서도 영리하게 대처합니다. 야생의 환경에서 사람을 추적하는 데 사용되는 카메라와 소프트웨어는 완벽하지 않습니다. 때때로 사람을 놓치거나 그림과 흐릿함 때문에 혼란을 겪기도 합니다. 이 새로운 방법에는 내장된 신뢰도 체크 기능이 포함되어 있습니다. 만약 추적 소프트웨어가 특정 관절의 위치를 확신하지 못할 경우, 시스템은 자동으로 해당 정보의 가중치를 낮추어, 일시적인 글리치(오류)가 위험한 사건으로 오인되는 것을 방지합니다. 이는 이 탐지기를 현실 세계의 불가피한 오류들에 대해 견고하게 만듭니다.

시스템의 효율성 또한 매우 인상적입니다. 이 방법은 매우 간결하기 때문에, 단일 프레임 내에서 50명의 움직임을 1밀리초 미만 안에 처리할 수 있습니다. 이 속도는 시스템이 실시간으로 표준 하드웨어에서 실행될 수 있음을 의미하며, 컴퓨터가 관절을 찾는 데 필요한 무거운 작업을 처리하는 데 집중할 수 있도록 여유를 줍니다. 연구진은 움직임의 기하학에 순수하게 집중하고 학습 전 데이터를 정화함으로써, 수년간 이 분야를 괴롭혀온 근본적인 문제를 해결했다고 주장합니다. 그들은 사람의 얼굴이나 옷을 볼 필요 없이 그들이 곤경에 처했는지 알 수 있다는 것을 보여주었습니다. 단, 그 형태가 부서지지 않고 숨 쉴 수 있도록 허용된다면 말입니다.

기술 요약: STEP – 인간 포즈 비디오 이상 탐지를 위한 스코어 기반 시계열 에너지 (Score-Based Temporal Energy for Human Pose Video Anomaly Detection)

문제 정의

골격 기반 비디오 이상 탐지(VAD)는 정상적인 학습 데이터만을 사용하여 비정상적인 행동(예: 낙상, 폭력)을 식출하는 것을 목표로 한다. 최근의 접근 방식들은 정상적인 인간 포즈의 확률 분포를 모델링하기 위해 노이즈 제거 스코어 매칭(Denoising Score Matching, DSM)을 통해 학습된 에너지 기반 모델(EBM)을 활용한다. 그러나 원시 관절 좌표(raw joint coordinates)에 DSM을 직접 적용하는 것은 두 가지 결정적인 실패를 초래한다:

구조적 붕괴 (Structural Collapse): 원시 관절 좌표에 등방성 가우시안 노이즈(isotropic Gaussian noise)를 주입하면 인간 신체의 운동학적 구조(예: 뼈 길이의 왜곡, 대칭성 파괴)가 파괴된다. 이 문제는 시간 창( $T$ )이 확장됨에 따라 심화되며, 모델이 유효한 운동 매니폴드(motion manifolds)가 아닌 물리적으로 불가능한 구성을 학습하는 데 용량을 낭비하게 만든다.
포즈 추정 불확실성 (Pose Estimation Uncertainty): 기성 포즈 추정기(off-the-shelf pose estimators)는 폐쇄(occlusion)나 모션 블러로 인해 노이즈, 지터(jitter), 누락된 관절을 발생시킨다. 추출된 시퀀스를 그라운드 트루스(ground truth)로 취급하면 에너지 랜드스케이프가 추적 실패 주변으로 왜곡되어 강건성이 저하된다.

방법론

저자들은 원시 좌표 DSM의 구조적 및 불확실성 문제를 해결하기 위해 설계된 프레임워크인 STEP(Score-based Temporal Energy for Poses)을 제안한다.

1. PC-공간 밀도 추정 (PC-Space Density Estimation)

STEP은 포즈 시퀀스를 원시 관절 좌표 공간이 아닌, 압축되고 백색화(whitened)된 주성분(Principal Component, PC) 공간으로 투영한다.

투영 (Projection): 시퀀스는 학습 세트의 상위 $K$ 개 주성분으로부터 유도된 행렬 $W_K$ 를 사용하여 투영되며, 이후 고유값 행렬 $\Lambda_K$ 를 통해 백색화된다.
백색화 효과 (Whitening Effect): 이 변환은 잠재 공간을 등방성 초구체(isotropic hypersphere)로 스케일링한다. 이 공간에서 노이즈를 주입하면 시퀀스가 운동학적 구조를 파괴하는 대신, 학습된 기저 궤적(예: 걷기, 서 있기)을 따라 섭동(perturb)을 일으킨다.
노이즈 제거 (Denoising): 표현을 상위 $K$ 개의 PC로 제한하는 것은 고주파 관절 변동을 필터링하는 디노이저 역할을 하며, 모델이 전반적인 운동 궤적에 집중할 수 있도록 한다.

2. 신뢰도 인지 이상 점수 산출 (Confidence-Aware Anomaly Scoring)

신뢰할 수 없는 포즈 추정기의 영향을 완화하기 위해, STEP은 학습 목적 함수와 테스트 시점의 점수 산출 모두에 소프트 신뢰도 가중치 메커니즘을 통합한다.

학습 (Training): DSM 손실은 포즈 추정기가 제공하는 평균 관절 신뢰도 점수 $c(\mathbf{x})$ 에 의해 재가중치(reweighted)된다. 이는 신뢰도가 낮은 시퀀스의 가중치를 낮추어, 추적 실패가 학습된 에너지 랜드스케이프를 왜곡하는 것을 방지한다.
추론 (Inference): 최종 이상 점수는 여러 노이즈 스케일에 걸친 최대 표준화 에너지 추정치이며, 이는 시퀀스의 신뢰도 점수에 의해 가중치가 부여된다. 이를 통해 낮은 신뢰도의 추적 오류가 비정상 동작으로 오탐지되는 것을 방지한다.

3. 아키텍처 조건화 (Architectural Conditioning)

저자들은 기존 EBM 프레임워크에서 사용되는 표준 MLP를 대체하기 위해 ** $\sigma$ -변조 잔차 MLP( $\sigma$ -modulated Residual MLP)**를 도입한다.

메커니즘: 노이즈 스케일 $\sigma$ 는 단순히 입력에 결합(concatenate)되는 것이 아니라, 변조 블록(활성화 함수 스케일링)을 통해 모든 은닉층으로 전달되는 글로벌 조건화 신호로 라우팅된다.
이점: 이를 통해 네트워크가 노이즈 수준에 따라 밀도 추정을 동적으로 조정할 수 있게 하여, 바닐라 MLP보다 일관되게 우수한 성능을 보인다.

4. 학습 및 추론 (Training and Inference)

목적 함수 (Objective): 모델은 균등한 노이즈 스케일 분포 $\sigma \in [\sigma_{low}, \sigma_{high}]$ 에 대해 다중 스케일 DSM 목적 함수(식 5)를 사용하여 학습된다.
에너지 추정 (Energy Estimation): 테스트 시점에 모델은 서로 다른 노이즈 스케일에 걸쳐 시퀀스를 평가한다. 정상적인 동작은 낮은 에너지 분지(low-energy basins)에 떨어지는 반면, 이상 동작은 높은 에너지 점수를 생성한다.
효율성 (Efficiency): 프레임워크는 안정적인 평가를 위해 가중치의 지수 이동 평균(EMA)을 활용하며, 실시간으로 시퀀스를 처리한다 (GTX 1080에서 50명에 대해 1ms 미만). 지연 시간은 오직 상위 단계의 포즈 추출 과정에 의해서만 결정된다.

주요 기여 (Key Contributions)

PC-공간 밀도 추정: 본 논문은 원시 좌표에 대한 직접적인 DSM이 시간 창이 확장됨에 따라 구조적 붕괴를 일으킨다는 것을 입증한다. STEP은 노이즈 주입이 물리적으로 타당한 변형을 생성하는 백색화된 PC-공간에서 작동함으로써 이 문제를 해결한다.
신뢰도 인지 점수 산출: 포즈 추정의 부정확성을 고려하기 위해 시퀀스 수준의 신뢰도 가중치 메커니즘을 도입하였으며, 이는 추적 오류가 오탐지를 유발하는 것을 방지하여 AUROC를 크게 높인다.
아키텍처 조건화: $\sigma$ -변조 잔차 MLP를 제안하여, 노이즈 스케일에 대한 명시적 조건화가 표준 아키텍처보다 밀도 추정 성능을 향상시킴을 보여준다.

실험 결과 (Experimental Results)

프레임워크는 두 가지 도전적인 벤치마크인 UBnormal(합성, 사실적 렌더링)과 ShanghaiTech(실제 환경)에서 평가되었다.

UBnormal: STEP은 90.1% AUROC (전체 테스트) 및 90.9% (인간 관련 분할)를 달old하며 새로운 SOTA(State-of-the-Art)를 달성했다. 이는 이전 최고의 골격 기반 방법인 SeeKer보다 12.2% 절대적 개선을 나타내며, $T$ 가 증가함에 따라 성능 붕괴를 겪는 MULDE(직접적인 DSM 베이스라인)를 크게 능가한다.
ShanghaiTech: STEP은 86.2% AUROC (전체) 및 87.7% (HR)를 달성하여 STG-NF 및 SeeKer의 성능과 대등하거나 약간 상회한다.
절제 연구 (Ablation Studies):
- PC-공간 투영을 제거하면 $T$ 가 증가함에 따라 성능이 급격히 하락한다 (예: 원시 좌표의 경우 $T=2$ 에서 80.7%에서 $T=32$ 에서 70.6%로 하락).
- 신뢰도 가중치를 제거하면 공격적인 필터링을 사용할 때 UBnormal에서 4.5%의 하락이 발생하는 반면, 소프트 가중치는 강건성을 유지한다.
- $\sigma$ -변조 아키텍처는 바닐라 MLP 대비 일관되게 약 1%의 이득을 제공한다.
효율성: 모델은 무시할 만한 계산 오버헤드(< 1 ms 지연 시간)로 밀집된 군중을 처리할 수 있어 실시간 배포에 적합하다.

의의 및 주장 (Significance and Claims)

본 논문은 STEP이 인간 포즈 데이터에 스코어 기반 방법을 적용할 때 발생하는 한계를 근본적으로 해결함으로써 골격 기반 VAD의 새로운 기준을 세웠다고 주장한다. 구조를 보존하는 PC-공간으로 모델링 도메인을 전환하고 신뢰도 인식을 통합함으로써, 저자들은 이전 방법들에서 나타난 성능 저하 없이 긴 시계열에 대해 강건한 에너지 랜드스케이프를 학습하는 것이 가능함을 입증했다.

저자들은 이 접근 방식이 (픽셀 외형을 제거하여) 골격 기반 탐지의 개인정보 보호 특성을 유지하면서도 우수한 정확도를 달성한다는 점을 강조한다. 또한, 포즈만으로는 불충라한 다인 상호작용이나 물체 조작 등의 한계를 인정하며, 시각적 특징을 다시 도입하는 것은 골격 전용 방식의 개인정보 보호 이점을 훼st할 수 있음을 명시한다. 이 연구는 기존의 에너지 기반 접근 방식에서 나타나는 "구조적 붕괴"를 해결하는 경량화된 실시간 솔루션으로서의 위치를 확립한다.