기술 요약: 감시 비디오에서의 대화형 쿼리 기반 이상 이벤트 시놉시스 생성

문제 정의

감시 시스템은 방대한 양의 비디오 데이터를 생성하지만, 그 대부분은 중복되거나 정보 가치가 없습니다. 비디오 요약(또는 시놉시스 생성)은 이 데이터를 고유한 프레임이 포함된 더 짧은 버전으로 압축하는 것을 목표로 하지만, 기존 방식들은 감시 환경에서 다음과 같은 중요한 문제에 직면해 있습니다:

1. 복잡한 쿼리 처리: 여러 객체 간의 동시 상호작용이나 특정 방향성 움직임과 같이 다중 조건을 포함하는 사용자 쿼리를 처리하는 데 어려움이 있습니다.
2. 연대순 유지: 조사 분석에 필수적인 이벤트의 시간적 순서를 유지하는 데 어려움이 있습니다.
3. 시놉시스 품질 평가: 표준 중첩 비율(Overlapping Ratio, OR)과 같은 기존 지표는 종종 중첩 영역의 픽셀 수를 기준으로 합니다. 이러한 접근 방식은 중첩 위치에 따라 픽셀 수가 달라지며, 중첩된 인원수를 정확하게 반영하지 못해 오해의 소지가 있는 품질 평가를 초래한다는 점에서 결함이 있습니다.

본 논문은 인터랙티브 쿼리(단순 진입/퇴출 및 복잡한 다중 객체 방향 쿼리 포함)를 처리하면서, 시간적 순서를 보존하고 보다 정확한 품질 지표를 제공할 수 있는 콘텐츠 기반 이상 이벤트 시놉시스 생성 시스템의 필요성을 다룹니다.

방법론: IQAES 알고리즘

저자들은 IQAES(Interactive Query based Abnormal Events Summarization) 알고리즘을 제안합니다. 이 방법론은 인간 탐지와 추적이 이미 수행되어 위치 좌표 벡터($P$)와 이상 이벤트 벡터($A$)가 생성된 전처리된 감시 비디오를 대상으로 작동합니다.

1. 입력 전처리

시스템은 **다중 인간 추적을 위한 러프 셋 프레임워크(RSFMHT)**를 활용하여 각 프레임 내 인간의 위치 좌표 벡터($P$)를 도출합니다. 이 벡터는 각 인간의 경계 상자(bounding box)를 정의하는 4개의 좌표($X_{min}, X_{max}, Y_{min}, Y_{max}$)를 포함합니다. 그 후, 정의된 관심 영역(ROI) 내에 인간이 존재하면 '1', 그렇지 않으면 '0'으로 표시하는 알고리즘 1을 적용하여 **이상 이벤트 벡터($A$)**를 생성합니다.

2. 쿼리 처리

IQAES 알고리즘은 사용자 쿼리를 두 가지 유형으로 분류하고 특정 하위 알고리즘을 사용하여 이를 처리합니다:

• 단순 쿼리: 단일 파라미터를 포함하며, 특히 단일 인간의 진입 또는 퇴출을 다룹니다.
  • IHE (관심 인간의 진입): 진입 프레임을 식별하기 위해 이벤트 벡터에서 '0'에서 '1'로의 변화를 감지합니다.
  • IHX (관심 인간의 퇴출): 퇴출 프레임을 식별하기 위해 '1'에서 '0'으로의 변화를 감지합니다.
• 복합 쿼리: 다중 조건 및 객체를 포함합니다.
  • SLH (동시 배회): 여러 명의 인간이 ROI 내에 동시에 존재하는 공통 프레임 구간을 계산합니다.
  • SEH/SXH (동시 진입/퇴출): 탐지 지연을 고려하여 특정 프레임 구간($x$) 내에서 발생하는 진입 또는 퇴출 이벤트를 식별함으로써, 여러 인간의 동시 움직임을 감지할 수 있도록 합니다.
  • DEH/DXH (방향 진입/퇴출): 인간의 위치 중간점(midpoint)을 ROI 모서리와 비교하여 이동 방향(북, 남, 동, 서)을 결정합니다. 이는 진입 또는 퇴출 시의 구체적인 이동 방향에 관한 쿼리를 지원합니다.

3. 시놉시스 생성

알고리즘은 감지된 이벤트 및 쿼리 조건에 따라 입력 비디오에서 관련 프레임을 추출합니다. 이 과정에서 최종 시놉시스($S$)의 연대순 순서가 보장되도록 하며, 이때 $S \ll N$ (시놉시스는 원본 비디오보다 현저히 짧음) 관계가 성립합니다.

주요 기여

1. 인터랙티브 쿼리 기반 프레임워크

본 논문은 기존 방식들이 해결하지 못하는 복잡한 다중 조건 쿼리를 처리할 수 있는 규칙 기반 분류기를 도입합니다. 장면 기반 요약이나 단순 궤적 분석에 집중하는 기존 연구와 달리, IQAES는 객체 상호작용(동시성) 및 이동 방향에 관한 사용자 정의 제약 조건을 기반으로 한 콘텐츠 기반 요약을 구체적으로 목표로 합니다.

2. 개선된 중첩 비율 (IOR)

생성된 시놉시스의 품질을 평가하기 위해 새로운 지표인 **개선된 중첩 비율(Improved Overlapping Ratio, IOR)**을 제안합니다.

• 기존 지표의 한계: 표준 중첩 비율(OR)은 전체 프레임 면적 대비 중첩된 픽셀의 비율을 측정합니다. 저자들은 픽셀 수가 중첩 위치에 따라 달라지며, 중첩된 인간의 수와 선형적으로 비례하지 않기 때문에 이것이 부정확하다고 주장합니다.
• IOR 정의: IOR은 모든 시놉시스 프레임 전반에 걸쳐 ROI 내의 전체 인간 수 대비 중첩된 인간의 수 사이의 비율을 측정합니다.
• 의의: 이 지표는 픽셀 밀도 변화와 무관하게 폐쇄(occlusion)로 인한 시각적 혼란과 정보 손실을 더 정확하게 나타냅니다.

3. 포괄적인 하위 알고리즘 세트

본 논문은 이벤트 감지, 동시 발생 분석 및 방향 분류의 로직을 체계적으로 처리하는 8개의 특정 알고리즘(알고즘 1부터 8까지)을 상세히 설명하여, 인터랙티브 비디오 요약을 위한 구조화된 접근 방식을 제공합니다.

실험 결과

IQAES 알고리즘은 794개의 보행자 키프레임으로 구성된 PETS09 데이터셋을 사용하여 평가되었습니다. 실험은 단일/다중 인간 진입/퇴출, 동시 배회, 방향성 움직임을 포함한 다양한 시나리오를 다루었습니다.

• 정량적 성능:
  • 알고리즘은 다양한 쿼리 유형에 대해 높은 정확도(99%–100%)와 정밀도(87%–100%)를 달s성했습니다.
  • **재현율(Recall)**은 특히 방향성 쿼리(DEH 및 DXH의 경우 100%)에서 높게 나타났습니다.
  • **프레임 압축 비율(FCR)**과 **시간적 무질서 비율(TDR)**을 측정하여 압축성과 연대순 무결성을 확인했습니다.
• 품질 평가:
  • 제안된 IOR은 표준 OR에 비해 현저히 낮은 값(높은 품질을 의미)을 나타냈습니다. 예를 들어, 복잡한 방향성 쿼리에서 IOR은 7.00%였던 반면, 시각화 프레임워크 [10]은 43.00%였습니다.
  • 주관적 평가: 5명의 참가자가 쾌적함, 자세의 명확성, 압축성, 콘텐츠 보존 등의 기준에 따라 시놉시스를 평가했습니다. 점수는 생성된 요약에 대한 높은 만족도를 나타냈습니다.
• 비교 분석:
  • 기존 시각화 프레임워크 [10]와 비교했을 때, 제안된 IQAES는 단일 및 복합 쿼리 모두에서 **정밀도(Precision)**와 재현율(Recall) 측면에서 베이스라인보다 우수한 성능을 보였습니다.
  • IQAES는 더 낮은 중첩 비율(OR)과 개선된 중첩 비율(IOR)을 보여, 폐쇄(occlusion) 처리 및 시각적 명확성 측면에서 우월함을 입증했습니다.

의의 및 주장

본 논문은 제안된 IQAES 알고리즘이 복잡한 다중 객체 쿼리를 처리하는 능력과 중첩 이벤트에 대한 정확한 품질 지표의 부재라는 현재의 감시 비디오 요약의 격차를 효과적으로 해결한다고 주장합니다.

• 복잡성 처리: 시스템은 기존 방식들이 연대순을 유지하지 못하면서 어려움을 겪었던 방향 및 동시성을 포함한 복잡한 사용자 쿼리에 따라 이상 이벤트가 있는 프레임을 성공적으로 우선순위화합니다.
• 지표 개선: IOR의 도입은 픽셀 기반 지표보다 발전된 것으로 제시되며, 중첩된 객체에 대한 인간의 지각과 일치하는 더 신뢰할 수 있는 품질 측정을 제공합니다.
• 조사 유용성: 특정 사용자 제약 조건에 부합하는 간결하고 연대순으로 정렬된 시놉시스를 생성함으로써, 본 시스템은 조사관이 방대한 양의 감시 영상을 신속하게 분석하고 관련 있는 이상 이벤트에만 집중할 수 있게 합니다.

저자들은 시스템이 견고하게 작동하지만, 입력 프레임의 심한 폐쇄(occlusion)로 인해 미세한 거짓 양성(false positives) 및 거짓 음성(false negatives)이 발생할 수 있다고 결론지었습니다. 그러나 전반적인 결과는 IQAES가 기존의 시각화 기반 방법보다 더 높은 품질의 시놉시스를 생성함을 입증합니다.