Benchmark AUC Is Not Deployable Reliability: A Cross-Dataset Audit of Off-the-Shelf Features for Surveillance Video Anomaly Detection

기술 요약: 벤치마크 AUC는 배포 가능한 신뢰성이 아니다

문제 제기
감시 체계를 위한 비디오 이상 탐지(Video Anomaly Detection, VAD) 분야는 표준 벤치마크(예: UCSD Ped1/2, CUHK Avenue, ShanghaiTech)에서 보고되는 높은 프레임 수준의 ROC-AUC 점수에 크게 의존하고 있다. 그러나 이러한 점수들은 모델이 동일한 카메라, 장면, 조건에서 학습되고 테스트되는 "동일 데이터셋(same-dataset)" 설정에서 도출된 것이다. 본 논문은 모델이 한 장면에서 교정(calibration)되었다 하더라도, 완전히 다른 카메라나 환경에 있는 이상치를 탐지해야 하는 실제 배포 상황에서는 이러한 가정이 성립하지 않는다고 주장한다. 핵심 질문은 다음과 같다: 공유된 장면이라는 가정을 배제했을 때, 보고된 성능 중 얼마나 많은 부분이 살아남는가?

방법론
저자들은 오프더셸(off-the-shelf) 특징(features)의 일반화 능력을 격리하기 위해 의도적으로 단순하고 비지도 학습 방식이며 재현 가능한 프레임워크를 사용하여 교차 데이터셋 감사를 수행한다.

• 모델 아키텍처: 연구는 네 가지 서로 다른 백본으로부터 얻은 동결된(frozen) 사전 학습 임베딩(CLIP ViT-B/32, DINOv2 ViT-S/14, ResNet-50, EfficientNet-B0)을 활용한다. 별도의 미세 조정(fine-tuning)은 수행되지 않는다.
• 이상치 점수 산출: "정상성 모델(normality model)"은 소스 데이터셋의 정상(이상이 없는) 프레임만을 사용하여 구축된다. 테스트 프레임에 대한 이상치 점수는 k-최근접 이웃(kNN) 거리(구체적으로, $k=5$인 가장 가까운 정상 학습 임베딩에 대한 $1 - \text{평균 코사인 유사도}$)를 사용하여 생성된다.
• 감사 프로토콜: 저자들은 네 가지 백본과 네 가지 데이터셋(UCSD Ped1, UCSD Ped2, CUHK Avenue, ShanghaiTech)의 모든 조합을 평가한다. 이는 총 64개의 평가(16개의 "동일 데이터셋" 대각선 요소와 48개의 "교차 데이터셋" 비대각선 요소)를 생성한다.
• 지표: 주요 지표는 프레임 수준 ROC-AUC이다. 또한, 저자들은 등가 오류율(EER)과 고정된 재현율(recall) 0.9에서의 운용 오경보율(시간당 알람 횟수, 10 fps 가정)을 보고한다.
• 대조 실험: 실패의 원인이 특정 kNN 스코어러에 국한된 것이 아님을 확인하기 위해, 세 개의 데이터셋에 대해 PaDiM 스타일의 마할라노비스 거리(Mahalanobis distance) 검출기(매개변수 기반의 전역 가우시안 모델)를 사용하여 임베딩을 재평가하였다.

주요 결과
감사 결과, 교정된(동일 데이터셋) 설정에서 배포(교차 데이터셋) 설정으로 이동할 때 성능이 처참하게 붕괴됨이 드러났다:

1. 무작위 수준으로의 붕괴:

   • 동일 데이터셋 AUC: 모든 백본에 대해 평균 0.704를 기록했다.
   • 교차 데이터셋 AUC: 평균 0.499를 기록했으며, 이는 통계적으로 무작위 선택(0.5)과 구별할 수 없는 수준이다.
   • 여러 교차 데이터셋 쌍에서 성능이 무작위 수준 아래로 떨어졌으며(예: 0.340), 이는 모델이 새로운 장면의 정상 프레임을 이상치로 적극적으로 오분류하고 있음을 나타낸다.

2. "가장 강력한" 백본이 가장 크게 실패함:

   • DINOv2는 동일 데이터셋 AUC(Ped2에서 최대 0.901)에서 가장 높은 성적을 거두었으나, 가장 큰 성능 저하(격차 0.235)와 가장 낮은 교차 데이터셋 평균(0.490)을 보였다.
   • 저자들은 미세한 장면 세부 사항(카메라/장면 특유의 외형)을 포착하는 표현(representation)이 역설적으로 일반화에 실패하는 원인이라고 결론짓는다. 즉, 모델이 "이상이라는 개념"이 아니라 "카메라"를 학습하기 때문이다.

3. 운용 가능성:

   • 유리한 작동 지점(재현율 90%)에서도 중앙값 오경보율은 감당할 수 없는 수준이다.
   • 교차 데이터셋: 시간당 약 31,931회의 오경보 발생 (초당 약 9회).
   • 동일 데이터셋: 시간당 약 26,406회의 오경보 발생 (초당 약 7회).
   • 저자들은 이러한 양의 오경보는 인간의 분류 작업을 불가능하게 만들며, 비디오 스트림을 노이즈로 바꾼다고 주장한다.

4. 결과의 견고성:

   • kNN 스코어러를 마할라노비스 검출기로 교체해도 붕괴 현상이 거의 동일하게 재현되었다(교차 데이터셋 격차: kNN 0.202 vs 마할라노비스 0.208). 이는 실패의 원인이 이상치 점수 메커니즘이 아니라 동결된 특징 표현(인코더)에 있음을 확인시켜 준다.
   • 전이는 방향성을 가지며 비대칭적이다: 번잡한 장면(예: ShanghaiTech)에서 훈련된 모델을 조용한 장면(예: UCSD)에서 테스트할 때의 성능은 그 반대의 경우와 다르며, 단일 지표로는 전이 가능성을 요약할 수 없다.

의의 및 주장
본 논문은 새로운 검출기나 격차를 해결할 방법을 제안하는 것이 아니라, 현재 분야의 상태에 대한 비판적인 감사를 수행한다:

• 벤치마크 vs 현실: 문헌에서 인용되는 높은 AUC 점수는 "교정된 실험실 환경"을 설명할 뿐이며, 배포 가능한 신뢰성을 크게 과장하고 있다. 한 장면에서 교정된 검출기는 다른 장면에서는 동전 던지기보다 나을 것이 없다.
• 오해의 소지가 있는 지표: 동일 데이터셋 AUC와 테스트 세트의 이상치 발생률 사이의 상관관계는 벤치마크 점수가 "탐지 가능성"과 "데이터셋 구성"을 혼동하고 있음을 시사한다.
• 표현의 한 한계: 동결된 오프더셸 특징을 사용하는 영역에서는 도메인 내 표현의 품질과 교차 장면 전이성 사이에 트레이드오프(trade-off)가 존재한다. 더 나은 백본이 반드시 전이 격차를 줄여주는 것은 아니며, 오히려 격차를 넓히기도 한다.
• 운용 지표의 필요성: 저자들은 타당성이 AUC가 아닌 작동 지점(오경보율)에 의해 결정된다고 단언한다. 따라서 향-후 보고에는 배포 가능성을 주장하기 전에 교차 데이터셋 수치와 운용 오경보율이 반드시 포함되어야 한다고 주장한다.

논문은 현재의 VAD 벤치마크가 실제 감시의 어려움을 반영하지 못하고 있으며, 학계의 초점이 동일 데이터셋 AUC 극대화에서 장면 불변적(scene-invariant) 또는 도메인 적응형 정상성 모델링으로 전환되어야 한다고 결론짓는다.