Clean-Reference Streaming Detection of Lens Occlusion and Photometric Transitions for Camera Tamper Monitoring

렌즈의 침묵하는 수호자

당신이 거대한 디지털 도시의 보안 요원이라고 상상해 보십시오. 당신의 임무는 수천 개의 비디오 피드를 지켜보며 문제를 찾는 것입니다. 하지만 만약 카메라 자체가 문제라면 어떻게 될까요? 컴퓨터 비전의 세계에서 감시 카메라는 유리와 실리콘으로 만들어진 화려한 눈에 불과합니다. 누군가 그 눈 위에 테이프를 붙이거나, 카메라가 부딪혀서 시야가 갑자기 햇살 가득한 공원에서 어두운 골목길으로 바뀌어 버린다면, 보안 시스템의 "두뇌"는 실제 비상 상황과 고장 난 카메라 사이의 차이를 구분하지 못합니다. 시스템은 일어나지도 않은 범죄에 대해 비명을 지르기 시작하거나, 더 최악의 경우, 카메라가 완전히 눈이 먼 상태에서도 침묵할 수도 있습니다. 이것이 바로 **센서 무결성(sensor integrity)**의 문제입니다. 즉, 카메라가 실제로 보고 있다고 믿는 것을 제대로 보고 있는지 확인하는 것입니다.

이를 해결하기 위해 엔지니어들은 보통 시간이 흐름에 따라 "정상적인" 장면이 어떻게 보이는지 학습하려는 복잡한 시스템을 구축합니다. 그들은 현재의 사진을 과거 사진들의 메모리 뱅크와 비교합니다. 하지만 이러한 시스템은 까다로울 수 있습니다. 만약 카메라가 서서히 더 더러워진다면, 시스템은 그 더러움을 이제는 정상적인 것으로 간주하여 자신의 메모리에 업데이트해 버릴 수도 있기 때문입니다. 이 논문은 더 단순하고 엄격한 접근 방식을 다룹니다. 똑똑하게 학습하는 AI가 되려고 노력하는 대신, 이 방식은 엄격하고 규칙을 준수하는 심판처럼 행동합니다. 이 심판은 두 가지 매우 구체적인 질문을 던집니다: "이미지의 질감(texture)이 갑자기 붕괴되었는가(렌즈가 가려진 것처럼)?", 그리고 "전체 장면의 밝기가 너무 빠르게 급증하거나 급감했는가(전등 스위치를 켠 것처럼)?" 목표는 모든 가능한 범죄를 잡는 것이 아니라, 카메라가 무언가를 보고할 때 그 카메라 자체가 건강하며 알람이 글리치(glitch)가 아닌 실제 상황임을 보장하는 것입니다.

---

"클린-레퍼런스(Clean-Reference)" 탐정

이 논문의 저자인 Bo Ma, Wei Qi Yan, Jinsong Wu는 카메라 소프트웨어 내부에 거주하는 디지털 탐정을 만들었습니다. 이 탐정을 완벽한 상태의 책만을 신뢰하는 엄격한 사서라고 생각하십시오. 탐정의 주요 임무는 두 가지 특정 유형의 "카메라 변조"를 포착하는 것입니다: 렌즈 폐쇄(lens occlusion) (손이나 천처럼 렌즈를 가리는 것)와 광도 전이(photometric transition) (플러드라이트를 켜거나 카메라가 낮에서 밤으로 이동하는 것처럼 빛의 변화가 급격하고 극적으로 일어나는 것)입니다.

이 탐정이 "클린-레퍼런스" 전략을 사용하여 어떻게 작동하는지 설명하겠습니다. 탐정이 지난 몇 초간의 비디오를 슬라이딩 윈도우 형태로 유지하고 있다고 가정하되, 여기에는 황금률이 있습니다: 오직 깨끗하고 완벽한 프레임만이 윈도우에 들어올 수 있다는 것입니다. 만약 탐정이 수상해 보이는 프레임을 발견하면, 즉시 그 프레임을 메모리 뱅크에서 제외합니다. 탐정은 "더럽거나" "변조된" 프레임이 참조 모델을 업데이트하도록 절대 허용하지 않습니다. 이는 시스템이 가려진 렌즈를 새로운 정상 상태로 잘못 학습하는 것을 방지합니다.

탐정은 두 가지 주요 도구를 사용하여 비디오 스트림을 점검합니다:

1. 질감 붕괴 체크(The Texture Collapse Check): 렌즈가 가려지면 이미지의 미세한 디테일(모서리와 질감)이 사라집니다. 탐정은 이미지의 "입자감(graininess)"을 측정합니다. 입자감이 갑자기 사라지면 그것은 경고 신호입니다.
2. 밝기 급변 체크(The Brightness Jump Check): 장면 전체가 갑자기 훨씬 밝아지거나 어두워지면, 탐정은 평균 빛 수치를 측정합니다. 빛의 수치가 너무 빠르게 변하면 경고 신호가 됩니다.

하지만 여기서 영리한 부분은 이렇습니다: 탐정은 또한 **노이즈 제거(nuisance rejection)**의 명수이기도 합니다. 탐정은 문이 열려 햇빛이 쏟가져 들어오거나, 카메라가 야간 모드에서 주간 모드로 전환되는 것과 같이 카메라가 흔히 겪는 성가신 일들을 알고 있습니다. 오경보를 피하기 위해 탐정은 "게이트(gates)"를 가지고 있습니다. 만약 갑작스러운 밝기 변화가 카메라의 내부 "주/야간" 플래그가 바뀌는 시점과 정확히 일치한다면, 탐정은 이를 무시합니다. 만약 밝기 변화가 너무 빠르게(예: 스트로보 조명처럼) 일어난다면, 이는 억제됩니다. 또한 격자 패턴을 확인하여, 만약 변화가 실제 장면의 변화가 아니라 구조화된 빛 패턴(예: 프로젝터 빔)처럼 보인다면 이를 거부합니다.

이 시스템은 **에피소드 기반(episode-based)**으로 설계되었습니다. 문제가 있어 보이는 매 프레임마다 "알람!"이라고 소리치는 대신, 패턴이 나타날 때까지 기다렸다가 해당 이벤트 전체에 대해 단 한 번의 통보를 발행합니다. 이는 시스템이 알람을 남발하는 것을 막고 계산 비용을 낮추어, 슈퍼컴퓨터가 들어있지 않은 작고 저렴한 카메라에도 적합하게 만듭니다.

탐정이 발견한 것 (그리고 발견하지 못한 것)

저자들은 변조를 시뮬레이션한 320개의 통제된 비디오 시퀀스에서 이 탐정을 테스트했습니다. 결과는 유망했지만 특정적이었습니다. 탐정은 0.800 F1 (실제 문제를 찾고 오경보를 피하는 균형을 맞춘 정확도 척도)과 **0.822 균형 정확도(balanced accuracy)**를 달성했습니다. 이는 단순한 프레임 차이 검사와 같은 가장 강력한 "베이스라인" 방법들보다 실제 이벤트를 올바르게 식별하는 데 있어 유의미하게 뛰어났지만, 전체 점수에서의 차이는 통계적으로 아주 크지는 않았습니다.

결정적으로, 탐정은 허위 경보를 울리지 않는 데 매우 탁고했습니다. "검증된 음성(verified negative)" 푸티지(나쁜 일이 일어나지 않은 비디오) 9.09 카메라 시간 동안의 긴 테스트에서, 시스템은 제로(0)의 오경보를 기록했습니다. 이는 그림자를 보고 끊임없이 짖어대면 쓸모없게 되는 보안 시스템에게 있어 엄청난 승리입니다.

하지만 이 논문은 이 탐정이 할 수 없는 것에 대해서도 매우 명확하게 밝히고 있습니다. 이 탐정은 다음 사항을 탐지할 수 없음을 명시적으로 배제합니다:

• 순수 카메라 움직임: 카메라가 밝기나 질감의 변화 없이 단순히 회전하거나 약간 이동한 경우, 탐정은 이를 알아차리지 못합니다. 이 논문은 이를 잡아내기 위해 다른 종류의 "기하학적" 도구가 필요함을 인정합니다.
• 미세한 블러링(Blurring): 렌즈가 약간 초점이 흐려졌지만 밝기가 그대로 유지되는 경우, 탐정은 놓칠 수 있습니다.
• 비디오 위조: 누군가 비디오 파일 자체를 조작했는지 여부는 판단할 수 없습니다.

저자들이 실제 세계의 비디오가 담긴 공개 데이터셋(UHCTD 데이터셋 등)에서 시스템을 테스트했을 때, 결과는 그 한계를 확인시켜 주었습니다. 시스템은 그곳의 변조 이벤트 중 아주 작은 부분만을 탐지했습니다 (자신의 규칙에 부합하는 렌즈 폐쇄의 경우 약 **0.667의 재현율(recall)**을 보였으나, 규칙 외의 이벤트에 대해서는 0.016에 불불과했습니다). 이는 이 시스템이 "범용적인" 카메라 변조 분류기가 아님을 증명합니다. 그것은 특화된 도구, 즉 "감사 가능한 센서 건강 하위 시스템"입니다.

결론

이 논문은 이 방법을 마법의 탄환이라기보다는 신뢰할 수 있는 저비용 건강 모니터라고 기술하는 것이 가장 적절한 방법론으로 제시합니다. 이 방식은 모든 종류의 카메라 변조를 잡아내는 능력과, 특정적이고 흔한 유형(가려진 렌즈 및 갑작스러운 빛 변화)을 매우 높은 확신으로 (그리고 통제된 환경에서 제로의 오경보로) 잡아내는 능력 사이에서 절충을 택했습니다.

저자들은 이 시스템이 예측 가능한 동작과 왜 알람이 울렸는지 감사할 수 있는 능력이 필요한 임베디드 파이프라인에 완벽하다고 제안합니다. 만약 카메라가 물리적으로 이동하거나 회전한 것을 잡아야 한다면, 다른 기술(예: 기하학적 등록)과 함께 이 시스템을 결계해야 할 것입니다. 하지만 카메라가 가려지거나 갑작스러운 전등 스위치에 의해 눈이 멀지 않았는지 확인하는 데 있어서, 이 "클린-레퍼런스" 탐정은 단순하고 투명하며 매우 효과적인 솔루션을 제공합니다. 이 시스템은 모든 것을 배우는 AI가 되려는 것이 아니라, 자신이 무엇을 찾고 있는지 정확히 알고 속임수에 넘어가지 않는 엄격하고 정직한 경비원이 되고자 합니다.