💻 computer science

Detect Early, Escalate Rarely: Anytime Detection of AI-Generated Video from the Compressed Bitstream

이 논문은 압축된 비트스트림으로부터 모션 필드를 직접 분석함으로써 AI 생성 비디오 탐지를 스트리밍 인지 작업으로 재구성하며, 이를 통해 새로운 탐지기 아키텍처를 요구하지 않고도 보정된 오탐률과 측정 가능한 정확도-연산량 트레이드오프를 갖춘 상시 유효하고 저연산적인 결정을 가능하게 한다.

원저자: Mert Onur Cakiroglu, Mehmet Dalkilic, Hasan Kurban

게시일 2026-07-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mert Onur Cakiroglu, Mehmet Dalkilic, Hasan Kurban

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 인간 저자와 매우 재능 있는 로봇들이 끊임없이 책을 써 내려가는 거대하고 혼란스러운 도서관이라고 상상해 보세요. 오랫동안 사서들(탐지기들)은 책의 필체가 가짜인지 확인하기 위해 페이지를 한 장씩 넘기며 이야기 전체를 다 읽고 나서야 그 진위 여부를 확인할 수 있었습니다. 하지만 이제 로봇들은 이야기를 너무나 빠르고 훌륭하게 써 내려가고 있어서, 전체를 다 읽는 데 시간이 너무 오래 걸리고 사서들은 과부하 상태에 빠지고 있습니다. 이 논문은 컴퓨터 비전의 세계, 즉 기계가 이미지와 비디오를 '보고' 이해하는 법을 배우는 분야에 자리 잡고 있습니다. 여기서 핵심 아이디어는 비디오가 단순히 사진들의 더미가 아니라는 점입니다. 비디오는 컴퓨터에게 다음 장면으로 어떻게 이동할지를 알려주는 아주 작은 명령 패키지(비트스트림이라고 불리는)로 압축되어 있습니다. 마치 영화 감독이 카메라 움직임을 계획하기 위해 스토리보드를 사용하는 것처럼, 비디오 코덱(비디오를 압축하는 소프트웨어)은 공간을 절약하기 위해 '모션 맵(motion map)'을 기록합니다. 큰 질문은 이것입니다. 실제 영화를 보지 않고도 이 모션 맵을 보는 것만으로 가짜 비디오를 찾아낼 수 있을까요?

이 논문의 저자인 메르트 오누르 차키로글루(Mert Onur Cakiroglu), 메흐메트 달킬릭(Mehmet Dalkilic), 하산 쿠르반(Hasan Kurban)은 "네, 그리고 우리는 그것을 매우 빠르게 할 수 있습니다"라고 말합니다. 그들은 비디오 탐지를 영화가 끝난 뒤에 치르는 최종 시험이 아니라, 비디오가 여전히 스트리밍되는 동안 실시간으로 진행되는 라이브 해설로 취급합니다. 비디오 전체를 고화질 픽셀로 디코딩하는 대신(이는 마치 잉크를 확인하기 위해 책 전체를 인쇄하는 것과 같습니다), 그들의 방식은 압축된 파일에서 직접 '모션 맵'을 읽습니다. 그들은 AI가 생성한 비디오가 종종 '골격 같은' 움직임, 즉 너무 단순하고 희소한 움직임을 보이는 반면, 실제 비디오는 '풍부하고' 복잡한 움직임을 가진다는 것을 발견했습니다. 이 모션 맵을 스캔함으로써, 그들의 시스템은 전통적인 방식에 필요한 컴퓨터 전력의 아주 적은 부분만을 사용하여 거의 즉시 가짜를 찾아낼 수 있습니다.

여기 마술 같은 트래픽이 있습니다. 그들은 2단계 보안 요원을 구축했습니다. 첫 번째 요원은 모션 맵을 읽는 가볍고 매우 빠른 CPU 스캐너입니다. 이 스캐너는 매우 저렴하고 빨라서 도착하는 모든 비디오를 검사할 수 있습니다. 만약 움직임이 의심스러울 정도로 단순하다면, 이 요원은 "가짜!"라고 외치며 그 자리에서 비디오를 중단시킵니다. 만약 움직임이 매우 정상적이라면, "진짜!"라고 말하며 통과시킵니다. 하지만 만약 움직임이 모호하거나 경계선에 걸쳐 있다면 어떻게 될까요? 그때 두 번째 요원이 투입됩니다. 이 두 번째 요원은 실제로 비디오 픽셀을 관찰하여 최종 결정을 내리는 무겁고 값비싼 AI 모델입니다. 놀라운 점은 이 비싼 요원이 혼란스러운 경우에만 호출된다는 것입니다. 이는 약 15%의 경우에만 호출됩니다. 즉, 이 시스템은 모든 비디오를 무거운 모델로 확인하는 것보다 약 7배 적은 컴퓨팅 파워를 사용하면서도, 실제로 약간 더 정확한 결과를 얻으며 엄청난 양의 에너지와 시간을 절약합니다.

또한 이 논문은 매우 중요한 안전 규칙을 증명합니다. 첫 번째 요원의 점수는 (더 많은 비디오를 볼수록 낮아지는 것이 아니라) 계속 올라가기 때문에, 중간에 검사를 중단하더라도 실수로 진짜 비디오를 가짜로 판정하지 않도록 보장하는 단일한 '중단선'을 설정할 수 있습니다. 이는 마치 금속 탐지기가 울리거나 수상해 보일 때만 정밀 신체 검사를 받는 보안 검문소와 같습니다. 명확하게 안전해 보인다면 바로 통과하는 것입니다. 그들은 수천 개의 비디오를 대상으로 테스트를 진행했으며, 그들의 방식이 기존 방식들과 달리 단 몇 초(또는 첫 번째 '덩어리')만 보고도 가짜를 찾아낼 수 있다는 것을 발견했습니다. 이 시스템이 완벽하지는 않으며 예상과 다르게 비디오가 압축된 경우 혼란을 겪을 수 있지만, 빠르고 저렴하며, 언제 도움을 요청해야 할지 알 줄 아는 스마트한 방식으로 AI 가짜를 잡아내는 새로운 길을 제시합니다.

기술 요약: 조기 탐지, 드문 에스컬레이션: 압축 비트스트림을 이용한 AI 생성 비디오의 상시 탐지 (Anytime Detection)

1. 문제 정의

현재의 AI 생성 비디오(AIGV) 탐지기는 주로 비디오 클립 전체를 픽셀로 디코딩하여 점수를 매기는 오프라인 평가를 위해 설계되었으며, 이 과정에서 무거운 시각-언어 모델(VLM)이나 대규모 신경망을 활용하곤 한다. 그러나 실제 배포 환경은 비디오가 압축된 청크(chunk) 단위로 순차적으로 들어오는 온라인(스트리밍) 환경이다. 이러한 설정은 엄격한 지연 시간 예산과 계산 제약을 부과하며, 모든 유입 프레임에 대해 수십억 개의 파라미터를 가진 모델을 실행하는 것을 불가능하게 만든다. 더욱이 기존의 스트리밍 인지(streaming perception) 방법론들은 객체 탐지나 행동 인식에 집중되어 있으며, 합성 비디오 생성 탐지에는 적용되지 않는다. 또한 실시간 딥페이크 탐지기는 일반적으로 디코딩된 얼굴 이미지에 의존할 뿐, 압축 비트스트림 자체를 직접 활용하지 않는다.

핵심 과제는 압축 비트스트림으로부터 상시 유효성(임의의 시점에서 제어된 오차율로 결정을 내릴 수 있는 능력)과 계산 적응성(불확실한 클립만을 고비용 모델로 에스컬레이션하는 능력)을 갖추어 AIGV를 스트리밍 방식으로 탐지하는 것이다.

2. 방법론

제안된 접근 방식인 StreamDet은 AIGV 탐지를 코덱의 모션 필드(motion field)에서 직접 작동하는 스트리밍 인지 문제로 재정의한다.

2.1 스트리밍 프로토콜

입력: 비디오는 $g_1, g_2, \dots, g_N$ 으로 표시되는 정렬된 GOP(Groups of Pictures) 시퀀스로 도착한다.
특징 추출 (1단계): 프레임을 픽셀로 디코딩하는 대신, 시스템은 코덱에 의해 이미 기록된 양자화된 모션 벡터(MV) 필드를 파싱한다. 각 GOP에 대해, 시스템은 4개의 글로벌 모션 통계량과 9개의 스펙트럼 차원으로 구성된 고정된 13차원 특징 벡터 $\phi_t$ 를 추출한다.
스코어링: 경량 CPU 기반 스코러 $f_R$ 은 이 특징들을 스코어 $s_t$ 로 매핑하며, 높은 점수는 "생성됨"을 나타낸다. 이 과정은 GOP당 약 $10^5$ 번의 곱셈-누산 연산(MACs)을 필요로 하며, 이는 픽셀 도메인 CNN보다 5개 차수(order)나 적은 연산량이다.
집계: 시스템은 실행 최대값(running maximum) 집계치 $M_t = \max_{i \le t} s_i$ 를 유지한다. 이 단조 증가하는 집계 방식 덕분에 탐지기는 점수가 임계값을 넘어서는 즉시 동작할 수 있다.

2.2 결정 메커니즘 (계층적 구조와 유예)

시스템은 "가격이 책정된" 계산 프런티어를 가진 2단계 계층 구조를 채택한다.

1단계 (항시 가동): 실행 최대값 $M_t$ $M_{t}$ 에 대해 단일 종단 교정 임계값(end-calibrated threshold) $\tau$ $τ$ 를 적용한다.
- 만약 $M_t \ge \tau$ 이면, 해당 클립은 즉시 생성됨으로 분류된다 (조기 종료).
- 만약 스트림이 종료되거나 지연 시간 예산에 도달할 때까지 $\tau$ 를 넘지 못하면, 시스템은 임계값과의 근접성을 확인한다.
유예 대역 (Deferral Band): 폭 $w$ $w$ 는 불확실한 대역 $W = [\tau - w, \tau)$ $W = [τ - w, τ)$ 를 정의한다.
- 만약 $M_t < \tau - w$ 이면, 클립은 **실제(real)**로 분류된다.
- 만 만약 $M_t \in W$ 이면, 클립은 2단계로 **유예(deferred)**된다.
2단계 (온디맨드): 유예된 클립은 관찰된 접두사(prefix)에 적용되는 고비용 탐지기(예: 픽셀 CNN 또는 VLM)로 에스컬레이션된다. 최종 결정은 유예된 클립에 대해서는 2단계의 판정이며, 그 외의 경우에는 1단계의 판정이다.

2.3 이론적 보장

본 논문은 두 가지 핵심적인 이론적 특성을 확립한다.

상시 유효한 허위 양성 제어 (Anytime-Valid False-Positive Control): 집계치 $M_t$ 는 단조 증가하므로, 실제 클립의 최종 접사(final prefix)에서 교정된 단일 임계값 $\tau$ 는 데이터 의존적 정지 시점(gate가 작동하는 순간)에서의 허위 양성률(FPR)을 제어한다. 이는 per-prefix 재교정이 오차율을 팽창시키는 "선택적 정지(optional stopping)" 문제를 방지한다.
계산-정확도 프런티어 (Compute-Accuracy Frontier): 기대 계산 비용은 다음과 같은 폐쇄형(closed form)을 갖는다: $\mathbb{E}[C] = \bar{t}C_1 + \text{Pr}(s \in W)C_2$ . 계층 구조의 정확도는 유예 조건이 충족될 때만(즉, 2단계가 1단계보다 특히 유예된 집합에서 더 정확할 때) 계산 예산에 대해 단조적이다.

3. 주요 기여

스트리밍 AIGV 탐지 프레임워크: 저자들은 탐지를 스트리밍 인지로 재구성하여, 상시 AUC(관찰된 접사에 대한 ROC-AUC) 및 지연 시간 예산 기반 스트리밍 AUC와 같은 지표를 정의하였다.
압축 도메인 상시 프런트엔드: 픽셀 디코딩 없이 코덱 모션 필드를 스코어링하는 CPU 전용 단계이다. 이는 단일 종단 교정 임계값을 통해 조기 종료를 가능하게 하는 단조 스코어 집계를 제공하며, 정지 시점에서의 FPR 제어를 보장한다.
가격이 책정된 계산 프런티어: 불확실한 클립만을 에스컬레이션하는 계층 구조를 제공한다. 논문은 계산-정확도 프런티어를 도출하여, 에스컬레이션이 저비용 모델이 실제로 불확실한 클립에 적용될 때만(유예 조건) 정확도가 향상됨을 보여준다.

4. 실험 결과

실험은 GenVidBench(약 2.7만 개의 클립으로 구성된 매칭 셀)와 AIGVDBench에서 수행되었다.

효율성 vs 정확도 (1단계): 코덱 단계만으로 전체 길이에 대해 0.64의 AUC와 첫 번째 GOP에서 0.80의 sAUC(1)를 달성하였으며, GOP당 $10^5$ MACs를 사용하였다. 이는 픽셀 CNN( $1.8 \times 10^{10}$ MACs)보다 5개 차수나 적은 연산을 사용하면서도 첫 번째 청크부터 유의미한 정보를 제공함을 보여준다.
계층 구조 성능: 클립의 **15%**를 픽셀 CNN으로 유예했을 때, 결정 정확도는 0.75(코덱 단독)에서 0.78(픽셀 CNN 적용)로 증가하였다. 이는 모든 클립을 픽셀 CNN으로 스코어링했을 때(0.76)보다 높은 정확도를 달성하면서도 7배 적은 계산량을 사용한다.
VLM 에스컬레이션: 샘플링된 데이터에 대해 소규모 VLM(Ivy-xDetector)으로 에스컬레이션했을 때, 계층 구조는 55% 유예율에서 0.79의 정확도를 달성하여 동일한 유예 집합에 대한 픽셀 CNN(0.68)을 크게 능가하였다. 그러나 VLM 단독으로는 계산 비용이 매우 높고( $\sim 10^{13}$ MACs/clip) "어려운" 생성 모델에 대해서는 신뢰도가 낮다.
보장 사항: 종단 교정된 임계값은 목표 $\alpha=0.05$ 에 대해 정지 시점의 FPR을 0.039로 성공적으로 유지하였다. 반면, 단순한 per-prefix 재교정은 분포 변화가 있을 때 FPR이 크게 드리프트(drift)되는 현상을 보였다.
절제 연구 (Ablations):
- 모션 편향 (Motion Bias): 신호가 모션 크기에 따른 매칭에서도 생존한다는 것은, 이것이 단순히 "생성된 비디오는 움직임이 적다"는 식의 아티팩트가 아님을 시사한다.
- 집계기 (Aggregator): 실행 최대값(running max)은 이론적 보장을 위해 필요한 유일한 단조 집계기이다. 비록 평균 풀링(mean-pooling)이 오프라인 정확도에서는 더 높은 성능을 보이지만, 단조성이 필수적이다.
- 교차 데이터셋: 방법론은 AIGVDBench에서도 재현되었으나, 테스트 분포가 교정 세트와 다를 경우 FPR 제어가 약간 드리프트(0.068)되는 현상이 나타났다.

5. 의의 및 주장

본 논문은 AIGV 탐지가 오프라인 배치 작업이 아닌 스트리밍 문제로 취급되어야 한다고 주장한다. 이 논문의 의의는 다음과 같다:

재구성: 탐지를 픽셀 도메인에서 압축 비트스트림 도메인으로 이동시켜, 코덱이 이미 계산한 신호를 활용한다.
보장: 결정이 내려지는 정확한 순간에 허위 양성률이 제어되는 상시 유효 추론을 제공한다.
효율성: "저렴한" 코덱 파싱이 견고한 프런트엔드 역할을 할 수 있음을 입증하여, 가장 어려운 경우에만 고비용(GPU/VLM) 계산을 예약하도록 한다. 이는 에스컬레이션 로직이 타당할 때만 정확도가 예산에 따라 확장되는 단조 계산-정확도 프런티어를 생성한다.

저자들은 자신들이 새로운 탐지 아키텍처를 제안하는 것이 아니라, 효율적이고 보장된 적응형 탐지를 가능하게 하는 프로토콜과 재구성을 제안하고 있음을 명시한다. 또한 비트스트림 접근 권한의 필요성, 홀드아웃(held-out) 실제 데이터에 대한 교정의 필요성, 특정 생성 모델에서의 모션 편향 숏컷(shortcut) 가능성 등의 한계를 인정한다.