🤖 AI

Detecting AI-Generated Videos with Spiking Neural Networks

이 논문은 시간적 잔차(temporal residuals)와 의미론적 궤적(semantic trajectories)의 독특한 이벤트 기반 처리를 활용하여 AI 생성 비디오 탐지에서 우수한 교차 생성기 일반화 성능을 달성하고 GenVidBench 벤치마크에서 기존 방법들을 능가하는 스파이킹 신경망 기반의 탐지기인 MAST를 소개한다.

원저자: Minsuk Jang, Yujin Yang, Hee-Seon Kim, Minseok Son, Younghun Kim, Changick Kim

게시일 2026-08-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minsuk Jang, Yujin Yang, Hee-Seon Kim, Minseok Son, Younghun Kim, Changick Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화를 보고 있다고 상상해 보세요. 배우들의 연기는 너무나 완벽하고, 조명은 결점이 없으며, 모든 프레임이 마치 고해상도 사진처럼 보입니다. 오랫동안, 만약 당신이 영상이 실제인지 컴퓨터가 만든 것인지 구별하고 싶다면, 그저 정지된 사진 한 장만 보면 되었습니다. 귀 모양이 약간 이상하거나 손가락이 너무 많다면, 그것이 가짜라는 것을 알 수 있었죠. 하지만 컴퓨터는 이제 단 한 프레임 안에서도 완벽한 얼굴을 그려낼 수 있을 정도로 발전했습니다. 이제 게임의 규칙이 바뀌었습니다. 이제 '가짜'는 사진 자체에 있는 것이 아니라, 사진들 사이의 '움직임' 속에 있습니다.

이것이 바로 AI 생성 비디오 탐지의 세계입니다. 핵심 아이디어는 간단합니다. 현실은 무질서하다는 것입니다. 머리를 움직일 때 머리카락이 휘날리고 빛이 변할 때, 그 변화는 특정한, 혼란스럽고 자연스러운 리듬으로 일어납니다. 그러나 AI는 종종 너무 완벽해지려고 노력합니다. AI는 모든 것을 너무 매끄럽게 만들어, 프레임 사이의 움직임을 실제 삶이라기보다는 마치 슬로우 모션 꿈처럼 느껴지게 만듭니다. 과학자들은 이러한 '매끄러움'의 결함을 포착하는 탐지기를 만들기 위해 노력해 왔습니다. 하지만 까다로운 점이 있습니다. 서로 다른 AI 프로그램은 서로 다른 종류의 결함을 만들어낸다는 것입니다. 어떤 것은 머리카락을 너무 매끄럽게 움직이게 하고, 다른 것은 배경을 깜빡거리게 만들 수도 있습니다. 한 종류의 결함을 잡도록 만들어진 탐지기는 새로운 종류의 결함을 마주했을 때 종종 실패합니다. 이것이 바로 연구자들이 단일 스틸 컷이 아닌 영상 전체를 보는 더 똑똑한 방법을 찾는 이유입니다.

이때, 아주 다른 접근 방식을 시도하기로 한 KAIST(한국과학기술원)의 한 팀이 등장했습니다. 그들은 모든 픽셀을 기억하려고 애쓰는 표준적인 고성능 인공 신경망(Artificial Neural Networks) 대신, 인간의 뇌에서 영감을 얻은 것, 즉 스파이킹 신경망(Spiking Neural Networks, SNN)을 활용했습니다. SNN을 무언가 '변화'가 일어날 때만 신호를 보내는 신경계라고 생각해 보세요. SNN은 지루하고 정적인 부분은 무시하고 오직 움직임이 있는 순간에만 주목합니다.

장민석 교수와 동료들이 이끄는 연구진은 이 '변화에 민감한' 뇌에 AI 영상을 입력했을 때 매우 흥서로운 사실을 발견했습니다. 그들은 실제 영상은 화면 전체에 걸쳐 흩어져 있는 자연스러운 '스파이크'(신호) 패턴을 만드는 반면, AI가 생성한 영상은 사람의 윤곽이나 움직이는 자동차처럼 물체의 가장자리(edge)에만 스파이크를 집중시킨다는 것을 발견했습니다. 마치 AI가 물체의 내부를 완벽하게 만드는 데 너무 몰두한 나머지, 가장자리가 자연스럽게 움직이는 것을 잊어버린 것과 같습니다.

이를 잡아내기 위해 그들은 MAST라고 불리는 새로운 탐지기를 구축했습니다. MAST를 두 부분으로 구성된 탐정이라고 상상해 보세요. 한 부분은 영상의 일반적인 이야기(의미론적 내용)를 살펴보고 무엇이 일어나고 있는지 이해하는 '얼어붙은' 전문가입니다. 다른 한 부분인 SNN은 고속 동작 센서처럼 작동합니다. SNN은 영상을 아주 작은 '의사 이벤트(pseudo-events)'로 분해합니다. 즉, "이 픽셀이 변했는가?"라고 묻는 것입니다. 만약 대답이 '예'라면, 아주 작은 전기적 스파이크를 보냅니다. AI 영상은 저 기묘하고 매끄러운 가장자리를 가지고 있기 때문에, SNN은 매우 특정한 패턴을 목격합니다. 경계선 부분에는 스파이크가 많이 뭉쳐 있지만, 중간 부분에는 스파이크가 거의 없는 패턴 말입니다.

연구진은 MAST를 GenVideo라는 까다로운 챌린지로 테스트했습니다. 이 테스트는 하나의 AI로 만든 영상으로 학습시킨 뒤, 한 번도 본 적 없는 열 개의 서로 다른 AI 프로그램을 통해 만든 영상을 찾아내도록 요구하는 방식입니다. 이것은 보안 요원에게 특정 국가의 위조 신분증을 식별하도록 가르친 뒤, 다른 나라에서 온 어떤 위조 신분증이라도 찾아낼 수 있는지 시험하는 것과 같습니다. 결과는 어땠을까요? MAST는 **93.14%**의 확률로 정답을 맞혔습니다. 이는 표준적인 고성능 컴퓨터 뇌를 사용하는 대부분의 다른 최상위 탐지기들보다 뛰어난 성적입니다.

이것이 왜 더 멋진 일인지 알려면, MAST는 훨씬 빠르고 에너지도 적게 사용한다는 점을 알아야 합니다. 갑작스러운 소음에 반응하는 신경계처럼, 무언가 변화할 때만 신호를 보내기 때문에 지루하고 정지된 부분을 처리하는 데 에너지를 낭비하지 않습니다. 논문은 이러한 '이벤트 기반(event-driven)' 스타일이 AI 가짜를 잡아내는 데 완벽한 궁합이라고 제안합니다. 왜냐하면 AI 영상의 결함은 종-종 그러한 미세하고 빠른 변화의 순간 속에 숨겨져 있기 때문입니다.

저자들은 이것이 모든 것을 영원히 해결할 마법의 탄환은 아니라는 점을 주의 깊게 언급했습니다. 만약 영상이 매우 짧거나, AI가 움직임을 흉내 내는 데 더욱 능숙해진다면 탐지기가 어려움을 겪을 수도 있습니다. 하지만 현재로서는, '스파이크'와 '이벤트'를 통해 생각하는 뇌를 사용하는 것이 AI 생성 영상의 매끄럽고 부자연스러운 움직임을 포착하는 강력한 새로운 방법임을 보여주었습니다. 이는 움직이는 영상 속에서 진실을 찾기 위해, 모든 것을 한꺼번에 볼 필요는 없으며, 단지 언제 변화를 찾아봐야 하는지를 아는 것이 중요하다는 점을 상기시켜 줍니다.

기술 요약: 스파이킹 신경망(MAST)을 이용한 AI 생성 비디오 탐지

문제 정의
현대의 AI 생성 비디오는 단일 프레임 수준에서 포토리얼리즘을 달성하여, 정적 아티팩트(artifact) 탐지를 무력화시켰습니다. 실제 비디오와 합성 비디오의 주요 차이점은 이제 **프레임 간 시간적 역동성(inter-frame temporal dynamics)**에 있습니다. 기존의 탐지기들은 전체 시퀀스를 시간적 백본(temporal backbones)에 입력하거나, 시간적 통계치를 실제 비디오 베이스라인과 비교하는 방식으로 이를 해결하려 하지만, 이는 비디오 수준의 고정된 기술자(descriptor)로 정보를 축소시키거나 시간적 신호를 고정된 요약본으로 변환한다는 한계가 있습니다. 이러한 전략들은 생성 모델마다 시간적 아티팩트의 유형과 타임스케일이 크게 달라지는 교차 생성기 평가(cross-generator evaluation) 상황에서 성능 저하가 심각하게 발생합니다. 핵심 과제는 결정적인 동적 정보를 소실시키는 정적 요약으로 시간 가변적 증거를 붕괴시키지 않으면서, 희소하고(sparse), 비동기적이며(asynchronous), 국소적인(localized) 시간적 불일치를 탐지하는 것입니다.

방법론: MAST
저자들은 MAST(Multi-channel pseudo-event SNN with Adaptive Spiking Temporal integrators)를 제안합니다. 이 모델은 인터-프레임 잔차(inter-frame residuals)를 이벤트 형태의 신호로 처리하기 위해 **스파이킹 신경망(SNN)**을 활용하는 탐지기입니다. 아키텍처는 두 개의 상보적인 브랜치로 구성됩니다:

스파이크 구동 시간 브랜치 (SDTB):
- 의사 이벤트 생성 (Pseudo-Event Generation): 원본 RGB 프레임을 직접 처리하는 대신, 프레임 간 차이를 "의사 이벤트(pseudo-events)"로 변환합니다. 모델은 고주파 라플라시안(high-frequency Laplacian), 소벨 에지 크기 차이(Sobel edge magnitude difference), 절대 프레임 차이(absolute frame difference), 그리고 2차 프레임 차이(second-order frame difference)라는 네 가지 픽셀 수준 잔차 채널을 계산합니다. 이들은 미분 가능한 임계값 함수를 통해 소프트 바이너리 이벤트로 변환됩니다.
- 적응형 시간 통합 (Adaptive Temporal Integration): 의사 이벤트는 채널별 누설 적분 및 발화(Per-Channel Leaky Integrate-and-Fire, LIF) 모듈로 전달됩니다. 고정된 시상수(time constants)를 사용하는 표준 SNN과 달리, MAST는 각 채널에 대해 **학습 가능한 시상수( $\tau_c$ )**와 발화 임계값( $V_{th,c}$ )을 사용합니다. 이를 통해 네트워크는 각 잔차 유형에 특화된 서로 다른 시간 척도에서 신호를 적응적으로 통합할 수 있습니다.
- 스파이크 구동 어텐션 (Spike-Driven Attention): 통합된 스파이크는 SDT-V3를 기반으로 한 **스파이크 구동 트랜스포머(Spike-Driven Transformer)**에 의해 처리되며, 스파이크 기반 셀프 어텐션을 사용하여 장거리 시간 의존성을 포착하고 공간 게이트 맵(spatial gate maps)을 생성합니다.
시맨틱 궤적 브랜치 (Semantic Trajectory Branch):
- 이 브랜치는 동결된 X-CLIP 인코더를 사용하여 시맨틱 특징을 추출합니다. 이는 두 가지 핵심 입력을 제공합니다:
  - 시맨틱 사전 지식을 위한 글로벌 비디오 수준 임베딩( $Z_{video}$ ).
  - 시맨틱 특징 공간에서의 궤적 곡률(trajectory curvature) 및 변위를 계산하는 데 사용되는 패치 토큰 시퀀스.
- 저자들은 생성된 비디오가 실제 비디오에 비해 시맨틱 공간에서 더 조밀하고 덜 굴곡진 궤적을 보인다는 점에 주목했습니다.
퓨전 및 학습 (Fusion and Training):
- 최종 표현은 비디오 수준의 시맨틱 특징, 시간적 이상 벡터(SDTB의 게이트 맵에서 유도됨), 그리고 공간 게이트 벡터를 결합합니다.
- 학습에는 다중 목적 손실(multi-objective loss)이 사용됩니다: 융합된 예측에 대한 이진 교차 엔트로피, SDTB 단독 예측에 대한 보조 교차 엔트로피(시간 브랜치의 자립성을 보장하기 위함), 그리고 특징 공간에서 실제와 가짜 클러스터를 분리하기 위한 지도 학습 기반 대조 학습(supervised contrastive learning)이 포함됩니다.

주요 결과 및 관찰
MAST를 제안하기 전, 저자들은 GenVidBench 데이터셋을 통해 쌍을 이룬 분석을 수행하여 AI 생성 비디오의 두 가지 뚜렷한 징후를 밝혀냈습니다:

픽셀 수준: 생성된 비디오는 더 매끄럽고 늦게 축적되는 시간적 잔차를 보입니다. SNN에 입력되었을 때, 가짜 클립은 주로 물체와 움직임의 경계에서 발화(firing)를 일으키는 반면, 실제 클립은 더 확산된 활성화를 생성합니다.
시맨틱 수준: 생성된 비디오의 궤적은 자연스러운 비디오에 비해 특징 공간에서 더 작은 영역을 차지하며 덜 굴곡져 있습니다.
SNN의 적합성: 저자들은 SNN의 이벤트 구동 방식 및 희소한 활성화 역동성이 변화의 순간에 집중되고 희소한 인터-프레임 잔차의 구조와 일치하기 때문에 이 작업에 자연스럽게 적합하다고 주장합니다.

실험 결과

교차 생성기 일반화 (Cross-Generator Generalization): GenVideo 벤치마크에서 MAST는 Kinetics-400과 Pika 클립으로 학습되었으며, 10개의 미학습 생성기(ModelScope, MorphStudio, MoonValley, HotShot, Show1, Gen2, Crafter, Lavie, Sora, WildScrape 포함)에 대해 테스트되었습니다. MAST는 93.14%의 평균 정확도를 달성하여 두 번째로 우수한 베이스라인인 NSG-VD(91.46%)를 앞질렀으며, 10개의 미학습 생성기 중 5개에서 1위를 차지했습니다.
백본 매칭 비교 (Backbone-Matched Comparison): IvyFake 벤치마크에서 동일한 X-CLIP 시맨틱 백본을 사용하지만 서로 다른 시간 모듈(Mamba 기반 DeMamba, RAFT 기반 D3)을 사용하는 탐지기들과 비교했을 때, MAST는 85.91%의 mACC를 기록하며 ANN 기반 대안들을 능가했습니다.
효율성: 파라미터 수가 일치하는 비교(SNN 9.3M vs. ANN 10.7M)에서, MAST는 더 높은 정확도(93.14% vs. 92.78%)와 함께 1.6배 낮은 지연 시간(33.88ms vs. 54.19ms)을 달성했습니다.
어블레이션 (Ablation): 의사 이벤트 채널이나 학습 가능한 시상수를 제거했을 때 성능이 크게 하락하여, 이벤트 구동 방식과 적응형 통합의 필요성을 입증했습니다.

의의 및 주장
본 논문은 AI 생성 비디오 탐지를 위해 특별히 설계된 최초의 SNN 기반 탐지기를 제시한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

SNN은 AIGV 탐지에 실용적이다: 인터-프레임 잔차를 의사 이벤트로 처리함으로써, SNN은 밀집된 ANN 백본의 성능을 따라잡거나 능가하면서도 더 우수한 에너지 효율과 낮은 지연 시간을 제공할 수 있음을 보여주었습니다.
시간적 구조가 핵심이다: 효과적인 탐지를 위해서는 시간적 신호를 고정된 기술자로 축소하는 것이 아니라, 잔차의 시간 가변적 구조를 보존해야 합니다.
적응형 통합: 서로 다른 시간적 단서들은 서로 다른 타임스케일에서 작동하므로, 단일한 글로벌 시상수가 아닌 학습 가능한 채널별 시상수가 필요합니다.

저자들은 MAST의 성능이 시간적 신호가 약한 매우 짧은 클립에서는 저하된다는 점과, SNN을 밀집된 RGB 도메인에 직접 적용하는 것이 ANN보다 덜 효과적이라는 점을 언급하며 한계점에 대해 겸허한 태도를 유지했으며, 이는 향후 연구 과제로 남겨두었습니다.

기술 요약: 스파이킹 신경망(MAST)을 이용한 AI 생성 비디오 탐지

유사한 논문