BusterX: MLLM-Powered AI-Generated Video Forgery Detection and Explanation

이 논문은 최신 생성 모델로 제작된 고품질 20 만 개 이상의 비디오를 포함한 대규모 데이터셋 'GenBuster-200K'와 다양한 도메인 및 세대 변화를 평가하는 벤치마크 'GenBuster-Bench'를 제시하고, 검출을 시각적 추론 과제로 전환하여 정확성과 설명 가능성을 동시에 향상시킨 강화학습 기반 MLLM 모델 'BusterX'를 개발했습니다.

핵심

🎬 BusterX: "AI 가짜 영상 탐정"의 등장

이 논문은 인공지능 (AI) 이 만든 가짜 영상이 점점 더 진짜처럼 보일수록, 어떻게 그 가짜를 찾아내고 "왜 가짜인지" 설명할 수 있는지에 대한 새로운 해결책을 제시합니다. 마치 마법 같은 기술을 가진 가짜 영상을 잡아내는 새로운 형사 팀이 등장한 셈이죠.

이 내용을 쉽게 이해할 수 있도록 세 가지 핵심 요소로 나누어 설명해 드릴게요.

---

1. 📚 더 똑똑한 훈련을 위한 '최신 교재' (GenBuster-200K)

과거의 연구들은 마치 10 년 전의 낡은 교재로 현대의 수능을 대비하는 것과 비슷했습니다.

• 문제점: 기존 데이터는 오래된 AI 기술로 만든 영상이 많아, 가짜임을 금방 알아챌 수 있는 뻔한 결함 (예: 손가락이 6 개, 눈이 깜빡임) 이 많았습니다. 또한, 특정 인종이나 성별에 치우친 편향도 있었습니다.
• 해결책 (GenBuster-200K): 연구팀은 20 만 개가 넘는 최신, 고화질 영상으로 구성된 새로운 데이터셋을 만들었습니다.
  • 비유: 마치 최신형 스포츠카와 오프로드 차량을 모두 포함시켜 운전사 (AI) 가 어떤 상황에서도 운전할 수 있도록 훈련시키는 것과 같습니다.
  • 공정성: 남자와 여자, 다양한 인종과 나이가 골고루 섞여 있어, 특정 그룹만 가짜로 오인하는 편향을 없앴습니다.

2. 🏆 단계별 '실전 시험' (GenBuster-Bench)

기존의 평가 방식은 단순히 "정답/오답"만 체크하는 단일 시험이었습니다. 하지만 진짜 가짜 영상을 탐지하려면 더 복잡한 테스트가 필요합니다. 연구팀은 이를 3 단계로 나눈 실전 시험을 만들었습니다.

1. 1 단계 (기본기): 우리가 알고 있는 최신 AI 로 만든 영상 (In-Domain).
2. 2 단계 (응용): 우리가 아직 본 적 없는, 내일 나올 최신 AI로 만든 영상 (Out-of-Domain).
   • 비유: 오늘 시험을 보고 내일 나올 새로운 유형의 문제를 해결할 수 있는지 보는 것입니다.
3. 3 단계 (실전): SNS 에 올라와서 압축되거나 흐릿해진 실제 가짜 영상 (In-the-Wild).
   • 비유: 맑은 날이 아니라 비와 진흙탕 속에서 운전할 수 있는지 보는 극한 테스트입니다.

또한, AI 가 내린 결론에 대해 "왜 가짜라고 생각했는지" 그 이유를 평가하는 심사위원 (MLLM-as-a-Judge) 시스템을 도입했습니다. 단순히 "가짜"라고만 말하면 안 되고, **"손가락이 떨리는 게 자연스럽지 않아서"**라고 구체적으로 설명해야 점수를 받습니다.

3. 🕵️‍♂️ 새로운 형사 'BusterX' (논리적 추론을 하는 AI)

기존의 AI 는 영상을 보고 "가짜다 (Yes)" 또는 **"진짜다 (No)"**라고만 답하는 블랙박스였습니다. 하지만 BusterX 는 다릅니다.

• 기존 방식: "이건 가짜야!" (왜? 모름)
• BusterX 방식: "자, 이 영상을 하나씩 살펴볼게요. 1. 피부 질감이 너무 매끄러워요. 2. 그림자가 빛의 방향과 안 맞아요. 3. 프레임이 넘어갈 때 얼굴이 뚝뚝 끊겨요. 결론: 가짜입니다."
• 핵심 기술: BusterX 는 **강화 학습 (RL)**이라는 기술을 통해 스스로 추론하는 법을 배웠습니다. 마치 수사관이 증거를 하나하나 모아서 논리적으로 범인을 찾아내는 과정처럼, AI 가 스스로 생각의 흐름 (Chain of Thought) 을 만들어내며 가짜를 찾아냅니다.

🌟 왜 이것이 중요한가요?

이 연구는 단순히 "가짜를 잡는다"는 것을 넘어, **"왜 가짜인지 인간이 이해할 수 있게 설명한다"**는 점에 의미가 있습니다.

• 기존: "이건 가짜야." (사람은 왜인지 모름)
• BusterX: "이 영상은 AI 가 만든 거예요. 왜냐하면 손가락이 6 개이고, 배경의 나무가 흔들리는 방식이 물리 법칙과 다르기 때문이에요."

이제 우리는 AI 가 만든 가짜 영상에 속지 않고, 그 가짜가 어떻게 만들어졌는지 이해할 수 있는 눈을 갖게 된 것입니다. 마치 가짜 지폐를 구별할 때 단순히 "가짜"라고 외치는 게 아니라, **"인쇄 질감과 수직선이 다르다"**라고 구체적으로 지적할 수 있게 된 것과 같습니다.

한 줄 요약:

"이제 AI 가 만든 가짜 영상을 잡는 건 물론, **그 가짜가 왜 가짜인지 논리적으로 설명해 주는 똑똑한 형사 (BusterX)**가 등장했습니다!"

기술 요약

1. 문제 제기 (Problem)

최근 Seedance 2.0 과 같은 생성형 비디오 모델의 발전으로 AI 가 생성한 영상의 현실성이 극대화되면서, 이를 탐지하고 해석할 수 있는 시스템의 필요성이 급증했습니다. 그러나 기존 연구는 다음과 같은 한계에 직면해 있습니다:

• 부실한 데이터셋: 기존 데이터셋은 초기 생성 모델을 기반으로 하여 쉽게 식별 가능한 아티팩트만 포함하거나, 인종/성별 편향 (Bias) 이 심해 현실 세계의 위협을 반영하지 못함.
• 단순화된 평가 프로토콜: 대부분의 벤치마크가 단순한 이진 분류 (Binary Classification) 에만 집중하여, 모델의 구체적인 약점 (도메인 이동, 세대 간 이동에 대한 일반화 실패 등) 을 진단하지 못함.
• 블랙박스 분류 및 설명력 부재: 기존 방법은 검출 결과를 설명하는 '해석 가능성 (Interpretability)'을 소홀히 하거나, 검출 후 사후적으로 설명을 생성하는 방식에 그쳐, 검출 메커니즘 자체가 시각적 추론 (Visual Reasoning) 을 수행하지 못함.

2. 방법론 (Methodology)

이 논문은 데이터, 벤치마크, 모델 세 가지 측면에서 종합적인 솔루션을 제시합니다.

가. GenBuster-200K: 고품질 및 공정한 데이터셋

• 규모와 품질: 20 만 개 이상의 고해상도 (1024x1024) 실사 및 AI 생성 비디오 클립으로 구성.
• 공정성 (Fairness): 성별, 연령, 인종, 직업적 고정관념을 균형 있게 분포하도록 엄격한 프롬프트 생성 파이프라인을 적용.
• 현실성: 최신 오픈소스 및 상용 생성 모델을 활용하여 현실적인 시나리오를 구현하고, HEVC(x265) 코딩을 통해 다양한 소스의 인코딩 편향을 제거.

나. GenBuster-Bench: 점진적 진단 벤치마크

검출 능력을 단순 점수가 아닌 진단 도구로 평가하기 위해 세 가지 트랙으로 구성:

1. In-Domain (ID, 2024 년대): 학습된 생성기 (Seen Generators) 에 대한 기본 능력 평가.
2. Out-of-Domain (OOD, 2025 년대): 학습되지 않은 최신 상용 모델 (Unseen Commercial Models) 에 대한 일반화 능력 평가.
3. In-the-Wild (Wild, 2026 년대): 소셜 미디어의 왜곡 (압축, 노이즈 등) 을 가한 실제 환경에서의 강건성 및 설명력 평가.

• MLLM-as-a-Judge: 생성된 검출 근거 (Rationale) 의 질을 평가하기 위해 Gemini 3 Flash Preview 를 판사로 활용하는 프로토콜을 도입.

다. BusterX: 강화학습 (RL) 기반 MLLM 프레임워크

• 비이진 분류 접근: 검출을 단순 분류가 아닌 시각적 추론 (Visual Reasoning) 과제로 재정의. 모델이 생성한 추론 체인 (Chain-of-Thought, CoT) 자체가 검출 메커니즘이 됨.
• 학습 파이프라인:
  1. Cold Start (SFT): 1:1 비율의 정답/오답 데이터로 초기 학습.
  2. RL Training (DAPO): 동적 샘플링 정책 최적화 (DAPO) 를 활용. 모델이 다양한 추론 경로를 탐색하도록 장려하고, 'Gradient Deadzone'을 해결하여 일반화 성능을 극대화.
• Reward Function: 형식 준수, 응답 길이 제어 (너무 길거나 짧은 것 방지), 그리고 정확한 분류와 물리적 일관성 기반의 추론을 보상하도록 설계.

3. 주요 기여 (Key Contributions)

1. GenBuster-200K: 기존 데이터셋의 편향과 저품질 문제를 해결한 대규모 고품질 공평 데이터셋 공개.
2. GenBuster-Bench: 도메인 이동과 세대 간 이동을 동시에 평가하는 최초의 점진적 진단 벤치마크 및 설명력 평가 프로토콜 (MLLM-as-a-Judge) 제안.
3. BusterX: 강화학습을 통해 시각적 추론 능력을 배양한 최초의 MLLM 기반 비디오 위조 탐지 프레임워크. 검출 정확도와 함께 인간이 이해할 수 있는 전문적인 포렌식 근거를 제공.

4. 실험 결과 (Results)

• 검출 정확도: BusterX 는 Qwen3.5, Claude-Sonnet-4.6 등 최첨단 MLLM 과 기존 검출기 (3D ResNeXt, VideoMAE 등) 를 모두 압도.
  • ID Track: 85.5% 정확도 (오픈소스 MLLM 중 최상).
  • OOD Track: 84.9% 정확도로, 학습되지 않은 상용 모델에서도 뛰어난 일반화 성능 입증.
  • Wild Track: 81.5% 정확도로, 실제 소셜 미디어 환경에서도 다른 모델들이 급격히 성능이 떨어지는 것과 대조적으로 강건함 유지.
• 편향 해소: 기존 모델들이 '실제 영상은 모두 진짜로 판단'하거나 (Conservative Bias), '거짓 영상만 너무 많이 탐지'하는 (Over-forgery Bias) 경향을 보인 반면, BusterX 는 Real/Fake 간 균형 잡힌 성능을 보임.
• 설명력 (Explainability): MLLM-as-a-Judge 및 인간 전문가 평가에서 BusterX 는 생성된 근거 (Rationale) 의 질이 가장 높았음 (Gemini Judge 점수 83.9, 인간 평가 80.7). 특히 프레임 간 일관성, 물리적 아티팩트, 조명/그림자 분석 등 전문적인 포렌식 근거를 제시.
• 교차 데이터셋 일반화: GenBuster-200K 로 학습한 BusterX 를 GVF 데이터셋에 재학습 없이 적용했을 때, 기존 SOTA(DeCoF, 78.25%) 대비 15% 이상 높은 성능 (Show1: 89.32%, ModelScope: 94.71%) 을 기록하여 보편적 적용 가능성 입증.

5. 의의 및 결론 (Significance)

이 논문은 AI 생성 비디오 탐지 분야에서 데이터의 편향, 평가의 단순성, 검출의 블랙박스화라는 세 가지 핵심 문제를 해결했습니다.

• 기술적 혁신: 검출을 단순 패턴 매칭이 아닌, 물리적 법칙과 시공간적 일관성을 분석하는 '추론' 문제로 전환함으로써, 새로운 생성 모델에도 대응 가능한 강건한 탐지 능력을 확보했습니다.
• 사회적 영향: 정치적 허위 정보, 사기, 동의 없는 합성 미디어 등 AI 생성 콘텐츠의 악용을 막기 위한 투명하고 해석 가능한 도구 (BusterX) 를 제공하여, 디지털 포렌식의 신뢰성을 높이는 데 기여합니다.
• 향후 과제: 현재는 시각 모달리티에 국한되어 있으나, 향후 오디오 조작 및 오디오 - 비디오 불일치 탐지로 확장할 계획임을 명시했습니다.

요약하자면, BusterX는 단순한 분류기를 넘어, AI 가 생성한 영상의 비현실적인 물리적 특성을 단계별로 추론하여 탐지하고 그 근거를 설명하는 차세대 포렌식 시스템으로, 생성형 AI 시대의 보안과 신뢰를 위한 중요한 이정표가 될 것으로 기대됩니다.