ForensicZip: More Tokens are Better but Not Necessary in Forensic Vision-Language Models

이 논문은 생성형 아티팩트와 고주파 노이즈가 주로 배경에 존재한다는 점을 고려하여, 의미 중심이 아닌 포렌식 증거 보존에 초점을 맞춘 학습 불필요 토큰 압축 프레임워크 'ForensicZip'을 제안하고, 이를 통해 연산량을 90% 이상 줄이면서도 최첨단 탐지 성능을 유지함을 입증했습니다.

핵심

🕵️‍♂️ 1. 문제: "수사관이 너무 많은 증거를 다 보려고 하다 보니 지쳐버렸다"

최근 AI(멀티모달 대형 언어 모델) 는 사진이나 영상을 보고 "이건 가짜야, 저 부분이 이상해"라고 설명할 수 있게 되었습니다. 하지만 고해상도 사진이나 긴 영상을 분석하려면, AI 는 이미지 속 작은 조각들(토큰) 수만 개를 하나하나 살펴봐야 합니다.

• 비유: 마치 수사관이 100 만 장의 사진첩을 모두 펼쳐서 하나하나 눈으로 확인해야 하는 상황입니다.
• 문제점: 이 과정에서 컴퓨터는 너무 많은 에너지를 써서 느려지고, 중요한 단서가 놓칠 수도 있습니다.

🗑️ 2. 기존 방법의 실수: "눈에 띄는 것만 남기고 나머지는 다 버렸다"

기존에 이 문제를 해결하기 위해 만든 방법들은 **"중요한 것만 남기고 나머지는 버리자"**는 아이디어였습니다. 하지만 여기서 큰 실수가 있었습니다.

• 기존 방법의 논리: "사람 얼굴이나 사물처럼 눈에 확 띄는 (의미 있는) 부분만 남기고, 배경이나 평평한 부분은 다 버리자."
• 실제 상황: 가짜 영상이나 사진의 **진짜 단서 (조작 흔적)**는 대부분 눈에 띄지 않는 배경의 미세한 노이즈나 부자연스러운 경계선에 숨어 있습니다.
• 결과: 기존 방법은 "눈에 띄는 사물"은 잘 보존했지만, **"가짜를 판별하는 중요한 단서"**가 있는 배경을 "쓸데없는 것"으로 오인해서 버려버렸습니다. 마치 범인의 지문은 다 지우고, 범인이 서 있던 바닥의 흙만 남긴 꼴이 된 것입니다.

✨ 3. ForensicZip 의 해결책: "눈에 띄지 않는 '비정상'을 잡는 새로운 수사관"

이 논문에서 제안한 ForensicZip은 완전히 다른 관점을 가집니다. "무엇이 중요한가?"가 아니라, **"무엇이 '자연스럽지 않은가'?"**에 집중합니다.

🚀 핵심 아이디어 1: "시간 여행자의 시선" (Birth-Death Optimal Transport)

AI 는 영상을 볼 때 프레임 (장면) 을 하나씩 봅니다. 자연스러운 영상은 장면이 넘어갈 때 물리 법칙을 따릅니다. 하지만 가짜 영상은 갑자기 무언가가 생기거나 (Birth), 사라지거나 (Death) 합니다.

• 비유: 시간 여행자가 과거와 현재를 비교할 때, "어제 없던 물건이 오늘 갑자기 생겼다"거나 "어제 있던 물건이 오늘 갑자기 사라졌다"는 것을 감지하는 것입니다.
• ForensicZip 의 역할: 기존 방법은 "이 두 장면을 비슷하게 매칭해라"라고 강요했지만, ForensicZip 은 "매칭할 수 없는 이상한 것 (생성된 아티팩트)"을 과감하게 '새로 생긴 것'이나 '사라진 것'으로 분류합니다. 이렇게 하면 눈에 보이지 않던 미세한 조작 흔적을 확실히 찾아낼 수 있습니다.

📡 핵심 아이디어 2: "고주파수 탐지기" (High-Frequency Priors)

가짜로 만든 이미지는 자연스러운 사진과 달리 미세한 고주파수 잡음이나 경계선의 뻣뻣함을 가지고 있습니다.

• 비유: 고음질 오디오에서 잡음을 걸러내는 필터처럼, AI 는 "매끄러운 자연스러운 부분"보다는 **"거칠고 불규칙한 부분"**을 의심합니다.
• 결합: ForensicZip 은 "시간적으로 갑자기 변한 것 (Birth/Death)"과 "공간적으로 거친 것 (고주파수)"이 동시에 있는 부분만 골라냅니다.

🏆 4. 결과: "90% 를 버려도 99% 의 정확도"

이 기술을 적용한 결과 놀라운 성과가 나왔습니다.

• 속도: 원래 이미지 데이터의 10% 만 남기고 90% 를 버려도 (토큰 10% 유지), AI 는 거의 3 배 더 빠르게 작동합니다.
• 정확도: 기존 방법들은 데이터를 90% 줄이면 성능이 뚝 떨어졌지만, ForensicZip 은 가장 중요한 '수사 단서'만 남겼기 때문에 오히려 성능이 유지되거나 더 좋아졌습니다.
• 메모리: 컴퓨터 메모리 사용량도 90% 이상 줄어듭니다.

📝 요약: 한 문장으로 정리하면?

"기존 AI 는 '눈에 띄는 사물'만 보고 가짜를 찾으려다 실패했지만, ForensicZip 은 '자연스럽지 않게 갑자기 변한 흔적'과 '거친 미세한 결'을 찾아내는 특화된 수사관으로 변신하여, 데이터를 90% 줄여도 훨씬 빠르고 정확하게 가짜를 찾아냅니다."

이 기술은 앞으로 AI 가 고해상도 영상이나 긴 동영상을 실시간으로 분석할 때, 속도와 정확도라는 두 마리 토끼를 모두 잡는 열쇠가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 멀티모달 대규모 언어 모델 (MLLM) 은 이미지나 비디오의 위조 (Forgery) 를 탐지하고 그 이유를 텍스트로 설명하는 데 탁월한 성능을 보입니다.
• 문제점:
  • 높은 계산 비용: 고해상도 이미지나 긴 비디오를 처리하려면 방대한 수의 비주얼 토큰 (Visual Tokens) 이 생성되며, 이는 트랜스포머의 자기 주의 (Self-Attention) 메커니즘으로 인해 계산 비용과 메모리 사용량의 병목 현상을 유발합니다.
  • 기존 토큰 가지치기의 한계: 기존 효율화 방법들은 대부분 **의미론적 중요도 (Semantic Salience)**에 기반하여 토큰을 선택합니다. 즉, 사물 (Object) 이나 주요 장면을 유지하고 배경을 제거하는 방식입니다.
  • 위조 탐지와의 불일치: 위조 흔적 (Forgery Traces) 은 종종 객체의 의미론적 중심이 아닌, 배경의 고주파 노이즈, 블렌딩 경계, 시간적 떨림 (Temporal Jitters) 등에 존재합니다. 따라서 의미론적 기반의 가지치기는 중요한 위조 증거를 '불필요한 배경'으로 간주하여 삭제해버려, 압축 비율이 높아질수록 탐지 성능이 급격히 저하되는 문제가 발생합니다.

2. 제안 방법: ForensicZip (Methodology)

저자들은 위조 탐지를 위한 토큰 압축을 '의미론적' 관점이 아닌 '위조 증거 기반 (Forgery-driven)' 관점에서 재정의했습니다. 학습이 필요 없는 (Training-free) 프레임워크인 ForensicZip은 두 가지 핵심 단계로 구성됩니다.

가. 전이 신빙도 추정 (Transport Novelty Estimation, TNE)

• 개념: 인접한 프레임 간의 토큰 진화를 Birth-Death 최적 수송 (Optimal Transport, OT) 문제로 모델링합니다.
• 동작 원리:
  • 자연스러운 비디오에서는 토큰이 연속적으로 이동하지만, 생성형 AI 로 인한 위조는 물리적 불연속성 (새로운 텍스처의突然出现 또는 소멸) 을 일으킵니다.
  • 기존 균형 잡힌 OT 는 모든 토큰을 강제로 매칭시키려 하여 이상치 (Anomaly) 를 희석시킵니다.
  • 더미 노드 (Dummy Node) 도입: ForensicZip 은 비용 행렬에 '더미 노드'를 추가하여, 이전 프레임에서 유래하지 않은 토큰 (Birth) 이나 다음 프레임에서 사라지는 토큰 (Death) 을 명시적으로 포착합니다. 이를 통해 매칭 불가능한 질량이 하나의 높은 비용 (High-cost) 이벤트로 집중되도록 하여 위조 신호를 강화합니다.

나. 위조 점수화 및 선택 (Forensic Scoring & Selection, FS)

• 개념: 시간적 비정상성 (TNE 결과) 과 공간적 고주파 특성을 결합하여 최종 토큰 점수를 산출합니다.
• 동작 원리:
  • 고주파 사전 지식 (High-frequency Prior): 생성형 아티팩트는 공간적으로 고주파 신호 (예: 리샘플링 아티팩트, 경계 불연속) 를 남깁니다. 라플라시안 연산자를 사용하여 프레임의 고주파 응답을 추출합니다.
  • 소프트 AND 게이트: 최종 점수는 시간적 비정상성 점수와 공간적 고주파 점수의 곱으로 계산됩니다. 이는 두 영역 (시간과 공간) 모두에서 비정상적인 토큰만이 높은 점수를 받아 선택되도록 보장합니다.
  • Top-K 선택: 계산된 점수를 기반으로 각 프레임에서 상위 K 개의 토큰만 물리적으로 제거 (Pruning) 하고, 나머지 토큰은 MLLM 에 전달됩니다.

3. 주요 기여 (Key Contributions)

1. 작업별 불일치 분석: 기존 의미론적 토큰 가지치기가 위조 탐지 작업에서 왜 실패하는지 구조적으로 분석했습니다. 위조 증거는 의미론적 중심과 공간적으로 직교하며, 전역적 앵커와 일시적 아티팩트를 보존하는 것이 중요함을 규명했습니다.
2. ForensicZip 프레임워크: 의미론적 중요도가 아닌 물리적 불일치 (Physical Inconsistency) 를 기반으로 하는 학습 불필요 토큰 희석화 프레임워크를 제안했습니다. 특히 더미 노드를 활용한 Birth-Death 최적 수송을 통해 생성형 아티팩트를 정량화했습니다.
3. 성능 검증: 심층 위조 (Deepfake) 및 AIGC 벤치마크에서 극단적인 압축 (10% 토큰 유지) 상황에서도 SOTA 수준의 탐지 성능을 유지하면서, 계산 비용 (FLOPs) 을 90% 이상 절감하고 속도를 2.97 배 향상시켰습니다.

4. 실험 결과 (Results)

• 성능 (Accuracy):
  • 10% 토큰 유지 시: 기존 방법들 (FastV, SparseVLM 등) 은 10% 토큰 유지 시 성능이 무너지거나 (Random 수준), 60~70% 대의 정확도를 보인 반면, ForensicZip 은 FakeClue 벤치마크에서 **97.74%**의 정확도를 유지했습니다.
  • 전체 벤치마크: FakeVLM, FakeShield, AIGC 등 다양한 데이터셋에서 기존 풀 토큰 (Vanilla) 모델과 거의 동등한 성능을 유지했습니다.
• 효율성 (Efficiency):
  • 속도 향상: 10% 토큰 유지 시 2.97 배의 속도 향상 (Speedup) 을 달성했습니다.
  • 계산 비용: FLOPs 를 90% 이상 감소시켰습니다.
  • 메모리: GPU 메모리 사용량을 26.7GB 에서 19.8GB 로 감소시켜, 더 큰 모델이나 긴 비디오 처리가 가능해졌습니다.
• Ablation Study:
  • TNE(시간적 분석) 와 FS(공간적 분석) 가 모두 결합되었을 때 가장 높은 성능을 보였습니다.
  • 단순한 균형 OT 보다 더미 노드를 포함한 Birth-Death OT 가 위조 신호 포착에 훨씬 효과적이었습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 멀티모달 모델의 효율화를 위해 '무엇이 중요한가 (Semantic)'가 아닌 '무엇이 비정상적인가 (Anomaly)'에 초점을 맞춘 새로운 접근법을 제시했습니다.
• 실용적 배포 가능성: 고해상도 이미지나 장시간 비디오를 실시간으로 처리해야 하는 실제 위조 탐지 시스템에서 발생하는 병목 현상을 해결하여, MLLM 기반의 위조 탐지 기술의 실용성을 크게 높였습니다.
• 일반화 가능성: 생성형 AI 가 만들어내는 미세한 물리적 불일치를 포착하는 원리는 다양한 멀티모달 작업에 적용 가능한 통찰을 제공합니다.

요약하자면, ForensicZip은 의미론적으로 중요해 보이는 객체보다는, 생성형 AI 가 남기는 미세한 물리적/시간적 불일치 (위조 증거) 를 보존하는 지능형 토큰 압축 기법으로, 극단적인 계산 비용 절감에도 불구하고 높은 탐지 정확도를 유지하는 획기적인 솔루션입니다.