DOCFORGE-BENCH: A Comprehensive 0-shot Benchmark for Document Forgery Detection and Analysis

이 논문은 학습 데이터 없이 다양한 문서 위조 검출 방법을 평가한 'DOCFORGE-BENCH' 벤치마크를 제시하며, 기존 방법들이 임계값 보정 실패로 인해 실제 배포 환경에서 성능이 크게 저하됨을 규명하고 문서 위조 탐지가 여전히 해결되지 않은 문제임을 강조합니다.

핵심

1. 연구의 배경: "문서 위조"는 사진 위조와 다릅니다

우리가 흔히 보는 사진 위조 (예: 배경을 바꾸거나 얼굴을 바꾸는 것) 와 문서 위조 (예: 영수증의 가격을 1 만 원에서 1 천 원으로 바꾸거나, 여권 이름을 고치는 것) 는 완전히 다른 게임입니다.

• 사진 위조: 위조된 부분이 사진 전체의 10~30% 를 차지합니다. (예: 하늘을 바꾼다)
• 문서 위조: 위조된 부분은 아주 작습니다. (예: 숫자 하나, 이름 한 글자) 전체 문서 중 0.3%~4% 정도만 변조된 것입니다.

이 논문은 **"기존에 사진 위조를 잘 찾아내던 AI 들이, 이렇게 작은 위조가 있는 문서를 보면 왜 완전히 망가져 버리는지"**를 규명했습니다.

2. 핵심 발견: "눈은 멀지 않았는데, 눈높이가 틀렸다"

연구진은 14 가지 최신 AI 모델들을 시험해 보았습니다. 결과는 놀라웠습니다.

• 상황: AI 는 위조된 부분을 정확히 찾아냅니다. (예: "여기가 이상해!"라고 100 점 만점에 80 점 정도는 맞힙니다.)
• 문제: 하지만 AI 는 **"이게 진짜 위조야, 아니면 그냥 오해야?"**를 판단하는 기준 (임계값) 을 완전히 잘못 설정하고 있었습니다.

🍎 비유: 사과와 감자 구분하기

가상의 AI 가 "사과 (위조)"와 "감자 (진짜)"를 구분하는 훈련을 받았다고 칩시다.

• 기존 훈련 (자연 이미지): 사과와 감자가 반반 섞여 있었습니다. AI 는 "빨간색이면 사과"라고 배웠습니다.
• 실제 상황 (문서 위조): 100 개 중 99 개는 감자이고, 오직 1 개만 사과가 섞여 있습니다.

AI 는 여전히 "빨간색이면 사과"라고 판단하지만, 감자 99 개 중에도 아주 살짝 빨간 점이 있어서 AI 가 "이것도 사과야!"라고 100 개 다 소리칩니다.
결과: 정답률 (AUC) 은 높지만, 실제 위조만 골라내는 능력 (F1 점수) 은 0 에 수렴합니다.

이 논문은 이 현상을 **"보정 실패 (Calibration Failure)"**라고 불렀습니다. AI 는 위조 신호를 잘 감지하지만, 그 신호의 강도가 너무 낮게 느껴져서 "위조다!"라고 외치지 못하는 것입니다.

3. 실험 결과: "전문가도, 일반인도 다 망했다"

연구진은 두 가지 부대를 시험했습니다.

1. 문서 전문 AI: 문서 위조만 보며 훈련된 AI 들.
2. 일반 사진 AI: 사진 위조만 보며 훈련된 AI 들.

• 결과: 문서 전문 AI 는 자신이 훈련한 문서에서는 천재처럼 작동했지만, 조금만 다른 문서 (예: 영수증, 여권) 를 보면 완전히 무용지물이 되었습니다.
• 아이러니: 오히려 문서 훈련을 전혀 받지 않은 일반 사진 AI가 문서 위조도 어느 정도 찾아내는 경우가 있었습니다.
• 결론: "아직까지 문서 위조를 완벽하게 찾아내는 AI 는 없다." 현재 시중의 모든 AI 는 "Out-of-the-box(설치하자마자 바로 쓰기)"로는 쓸모가 없습니다.

4. 해결책: "재훈련은 필요 없다, 눈높이만 조절하면 된다"

가장 흥미로운 점은 이 문제의 해결책이 매우 간단하다는 것입니다. AI 를 다시 가르칠 필요 (재훈련) 가 없습니다.

• 해법: 문서 10 장 정도만 보여주면, AI 가 "아, 이 세계에서는 '약간 의심스러운 점'도 위조로 봐야 하는구나"라고 **기준점 (Threshold)**을 다시 맞추기만 하면 됩니다.
• 효과: 이렇게 눈높이만 조절하면, AI 의 성능이 2 배에서 10 배까지 급격히 좋아집니다.

🔧 비유: 시계 맞추기

AI 는 정확한 시계입니다. 하지만 현재 시간 (문서 위조) 과 시계가 맞추고 있는 시간 (자연 이미지) 이 1 시간 차이가 납니다.
시계 자체를 고칠 필요 없이, 시침을 1 시간만 당겨주면 (기준점 조절) 다시 정확한 시간을 알려줍니다.

5. 미래의 위협: "생성형 AI 의 등장"

이 논문은 현재 사용 중인 데이터셋들이 모두 생성형 AI (Diffusion 모델, LLM 등) 가 등장하기 전에 만들어졌다고 경고합니다.

• 현재: AI 가 가위질하고 붙이는 (JPEG 위조) 정도는 찾아냅니다.
• 미래: AI 가 아예 새로운 글자를 만들어내거나, 사진을 자연스럽게 합성하는 위조가 등장하면, 지금의 모든 AI 는 완전히 무력화될 것입니다.

💡 요약: 이 논문이 우리에게 주는 메시지

1. 현실 인식: 문서 위조 탐지 기술은 아직 초기 단계입니다. "설치만 하면 된다"는 생각은 위험합니다.
2. 핵심 문제: AI 가 못 보는 게 아니라, 기준을 잘못 잡은 것입니다.
3. 해결책: AI 를 새로 만드는 게 아니라, 적은 양의 데이터로 기준점만 재조정하면 성능이 비약적으로 좋아집니다.
4. 경고: 생성형 AI 시대가 오면 지금의 기술은 모두 쓸모없어질 수 있으니, 새로운 기준을 마련해야 합니다.

이 연구는 "우리가 가진 기술이 얼마나 취약한지"를 솔직하게 드러내고, "어떻게 하면 그 기술을 현실에 쓸 수 있는지"에 대한 구체적인 길잡이를 제시한 중요한 보고서입니다.

기술 요약

1. 문제 정의 (Problem Definition)

문서 위조 탐지 (Document Forgery Detection) 는 자연 이미지 (사진, 풍경 등) 의 위조 탐지와 근본적으로 다른 도전에 직면해 있습니다. 기존 연구들은 자연 이미지 위조 탐지에 초점을 맞추어 왔으나, 이를 문서에 적용할 때 다음과 같은 심각한 한계가 발견됩니다.

• 극심한 클래스 불균형 (Extreme Class Imbalance): 자연 이미지 벤치마크 (CASIA, Columbia 등) 는 이미지의 10~30% 가 위조된 것으로 가정합니다. 반면, 문서 위조 (영수증, 신분증, 텍스트 변경 등) 는 전체 픽셀의 **0.27% ~ 4.17%**만 위조된 경우가 대부분입니다.
• 보정 실패 (Calibration Failure): 기존 탐지 모델들은 위조 픽셀을 진짜 픽셀보다 높은 점수로 순위 매기는 능력 (AUC) 은 유지하지만, 고정된 임계값 (Threshold, $\tau=0.5$) 에서 작동할 때 성능이 급격히 떨어집니다. 이는 모델이 위조 영역을 식별하지 못하는 것이 아니라, 점수 분포가 문서 도메인에서 표준 임계값 아래로 이동하여 보정 (Calibration) 이 실패했기 때문입니다.
• 현실적 배포 시나리오의 부재: 기존 벤치마크 (예: ForensicHub) 는 미세 조정 (Fine-tuning) 을 전제로 평가하여, 실제 라벨링된 학습 데이터가 없는 환경에서 '그대로 사용 (Zero-shot)' 가능한 모델의 성능을 과대평가하거나 보정 실패 문제를 가립니다.

2. 방법론 (Methodology)

저자들은 DOCFORGE-BENCH를 제안하여 문서 위조 탐지 모델의 실제 배포 능력을 평가합니다.

• 제로샷 (Zero-shot) 평가 프로토콜: 모든 14 가지 방법론을 공개된 사전 학습 가중치 (Pretrained weights) 만 사용하여 평가하며, 어떤 도메인 적응 (Domain adaptation) 이나 미세 조정도 수행하지 않습니다. 이는 실제 사용자가 라벨링된 문서 데이터를 갖지 않고 탐지기를 도입하는 상황을 반영합니다.
• 다양한 데이터셋 및 태스크: 8 개의 데이터셋을 활용하여 텍스트 조작, 영수증 위조, 신분증 변조 (얼굴 교체 및 텍스트 변경) 등 3 가지 주요 위협 시나리오를 포괄합니다.
  • 데이터셋: DocTamper, T-SROIE, RealTextManipulation, Tampered-IC13, ReceiptForgery, MixTamper, FSTS-1.5k, FantasyID.
• 평가 지표:
  • Pixel-F1 ($\tau=0.5$): 고정 임계값에서의 실제 배포 성능을 측정.
  • Pixel-AUC: 보정과 무관하게 위조 픽셀을 올바르게 순위 매기는 능력 (판별력) 을 측정.
  • Oracle-F1: 각 이미지별로 최적의 임계값을 선택했을 때의 이론적 최대 성능 (보정 가능성의 상한선).
• 모델 범위: 7 가지 일반 이미지 위조 탐지 모델 (TruFor, CAT-Net 등) 과 7 가지 문서 특화 모델 (DTD, FFDN, ASCFormer 등) 총 14 개 모델을 평가합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 통합 제로샷 벤치마크: 문서 위조 탐지를 위한 최초의 통일된 제로샷 벤치마크를 구축하여, 14 개 모델을 8 개 데이터셋에서 도메인 적응 없이 평가했습니다.
2. 보정 격차 (Calibration Gap) 의 체계적 진단:
   • 모델들이 높은 AUC(≥0.76) 를 보이면서도 고정 임계값 F1 은 거의 0 에 수렴하는 'AUC-F1 격차'가 보편적으로 존재함을 발견했습니다.
   • 이는 판별력 (Feature discrimination) 의 실패가 아니라, **점수 분포의 이동 (Score-distribution shift)**으로 인한 보정 실패임을 증명했습니다.
   • 위조 픽셀의 기저율 (Base rate) 이 자연 이미지보다 10 배 이상 낮아 표준 $\tau=0.5$ 임계값이 치명적으로 잘못 보정되었음을 수학적으로 설명했습니다.
3. 임계값 적응의 중요성 입증:
   • 재학습 없이도 소량의 도메인 이미지 (N=10) 만으로 임계값을 조정하면, Oracle-F1 과 고정 임계값 F1 사이의 격차의 39~55% 를 회복할 수 있음을 실험적으로 검증했습니다.
   • 이는 실제 배포 시 '재학습'보다 '보정 (Threshold adaptation)'이 핵심 해결책임을 시사합니다.
4. 광범위한 커버리지: 기존 벤치마크에서 누락된 ASCFormer, ADCD-Net 과 같은 최신 문서 특화 모델과 ReceiptForgery, FantasyID 와 같은 실용적 데이터셋을 포함했습니다.

4. 실험 결과 (Results)

• 전반적 성능 부재: 평가된 14 개 모델 중 어느 것도 8 개 데이터셋 중 6 개 이상에서 신뢰할 수 있는 성능 (Pixel-F1 ≥ 0.3) 을 보이지 못했습니다. 즉, "그대로 사용 (Out-of-the-box)" 가능한 문서 위조 탐지기는 현재 존재하지 않습니다.
• 도메인 특화 vs 일반 모델:
  • 도메인 특화 모델 (예: DocTamper 모델) 은 학습 데이터 (DocTamper) 에서는 높은 성능 (F1=0.914) 을 보였으나, 다른 데이터셋 (T-SROIE 등) 으로 넘어가면 성능이 급락 (F1=0.045) 하여 과적합 (Overfitting) 문제가 심각함을 보였습니다.
  • 반면, 자연 이미지에서 학습된 일반 모델 (TruFor, CAT-Net) 이 도메인 특화 모델보다 오히려 더 나은 제로샷 성능을 보이는 경우가 많았습니다.
• 보정 실패의 증거:
  • 대부분의 (모델, 데이터셋) 쌍에서 Pixel-AUC 는 높지만 Pixel-F1 은 낮았습니다.
  • Oracle-F1 은 고정 임계값 F1 보다 2~10 배 높게 나타나, 모델이 본질적으로 위조를 탐지할 수 있는 능력은 있으나 임계값 설정이 잘못되었음을 확인시켜 주었습니다.
  • 예시: FFDN 모델은 T-SROIE 데이터셋에서 AUC 는 0.904 로 매우 높았으나, 고정 임계값 F1 은 0.043 에 불과했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 문서 위조 탐지는 해결되지 않은 문제 (Unsolved Problem): 현재까지 평가된 어떤 방법도 다양한 문서 유형에서 신뢰할 수 있게 작동하지 않습니다.
• 보정의 중요성 강조: 문서 위조 탐지의 병목 현상은 특징 추출 (Feature extraction) 이 아니라 **점수 보정 (Score calibration)**에 있습니다. 따라서 향후 연구는 모델 구조 개선보다는 도메인 특화 보정 메커니즘에 집중해야 합니다.
• 생성형 AI 의 위협: 본 벤치마크에 포함된 8 개 데이터셋은 모두 생성형 AI (Diffusion, LLM) 기반 편집 이전의 데이터입니다. Stable Diffusion 인페인팅이나 LLM 기반 텍스트 편집과 같은 최신 위조 기법은 기존 벤치마크와 완전히 다른 특징을 가지며, 이에 대한 평가는 여전히 열려 있는 중요한 과제로 남았습니다.
• 오픈 소스 도구: 재현 가능한 평가를 위해 평가 툴킷을 공개하여, 커뮤니티가 새로운 데이터셋과 모델 (특히 생성형 AI 위조 탐지) 을 평가할 수 있는 기반을 마련했습니다.

이 논문은 문서 위조 탐지 분야에서 기존 연구들이 간과했던 '보정 실패' 문제를 명확히 지적하고, 실제 배포 환경을 고려한 새로운 평가 기준을 제시함으로써 해당 분야의 발전 방향을 재정립하는 중요한 이정표가 됩니다.