Leveraging Contrastive Learning for a Similarity-Guided Tampered Document Data Generation Pipeline

이 논문은 대비 학습을 활용한 보조 네트워크를 도입하여 기존 규칙 기반 방법의 한계를 극복하고, 다양성과 시각적 품질이 뛰어난 위조 문서 이미지를 생성하는 새로운 파이프라인을 제안함으로써 실제 데이터에서의 문서 위조 탐지 성능을 향상시킵니다.

핵심

이 논문은 **"위조된 문서 (가짜 문서) 를 어떻게 더 똑똑하게 만들어낼 것인가?"**에 대한 연구입니다.

마치 **"가짜 지폐를 만드는 기술이 발전해야 진짜 지폐를 구별하는 경호원 (AI) 이 더 잘 훈련될 수 있다"**는 논리와 비슷합니다.

이 논문의 핵심 내용을 쉬운 비유와 함께 설명해 드릴게요.

---

1. 문제점: "가짜 문서"가 너무 뻔해!

지금까지 문서 위조 탐지를 연구할 때, 컴퓨터가 가짜 문서를 만들어서 학습시켰습니다. 하지만 기존 방식은 마치 어린이가 가위와 풀로 만든 종이 위조와 같았습니다.

• 문제: 글자 크기가 맞지 않거나, 배경색이 어색하게 달라보이거나, 글자가 잘려 나가는 등 눈에 띄는 흔적 (아티팩트) 이 너무 많았습니다.
• 결과: AI 는 이런 "어설픈 가짜"만 보고 훈련해서, 실제 범죄자들이 만든 정교한 위조 문서가 나오면 "아, 이건 진짜야!"라고 착각하며 실패했습니다.

2. 해결책: "가짜 문서 공장의 두 명의 전문가"

저자들은 더 현실적인 가짜 문서를 만들기 위해 **두 명의 AI 전문가 (보조 네트워크)**를 고용했습니다. 이 두 명이 협력하여 가짜 문서를 만드는 공장을 운영합니다.

① 전문가 A: "눈썰미 좋은 미싱 (Similarity Network)"

• 역할: "이 글자 조각이 원래 문서의 분위기와 잘 어울리는가?"를 판단합니다.
• 비유: 마치 패션 스타일리스트처럼, "이 셔츠 (가짜 글자) 를 입으면 전체 코디 (문서) 가 어색해 보이지 않나?"를 체크합니다.
  • 글자의 폰트, 색상, 밝기, 흐릿함 정도까지 모두 비슷해야 합니다.
  • 이 AI 는 **대조 학습 (Contrastive Learning)**이라는 기술을 써서, "비슷한 것"과 "다른 것"을 구별하는 눈을 키웠습니다.

② 전문가 B: "꼼꼼한 자수 (Bounding Box Quality Network)"

• 역할: "이 글자를 잘라낼 때, 옆에 있는 글자를 실수로 잘라내거나 글자 끝을 찍어내지 않았는가?"를 확인합니다.
• 비유: 마치 정교한 미용사처럼, 머리카락 (글자) 을 자를 때 옆에 있는 머리카락까지 실수로 잘라내지 않고 깔끔하게 정리했는지 봅니다.
  • 글자 테두리가 너무 빡빡하거나 너무 헐거워서 글자 일부가 잘려나가는 경우를 걸러냅니다.

3. 새로운 공정: "완벽한 가짜 문서 만들기"

이 두 전문가가 협력하여 다음과 같은 과정을 거칩니다.

1. 선별: 문서에서 글자 조각을 잘라냅니다.
2. 검수: 전문가 B 가 "이 조각이 깔끔하게 잘려나갔나?"를 먼저 확인합니다. (나쁘면 버림)
3. 매칭: 전문가 A 가 "이 조각을 다른 문서에 붙였을 때, 배경색이나 글자 스타일이 자연스럽게 섞일지?"를 계산합니다.
4. 제작: 가장 잘 어울리는 조각을 찾아 붙이거나, 새로운 글자를 입력하거나, 글자를 지우는 (Inpainting) 작업을 합니다.

이 과정을 통해 **280 만 장 (2.8M)**에 달하는 고품질의 가짜 문서 데이터셋을 만들었습니다. 이를 **'TDoc-2.8M'**이라고 부릅니다.

4. 결과: "경호원 (탐지 AI) 이 훨씬 똑똑해졌다"

이론을 증명하기 위해, 기존 방식과 이 새로운 방식으로 만든 가짜 문서로 여러 AI 모델을 훈련시켰습니다.

• 결과: 새로운 방식으로 훈련된 AI 는 실제 인간이 만든 정교한 위조 문서를 훨씬 잘 찾아냈습니다.
• 비유: 어린이용 가짜 지폐로 훈련된 경호원은 진짜 위조 지폐를 못 보지만, 현실과 똑같은 가짜 지폐로 훈련된 경호원은 눈 하나 깜짝하지 않고 가짜를 잡아냅니다.

5. 요약: 왜 이 연구가 중요한가?

• 기존: "어설픈 가짜"로 훈련 → "진짜 위조"를 못 봄.
• 이 연구: "현실적인 가짜"를 만드는 두 명의 AI 전문가를 도입 → "진짜 위조"를 잘 탐지하는 강력한 AI를 탄생시킴.

이 연구는 **"가짜를 더 잘 만들어내는 기술이, 진짜 위조를 막는 기술의 핵심"**임을 증명했습니다. 이제 이 기술은 은행, 정부 기관 등에서 중요한 문서의 위조를 막는 데 쓰일 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

문서 이미지 내의 위조된 텍스트를 탐지하는 작업은 데이터의 부재 (Data Scarcity) 로 인해 큰 어려움을 겪고 있습니다.

• 기존 접근법의 한계: 기존 연구들은 규칙 기반 (Rule-based) 방법을 사용하여 합성 위조 문서를 생성했으나, 이는 시각적 품질이 낮고 인위적인 흔적 (Artifacts) 이 뚜렷하게 남는 경우가 많았습니다.
• 일반화 실패: 이러한 저품질 데이터로 학습된 모델은 실제 인간이 조작한 고도위조 (High-quality forgery) 에서는 성능이 떨어지며, 학습 데이터의 단서 (Shortcuts) 에만 의존하여 일반화 능력을 상실합니다.
• 필요성: 실제 환경과 유사한 시각적 일관성 (폰트, 배경색, 조명, 흐림 등) 을 갖춘 고품질 위조 문서 데이터가 대량으로 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 고품질의 위조 문서 이미지를 생성하기 위해 두 개의 보조 네트워크 (Auxiliary Networks) 와 이를 활용한 유도형 생성 파이프라인을 제안합니다.

A. 보조 네트워크 1: 작물 유사성 평가 (Crop Similarity Network, $F_\theta$)

• 목적: 소스 이미지에서 잘라낸 텍스트 영역 (Crop) 과 타겟 이미지의 해당 영역이 시각적으로 얼마나 유사한지 평가하여, 위조 시 불일치를 방지합니다.
• 학습 방식: 대조 학습 (Contrastive Learning) 을 사용합니다.
  • Positive Pairs: 같은 줄에 위치하며 너비, 높이, 문자 수가 동일한 인접한 텍스트 또는 빈 공간 영역을 양의 쌍으로 정의합니다.
  • Negative Pairs: 시각적으로 다른 영역 (수직 거리가 멀거나 종횡비가 다른 경우) 을 음의 쌍으로 정의합니다.
  • Hard Negatives: 원본에 약간의 변형 (이동, 밝기/색상 변화 등) 을 가해 구조는 비슷하지만 시각적 특징이 다른 '어려운 부정적 샘플'을 생성합니다.
• 아키텍처: 경량화된 합성곱 신경망 (ConvNeXt 스타일) 으로, 텍스트 중심 특징 (Foreground) 과 배경 특징 (Background) 을 분리하여 처리하는 두 개의 헤드를 가집니다.

B. 보조 네트워크 2: 바운딩 박스 품질 평가 (Bounding Box Quality Network, $G_\theta$)

• 목적: 잘라낸 영역이 문자를 자르거나 (Cut-off) 인접한 문자를 포함하는지 여부를 판단하여, 명백한 기하학적 결함이 있는 작물을 필터링합니다.
• 학습 방식: 지도 학습 (Supervised Learning) 을 사용합니다.
  • 입력: 작물 이미지뿐만 아니라 그 주변 스트립 (상/하/좌/우) 을 함께 입력받아 컨텍스트를 고려합니다.
  • 레이블링: OCR 결과와 연결된 구성 요소 분석을 통해 경계선 결함 (Border Integrity) 이 있는 경우를 '나쁨 (0)', 그렇지 않은 경우를 '좋음 (1)'으로 레이블링합니다.
• 장점: 기존 알고리즘 (Sauvola 등) 보다 약 10 배 이상 빠른 추론 속도를 제공합니다.

C. 데이터 생성 파이프라인

두 네트워크를 활용하여 5 가지 위조 유형 (복사 - 이동, 스플라이싱, 삽입, 인페인팅, 덮기) 을 지원합니다.

1. 데이터베이스 구축: 원본 문서에서 $G_\theta$ 를 통해 고품질 작물만 선별하여 데이터베이스를 구성합니다.
2. 위조 수행:
   • 삽입 (Insertion): 빈 공간에 텍스트를 렌더링할 때 $F_\theta$ 를 통해 주변 텍스트와 가장 유사한 폰트와 색상을 선택합니다.
   • 복사/스플라이싱 (Copy-move/Splicing): 타겟 영역과 시각적 유사도 ($F_\theta$ 점수) 가 가장 높은 소스 작물을 선택하여 교체합니다.
   • 인페인팅/덮기: 배경-aware 기법을 사용하되, $G_\theta$ 를 통해 생성된 영역의 품질을 검증합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 보조 네트워크 도입: 대조 학습을 기반으로 한 작물 유사성 네트워크 ($F_\theta$) 와 바운딩 박스 품질 평가 네트워크 ($G_\theta$) 를 개발했습니다.
2. 고품질 생성 프레임워크: 두 네트워크를 결합하여 다양하고 고품질의 위조 문서 이미지를 생성하는 통합 파이프라인을 제안했습니다.
3. 대규모 데이터셋 공개: 약 280 만 장의 위조 문서 이미지 (TDoc-2.8M) 와 관련 코드, 사전 학습 모델을 공개했습니다.
4. 일관된 성능 향상: 기존 방법론으로 생성된 데이터와 동일한 소스 이미지에서 생성된 데이터를 비교 실험하여, 제안된 파이프라인이 다양한 모델과 데이터셋에서 일관된 성능 향상을 가져옴을 입증했습니다.

4. 실험 결과 (Results)

• 평가 설정: 제안된 방법으로 생성된 데이터로 학습된 5 가지 모델 (DTD, ASC-Former, CAT-Net, PSCC-Net, FFDN) 을 기존 방법 ([25], [6]) 으로 생성된 데이터로 학습된 모델과 비교했습니다.
• 테스트 데이터셋: 인간이 직접 조작한 고품질 데이터셋인 RTM, FindItAgain, FindIt을 사용하여 제로샷 (Zero-shot) 및 파인튜닝 (Fine-tuning) 평가를 수행했습니다.
• 주요 성과:
  • 제안된 방법으로 학습된 모델은 모든 아키텍처와 데이터셋에서 일관된 성능 향상을 보였습니다.
  • 특히 FFDN 모델의 경우, FindItAgain 데이터셋에서 픽셀 단위 F1 점수가 기존 방법 대비 125.7% 향상되었습니다.
  • Ablation Study: $F_\theta$ 와 $G_\theta$ 중 하나라도 제거할 경우 성능이 저하되었으며, 둘 다 제거 시 가장 큰 성능 감소가 발생하여 두 구성 요소의 상호 보완적 중요성을 입증했습니다.
  • AI 생성 위조 일반화: 학습 데이터에 포함되지 않은 AI 생성 위조 (FLUX-Text, AnyText 사용) 에 대해서도 우수한 일반화 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 문서 위조 탐지 분야에서 데이터의 질 (Quality) 이 모델의 성능을 결정하는 핵심 요소임을 강조합니다.

• 실제성 확보: 단순한 규칙 기반 합성이 아닌, 시각적 일관성과 기하학적 정확성을 학습된 네트워크로 제어함으로써 실제 인간이 조작한 위조와 구별하기 어려운 고품질 데이터를 대량으로 생성할 수 있게 되었습니다.
• 연구 생태계 기여: 공개된 TDoc-2.8M 데이터셋과 코드는 향후 문서 위조 탐지 연구의 표준 벤치마킹 및 모델 개발에 중요한 기반을 제공할 것입니다.
• 실용적 가치: 이 기술은 금융, 법률, 행정 문서 등 민감한 정보가 포함된 문서의 위조 방지 시스템 개발에 직접적으로 기여할 수 있습니다.

요약하자면, 이 연구는 대조 학습과 보조 네트워크를 활용하여 고품질 위조 데이터를 자동 생성하는 파이프라인을 제안함으로써, 기존 데이터 부족 및 품질 저하 문제를 해결하고 문서 위조 탐지 모델의 실용적 성능을 획기적으로 개선했습니다.