Tracing Copied Pixels and Regularizing Patch Affinity in Copy Detection

이 논문은 편집된 콘텐츠의 기하학적 추적 가능성을 활용하여 픽셀 좌표 추적 모듈 (PixTrace) 과 겹침 비율을 기반으로 한 기하학적 대비 손실 (CopyNCE) 을 제안함으로써, 기존 시계열 대비 학습의 한계를 극복하고 이미지 복사 탐지 성능과 해석 가능성을 크게 향상시켰습니다.

핵심

이 논문은 **"이미지 복사 탐지 (Image Copy Detection)"**라는 문제를 해결하기 위해 개발된 새로운 기술에 대한 것입니다. 쉽게 말해, **"누가 내 사진을 도용했거나, 편집해서 다시 올렸는지 찾아내는 기술"**입니다.

기존의 방법들은 사진 전체를 비교하거나, 비슷한 부분을 대충 찾아내는 방식이라서, 사진이 잘라지거나 색이 바뀌거나 모양이 왜곡된 복잡한 편집에는 약했습니다. 이 논문은 **"픽셀 (화소) 의 발자국을 추적한다"**는 아이디어로 이 문제를 해결했습니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제: "도난당한 사진의 미스터리"

상상해 보세요. 누군가 당신의 소중한 사진을 가져가서 다음과 같이 편집했다고 칩시다.

• 사진의 한 구역을 잘라내서 다른 곳에 붙임 (이미지 매칭)
• 사진 전체를 비틀거나 기울임 (아핀 변환)
• 색감을 완전히 바꿔버림 (컬러 지터)

기존의 탐정들 (기존 AI) 은 이 사진을 보고 "아, 이거 원래 사진이랑 비슷해 보이네?"라고 대충 추측만 합니다. 하지만 편집이 너무 정교하면 "아니야, 이건 완전히 다른 사진이야!"라고 잘못 판단하거나, "어디가 같은지 정확히 모르겠어"라고 헤매게 됩니다.

2. 해결책 1: "픽셀 추적기 (PixTrace)" - 도난당한 물건의 GPS

이 논문은 **"원본 사진의 픽셀 하나하나가 편집된 사진에서 어디로 갔는지 정확히 기록하는 시스템"**을 만들었습니다.

• 비유: 원본 사진을 레고 블록으로 만든 성이라고 생각하세요. 누군가 이 성을 부수고, 블록을 잘라내서 다른 모양으로 다시 조립했다고 칩시다.
• 기존 방식: "어? 저기 붉은 벽돌이 있네? 아마 원래 성에 있었을 거야."라고 대충 눈으로 찾는 것입니다.
• 이 논문의 방식 (PixTrace): 각 레고 블록에 GPS 추적기를 달아두는 것입니다. "이 붉은 벽돌은 원래 3 층 2 열에 있었는데, 편집 후엔 5 층 1 열로 이동했어!"라고 정확한 좌표 기록을 남깁니다.

이렇게 하면 편집이 아무리 복잡해도, "이 부분이 원본의 어디에서 왔는지"를 100% 확신할 수 있게 됩니다.

3. 해결책 2: "정교한 비교기 (CopyNCE)" - GPS 기록을 활용한 재판

이제 GPS 기록 (PixTrace) 을 바탕으로 AI 를 훈련시킵니다. 이때 사용하는 것이 CopyNCE라는 새로운 학습 방법입니다.

• 비유: 법정에 서 있는 상황입니다.
  • 기존 방식: "이 두 사진이 비슷해 보이니까 유죄!"라고 대충 판단합니다. (잘못된 증거로 인해 무죄인 사람을 유죄로 만들거나, 유죄인 사람을 놓치는 경우가 많음)
  • 이 논문의 방식: "이 두 사진의 **중첩된 부분 (겹치는 영역)**을 GPS 기록으로 확인해 보자. 원본의 48% 가 여기로 왔고, 20% 는 저기로 왔어. 이 비율에 맞춰서 두 사진이 얼마나 닮았는지 점수를 매기자."

즉, **"어디서 얼마나 많이 가져왔는지"**를 수학적으로 계산해서, AI 가 "이건 도용이 맞다!"라고 확신할 수 있도록 가르치는 것입니다.

4. 결과: "완벽한 탐정"

이 기술을 적용한 결과는 놀라웠습니다.

• 성능: 기존에 가장 잘하던 방법들보다 훨씬 정확하게 도용된 사진을 찾아냈습니다. (DISC21 이라는 대회에서 1 위 수준)
• 해석 가능성: 단순히 "유죄"라고만 말하는 게 아니라, **"어디가 도용되었는지"**를 시각적으로 보여줍니다. 마치 수사관이 "여기서 이 부분이 잘려서 붙여졌어"라고 지목하는 것처럼 말이죠.

5. 요약: 왜 이 기술이 특별한가요?

기존의 AI 는 **"대충 비슷해 보이니 도용인 것 같아"**라고 추측하는 수준이었다면, 이 논문은 **"이 픽셀은 원본의 A 지점에서 왔고, 저 픽셀은 B 지점에서 왔어. 그러니 100% 도용이야!"**라고 증거 기반으로 판단합니다.

한 줄 요약:

"도난당한 사진의 조각 하나하나에 GPS 를 달아, 편집된 흔적을 추적하고 정교하게 비교함으로써, 어떤 복잡한 변조도 놓치지 않는 초능력의 이미지 탐정을 만들었습니다."

이 기술은 저작권 보호, 위조 사진 탐지, 인터넷상의 불법 복제 콘텐츠 찾기 등 우리 일상에서 매우 중요한 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

이미지 복제 탐지 (Image Copy Detection, ICD) 는 원본 이미지와 편집된 복사본 (Copy) 간의 관계를 식별하는 작업입니다. 최근 자기지도학습 (Self-Supervised Learning, SSL) 이 ICD 분야에서 주류 패러다임으로 자리 잡았으나, 기존 방법론에는 다음과 같은 한계가 존재합니다.

• 세부적인 대응 관계 학습의 부재: 대부분의 기존 SSL 기반 방법 (예: SSCD, D2LV 등) 은 이미지 전체 수준 (View-level) 의 대비 학습 (Contrastive Learning) 에 의존합니다. 이는 정밀한 편집 (Affine 변환, 이미지 마팅, 색상 왜곡 등) 이 가해진 경우, 패치 (Patch) 또는 픽셀 수준의 미세한 대응 관계 (Correspondence) 를 학습하는 데 실패하게 만듭니다.
• 노이즈가 있는 지도 신호: 기존 연구들은 최근접 이웃 (Nearest-Neighbor, NN) 매칭을 통해 지역적 대응 관계를 추정하지만, 이는 잘못된 매칭 (False Match) 이나 부분적인 매칭 (Partial Match) 을 초래하여 모델 수렴과 성능을 저하시킵니다.
• 기하학적 추적성 (Traceability) 의 활용 미흡: 편집된 이미지는 원본 이미지와 기하학적으로 추적 가능한 관계가 존재함에도 불구하고, 이를 명시적으로 활용하여 학습을 정규화하는 시도는 부족했습니다.

2. 제안 방법론 (Methodology)

저자들은 편집된 콘텐츠의 고유한 기하학적 추적성 (Geometric Traceability) 을 활용하여 두 가지 핵심 혁신을 제안합니다.

2.1. PixTrace (픽셀 좌표 추적 모듈)

• 개념: 원본 이미지 ($I_o$) 에서 편집된 이미지 ($I_a, I_b$) 로 가는 각 편집 단계 (Affine, Perspective, Matting 등) 에 대해 좌표 변환 함수를 적용하여 좌표 테이블 (Coordinate Table, $T$) 을 유지합니다.
• 작동 원리:
  • 초기화: $T[m, n] = [m, n]$ (원본 좌표).
  • 편집 적용: 각 편집 단계마다 좌표 변환 함수 $f$ 를 적용하여 테이블을 업데이트 ($T_{new} = f(T_{old})$).
  • 역변환: 편집된 이미지 간의 픽셀 대응 관계를 찾기 위해 테이블을 역전 ($T^{-1}$) 하여 원본 이미지를 브릿지로 사용합니다.
• 효과: 이를 통해 편집된 이미지 간의 정확한 픽셀 단위 대응 관계를 명시적으로 추적할 수 있으며, 이는 추후 손실 함수의 지도 신호로 활용됩니다.

2.2. CopyNCE (기하학적 가이드 대비 손실 함수)

• 개념: PixTrace 로부터 얻은 정확한 픽셀 대응 관계를 활용하여, 패치 (Patch) 수준의 친밀도 (Affinity) 를 정규화하는 새로운 대비 손실 함수입니다.
• 핵심 로직:
  • Prior Distribution (사전 분포): 두 패치 간의 겹치는 영역 (Overlap Ratio) 을 픽셀 수로 계산하여, 해당 패치가 얼마나 중요한 '양성 (Positive)' 샘플인지를 확률 분포 $q(R^r_j | R^q_i)$ 로 정의합니다.
  • 정규화: 기존 InfoNCE 는 하나의 양성 샘플을 찾도록 하지만, CopyNCE 는 여러 개의 양성 패치가 존재할 수 있음을 고려합니다. 겹치는 비율에 비례하여 각 양성 패치의 중요도를 부여하고, 이를 KL 발산 (KL Divergence) 형태로 손실 함수에 통합합니다.
  • 수식적 표현:
    $$\mathcal{L}_{CopyNCE} = \mathbb{E} \left[ \sum_{R^r_j} q(R^r_j | R^q_i) \cdot \text{KL}(q \parallel p) \right]$$
    여기서 $q$는 PixTrace 로 계산된 겹침 비율 기반의 타겟 분포이고, $p$는 모델이 예측한 확률 분포입니다.
• 장점: 잘못된 매칭 (False Match) 에서 오는 노이즈를 억제하고, 부분 매칭 (Partial Match) 문제를 해결하여 모델이 편집된 영역을 더 정확하게 학습하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. PixTrace 파이프라인 개발: 다양한 편집 변환을 거친 후에도 픽셀 좌표의 추적성을 유지하는 좌표 매핑 파이프라인을 구축했습니다.
2. CopyNCE 손실 함수 제안: 픽셀 수준의 추적 정보를 패치 수준의 유사도 학습에 통합하여, 패치 간 친밀도를 기하학적으로 검증된 지도 신호로 정규화하는 방법을 제시했습니다.
3. State-of-the-Art (SOTA) 성능 달성:
   • Matcher (매칭기): DISC21 데이터셋에서 88.7% µAP / 83.9% RP90 달성.
   • Descriptor (기술자): DISC21 데이터셋에서 72.6% µAP / 68.4% RP90 달성.
   • 기존 SOTA 방법론들 (D2LV, SSCD 등) 을 성능뿐만 아니라 해석 가능성 (Interpretability) 과 효율성 측면에서도 능가했습니다.

4. 실험 결과 (Results)

• 데이터셋: DISC21 (NeurIPS 2021 Image Similarity Challenge) 및 NDEC (Hard Negative 포함).
• 성능 비교:
  • Matcher: ViT-S 아키텍처만 사용하면서도, D2LV (여러 모델 앙상블) 보다 높은 성능을 기록했습니다. 특히 해상도를 336x336 으로 높일 때 성능이 크게 향상되었습니다.
  • Descriptor: 추가 데이터 없이도 기존 SOTA (SSCD, Lyakaap 등) 를 크게 상회하는 성능을 보였습니다.
• Ablation Study:
  • PixTrace vs. Heuristic NN: 기존 FeatNN(특징 기반 NN) 및 LocNN(위치 기반 NN) 은 오매칭과 부분 매칭 문제가 발생하여 CopyNCE 보다 성능이 현저히 낮았습니다.
  • Loss Function: NCE(Contrastive Loss) 가 단순 Cosine Loss 보다 복사 탐지 작업에 더 적합함을 확인했습니다.
  • Parameter $\gamma$: 겹침 비율에 따른 가중치 조절 파라미터 $\gamma$가 모델 성능에 중요한 영향을 미쳤으며, Matcher 의 경우 $\gamma=1$(비례), Descriptor 의 경우 $\gamma=3$(조금 더 집중) 이 최적이었습니다.
• 시각화 및 해석 가능성:
  • CopyNCE 를 적용한 모델은 복사된 영역 (예: 다람쥐 눈) 에 대한 어필리티 (Affinity) 히트맵에서 명확한 집중을 보였습니다. 반면 Baseline 모델은 혼란스러운 히트맵을 보여주었습니다.
  • 어필리티 엔트로피 (Affinity Entropy) 분석을 통해 CopyNCE 가 복사 영역을 더 명확하게 식별함을 증명했습니다.

5. 의의 및 결론 (Significance)

이 논문은 이미지 복제 탐지 분야에서 픽셀 수준의 기하학적 추적성을 자기지도학습 프레임워크에 성공적으로 통합한 첫 번째 사례 중 하나입니다.

• 노이즈 제거: 기존 SSL 방법론의 치명적인 약점인 '잘못된 양성 샘플' 문제를 기하학적 추적 정보를 통해 해결했습니다.
• 해석 가능성 향상: 단순히 점수만 맞추는 것이 아니라, 모델이 어떤 영역을 복사본으로 인식했는지 시각적으로 명확하게 보여줍니다.
• 실용성: 복잡한 편집 (Matting, Affine 등) 이 가해진 상황에서도 강력한 일반화 능력을 보여주어, 실제 저작권 보호 및 콘텐츠 관리 시스템에 적용 가능성이 높습니다.

요약하자면, 저자들은 PixTrace를 통해 편집의 흔적을 추적하고, 이를 CopyNCE라는 손실 함수로 변환하여, 기존 방법론이 놓쳤던 미세한 편집 흔적까지 포착하는 고성능 ICD 모델을 제안했습니다.