Authenticated Contradictions from Desynchronized Provenance and Watermarking

이 논문은 C2PA 메타데이터와 워터마킹 검사가 서로 독립적으로 작동할 때 발생하는 '무결성 충돌' 문제를 실증적으로 규명하고, 메타데이터 조작을 통해 생성된 AI 콘텐츠가 인간 제작으로 위장할 수 있음을 보여주며, 두 계층을 통합하여 검증하는 교차 계층 감사 프로토콜을 제안합니다.

핵심

이 논문은 **"진짜라고 증명된 가짜"**가 어떻게 만들어질 수 있는지, 그리고 왜 우리가 그걸 눈치채지 못하는지에 대한 흥미로운 이야기를 담고 있습니다.

쉽게 비유하자면, 이 연구는 **"디지털 사진의 '출생신고서 (C2PA)'와 '지문 (워터마크)'이 서로 다른 말을 하고 있는데, 아무도 그걸 확인하지 않아 문제가 되는 상황"**을 발견하고 해결책을 제시한 것입니다.

다음은 이 논문의 핵심 내용을 일상적인 언어와 비유로 설명한 것입니다.

---

1. 배경: 두 가지 다른 '진위 확인' 시스템

요즘 AI 가 만든 사진은 진짜 사진과 구별하기가 매우 어렵습니다. 그래서 두 가지 방법으로 이 사진이 진짜인지, AI 가 만든 건지 확인하려는 시스템이 생겼습니다.

• 시스템 A (출생신고서, C2PA): 사진 파일에 붙는 디지털 라벨입니다. "이 사진은 사람이 찍고 편집했습니다"라고 서명된 문서가 들어있습니다. 이 문서의 서명이 위조되지 않았으면 '진짜'로 인정받습니다.
• 시스템 B (지문, 워터마크): 사진의 픽셀 (화소) 자체에 보이지 않는 암호 같은 신호를 심는 것입니다. "이 사진은 AI 가 만들었습니다"라고 말해주는 신호죠.

현재는 이 두 시스템이 서로 따로따로 작동합니다. 시스템 A 는 문서만 보고, 시스템 B 는 사진 픽셀만 봅니다. 서로 대화하지 않습니다.

2. 문제 발견: "진짜라고 증명된 가짜" (Integrity Clash)

연구팀은 이 두 시스템이 따로 작동할 때 생기는 치명적인 구멍을 발견했습니다.

비유:
가상의 악당 (해커) 이 AI 로 만든 가짜 사진을 만듭니다.

1. 이 사진에는 이미 **"AI 가 만들었다"는 보이지 않는 지문 (워터마크)**이 박혀 있습니다.
2. 악당은 이 사진을 포토샵 같은 프로그램으로 아주 조금만 건듭니다.
3. 그리고 **"이 사진은 사람이 편집했습니다"라는 출생신고서 (C2PA)**를 새로 붙입니다. (단, AI 가 만들었다는 사실은 굳이 적지 않아도 됩니다. 규정이 그렇게 허용하기 때문입니다.)
4. 결과: 이 사진은 **서명된 출생신고서 (진짜라고 증명됨)**와 **AI 지문 (가짜라고 증명됨)**을 동시에 가지고 있게 됩니다.

여기서 문제가 생깁니다.

• 출생신고서를 확인하는 사람은 "서명이 진짜니까 이 사진은 사람이 만든 거야!"라고 믿습니다.
• 지문 확인기는 "지문이 AI 가 만든 거야!"라고 말하지만, 보통 사람들은 지문 확인기를 따로 쓰지 않거나, 두 가지를 비교하지 않습니다.

이 논문은 **"서명만 보고 믿으면, AI 가 만든 가짜 사진을 진짜로 착각하게 된다"**는 것을 실험으로 증명했습니다. 이를 **'정체성 충돌 (Integrity Clash)'**이라고 부릅니다.

3. 실험 내용: 어떻게 증명했나?

연구팀은 3,500 장의 사진을 만들어 실험했습니다.

• AI 로 만든 사진에 "AI 가 만들었다"는 지문을 심었습니다.
• 그다음, 이 사진들을 포토샵으로 살짝 건드리고 "사람이 편집했다"는 출생신고서를 붙였습니다.
• 결과: 두 가지 확인 시스템은 각각 완벽하게 작동했습니다.
  • 출생신고서 확인: "서명 유효! 사람 편집임." (O)
  • 지문 확인: "지문 발견! AI 생성임." (O)
• 하지만 두 가지를 비교하지 않으면, 우리는 "이건 사람이 만든 진짜 사진이야"라고 완전히 잘못 믿게 됩니다.

4. 해결책: "상호 검증 (Cross-Layer Audit)"

이 문제를 해결하는 방법은 매우 간단합니다. 두 시스템을 한 번에 확인하는 것입니다.

• 새로운 규칙: "출생신고서 (C2PA) 가 '사람이 만들었다'고 하는데, 지문 (워터마크) 이 'AI 가 만들었다'고 말하면? 이건 가짜 (Authenticated Fake) 로 간주하자!"
• 연구팀은 이 간단한 규칙을 적용한 검사 프로그램을 만들었습니다.
• 결과: 이 검사 프로그램은 3,500 장의 사진 중 100% 정확하게 "서로 모순되는 가짜 사진"을 찾아냈습니다.

5. 결론 및 시사점

이 논문의 핵심 메시지는 다음과 같습니다.

1. 기술적 결함이 아닙니다: 암호를 뚫거나 서명을 위조한 게 아닙니다. 그냥 "AI 가 만들었다"는 사실을 적지 않아도 된다는 규정의 허점을 악용한 것입니다.
2. 현재 시스템은 불완전합니다: 지금 우리가 쓰는 검증 도구들은 서로 대화하지 않아서, "진짜라고 증명된 가짜"를 잡아내지 못합니다.
3. 해결은 쉽습니다: 두 가지 정보를 한 번에 비교하는 검사 절차를 도입하면 이 문제는 즉시 해결됩니다.

한 줄 요약:

"지금 우리는 사진의 '출생신고서'만 보고 믿고 있는데, 사진 속의 '지문'이 다른 말을 하고 있을 수 있습니다. 두 가지를 같이 확인해야만 진짜와 가짜를 제대로 구분할 수 있습니다."

이 연구는 앞으로 AI 시대의 정보 신뢰를 위해, 서로 다른 검증 시스템들이 서로 대화하고 상호 검증하는 시스템이 꼭 필요하다고 경고하고 있습니다.

기술 요약

1. 문제 정의: '정체성 충돌 (Integrity Clash)'

이 논문은 콘텐츠 인증을 위한 두 가지 주요 기술인 암호학적 출처 증명 (C2PA) 과 불가시 워터마킹 (Invisible Watermarking) 이 서로 독립적으로 작동하여 발생하는 구조적 취약점을 지적합니다.

• 배경: C2PA 는 메타데이터에 서명된 매니페스트 (Manifest) 를 첨부하여 생성 및 편집 이력을 선언하는 반면, 워터마킹은 픽셀 데이터에 직접 신호를 삽입하여 생성 원천을 식별합니다.
• 핵심 문제: 두 검증 계층은 기술적으로 완전히 독립적입니다. C2PA 검증은 메타데이터 서명만 확인하고, 워터마킹 검사는 픽셀 데이터만 분석합니다. 따라서 한 자산이 C2PA 매니페스트에서는 '인간이 편집했다'고 cryptographically(암호학적으로) 유효하게 선언하면서도, 동시에 픽셀 데이터에는 'AI 가 생성됨'을 나타내는 워터마킹이 존재하는 상황이 발생할 수 있습니다.
• 위험성: 이 상태 (논저는 이를 Authenticated Fake 또는 Q4b 상태라고 명명) 에서는 두 신호가 각각의 검증 절차를 통과하므로, 단일 계층만 확인하는 기존 시스템은 모순을 감지하지 못합니다. 이는 AI 생성 콘텐츠가 인간이 만든 것처럼 위장하여 유포될 수 있는 치명적인 허점을 의미합니다.

2. 방법론 (Methodology)

저자들은 이 모순을 실험적으로 증명하고 탐지하는 프로토콜을 제안하기 위해 다음과 같은 실험 설계를 수행했습니다.

가. 데이터셋 및 워터마킹

• 데이터셋: Stable-Diffusion-XL (SDXL) 을 사용하여 Parti-Prompts 벤치마크 기반의 500 장의 합성 이미지를 생성했습니다.
• 워터마킹: Meta 의 Pixel Seal (Meta Seal 스위트의 일부) 을 사용하여 모든 이미지에 256 비트 페이로드를 불가시 워터마킹으로 삽입했습니다. 이는 픽셀 데이터에 직접 부호화되므로 메타데이터 조작과 무관하게 유지됩니다.

나. C2PA 서명 워크플로우 (공격 시나리오)

• 메타데이터 세탁 (Metadata Washing): 워터마킹이 삽입된 AI 이미지를 C2PA 준수 편집 도구 (예: 포토샵) 를 통해 처리하고, 인간이 편집한 것처럼 위장하는 매니페스트를 첨부하여 서명했습니다.
  • 공격 매니페스트: c2pa.edited 액션과 일반 편집 소프트웨어 에이전트를 선언하고, AI 생성 원천을 나타내는 digitalSourceType 필드를 의도적으로 생략했습니다.
  • 진실 매니페스트: c2pa.created 와 trainedAlgorithmicMedia 를 명시하여 AI 생성임을 정직하게 고지했습니다.
• 암호학적 무결성: 서명은 자체 서명된 (self-signed) 인증서로 수행되었으나, 이는 암호학적 위조가 아닌 의미론적 (semantic) 누락이 공격의 핵심임을 보여주기 위함입니다.

다. 강건성 테스트 (Robustness Perturbations)

• 워터마킹이 C2PA 서명 전후의 일반적인 이미지 처리 (JPEG 압축, 자르기 및 리사이징, 스크린샷 시뮬레이션) 를 거쳐도 워터마킹 신호가 살아남는지 확인했습니다.

라. 교차 계층 감사 프로토콜 (Cross-Layer Audit Protocol)

• 기존 시스템이 각 계층을 독립적으로 검증하는 반면, 제안된 프로토콜은 두 신호를 결합하여 일관성을 검증합니다.
  1. 유효한 C2PA 매니페스트 존재 여부 및 AI 고지 여부 확인.
  2. 워터마킹 탐지 여부 확인.
  3. 충돌 행렬 (Conflict Matrix) 에 따라 분류:
     • Q4b (Authenticated Fake): 유효한 C2PA 매니페스트 (AI 미고지) + 워터마킹 탐지 (AI 생성).

3. 주요 기여 (Key Contributions)

1. 정체성 충돌 (Integrity Clash) 의 공식화: 암호학적으로 유효한 C2PA 매니페스트와 AI 생성 워터마킹이 공존하는 '인증된 가짜' 상태를 정의하고, 이를 4 가지 상태 (Q1~Q4) 로 분류한 충돌 행렬을 제시했습니다.
2. 재현 가능한 공격 워크플로우 구축: 암호학적 해킹 없이, C2PA 명세에서 허용되는 '단일 필드 (AI 원천 고지) 의 생략'만으로 검증 가능한 가짜 콘텐츠를 생성하는 메타데이터 세탁 프로세스를 증명했습니다.
3. 교차 계층 감사 프로토콜 제안: 메타데이터와 픽셀 신호를 동시에 검증하여 단일 계층 검증으로는 감지 불가능한 모순을 100% 정확도로 탐지하는 시스템을 설계했습니다.

4. 실험 결과 (Results)

• 공격 성공: 500 장의 이미지 모두에서 C2PA 서명은 유효하게 통과되었으나, 워터마킹 검사는 AI 생성으로 판정되었습니다. 이는 Q4b (Authenticated Fake) 상태가 실제로 구현 가능함을 의미합니다.
• 검증 도구 시연: 실제 C2PA 검증 도구 (Content Credentials Verify) 에 동일한 이미지를 제출했을 때, 첨부된 매니페스트에 따라 "AI 생성" 또는 "인간 편집"으로 완전히 다른 결과가 출력됨을 확인했습니다. 워터마킹 신호는 검증 도구에서 전혀 고려되지 않았습니다.
• 강건성: JPEG 압축 (품질 80), 자르기, 스크린샷 시뮬레이션 등 다양한 변형 후에도 워터마킹 비트 정확도 (Bit Accuracy) 가 탐지 임계값 (0.75) 을 크게 상회하여 (최소 0.906), 충돌 상태가 변형 후에도 유지됨을 확인했습니다.
• 탐지 정확도: 제안된 교차 계층 감사 프로토콜은 3,500 개의 테스트 이미지 (4 가지 상태 및 3 가지 변형 조건 포함) 에서 100% 분류 정확도를 달성했습니다. 위조된 콘텐츠는 모두 탐지되었고, 정상 콘텐츠는 오검출되지 않았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 구조적 취약점의 노출: 현재 배포된 콘텐츠 인증 인프라는 두 검증 계층 간의 의미론적 일관성을 검증하지 않아, 악의적인 행위자가 AI 생성 콘텐츠를 인간이 만든 것처럼 위장할 수 있음을 증명했습니다.
• 기술적 해결 가능성: 이 간극을 메우는 것은 암호학적 복잡성이 아닌, 시스템 간의 연동 (Joint Evaluation) 문제입니다. C2PA 서명 시 기존 워터마킹 신호를 검사하거나, 검증 단계에서 두 신호를 교차 참조하는 것만으로 해결 가능합니다.
• 미래 방향: C2PA 명세나 플랫폼 정책이 수정되어 서명 시 워터마킹 신호를 검사하도록 의무화하거나, 검증 시스템이 단일 신호가 아닌 다중 신호의 일관성을 기반으로 판단해야 함을 강조합니다.

요약하자면, 이 논문은 암호학적으로 '유효한' 출처 증명과 'AI 생성'을 나타내는 워터마킹이 공존하는 모순된 상태가 현실적으로 가능함을 증명하고, 이를 해결하기 위한 교차 계층 검증 프로토콜의 필요성과 실현 가능성을 제시했습니다.