Beyond Detection: Multi-Scale Hidden-Code for Natural Image Deepfake Recovery and Factual Retrieval

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"가짜 사진 (딥페이크) 을 발견하는 것을 넘어, 어떻게 하면 원본 사진을 다시 되찾을 수 있을까?"**라는 질문에 대한 답을 제시합니다.

기존 기술은 "이 사진은 조작된 가짜입니다!"라고 경고하는 데 그쳤다면, 이 연구는 "어디가 조작되었는지 찾아내고, 원래 모습으로 되돌려주는" 새로운 방법을 개발했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: "완벽한 위조지폐"의 등장

요즘 AI 기술이 발전해서 사진을 마음대로 고칠 수 있게 되었습니다. 예를 들어, 사진 속의 사람을 지우거나, 다른 사람의 얼굴로 바꿀 수 있죠.

기존의 한계: 과거의 기술들은 "이 사진은 가짜야!"라고 지적만 할 뿐, "어떻게 고쳐야 원래 사진이 될까?"는 답을 주지 못했습니다.
기존 복구법의 문제: 사진을 원상복구하려는 시도들은 보통 사진 전체를 아주 작은 조각으로 잘라 숨겨두는 방식을 썼습니다. 하지만 이렇게 하면 사진이 너무 많이 변질되거나, 사진이 조금만 찌그러져도 (압축되거나 노이즈가 생기면) 숨겨진 정보가 다 날아가 버려 복구가 불가능해졌습니다.

2. 이 연구의 핵심 아이디어: "요약된 지도와 나침반"

이 연구팀은 **"사진 전체를 통째로 숨기는 게 아니라, 핵심만 요약해서 숨기자"**는 발상을 했습니다.

비유 1: "요리 레시피의 핵심 요약본"

기존 방식: 요리를 다시 하려면 모든 재료를 다 가져와야 합니다. 재료가 조금만 상해도 요리는 실패합니다.
이 연구의 방식: 요리사 (AI) 가 기억할 수 있는 **'핵심 레시피 요약본'**만 가져갑니다.
- 예를 들어, "닭볶음탕"을 만들 때 닭고기, 양파, 당근 등 모든 재료를 숨기는 대신, "닭, 양파, 당근, 간장, 설탕"이라는 **핵심 키워드 (Hidden Code)**만 암호화해서 사진 속에 숨깁니다.
- 이 키워드는 사진이 조금 찌그러져도 (압축, 노이즈) 잘 살아남습니다.

비유 2: "멀티스케일 (다중 규모) 지도"

이 연구는 사진을 한 번에 보는 게 아니라, 여러 단계로 나누어 봅니다.
- 1 단계 (큰 그림): 사진이 어떤 주제인지 (예: '새', '오리') 를 먼저 파악합니다.
- 2 단계 (중간): 새의 날개 모양이나 몸통의 대략적인 형태를 파악합니다.
- 3 단계 (세부): 깃털 하나하나의 디테일을 파악합니다.
기존 방식은 마지막 디테일만 중요하게 여겨 큰 그림을 놓쳤다면, 이 연구는 큰 그림부터 세부 사항까지 단계별로 정리된 지도를 숨겨둡니다. 그래서 가짜 사진의 일부분이 망가져도, AI 가 "아, 여기는 '새'의 몸통이니까 이 모양으로 채우면 되겠구나"라고 추론할 수 있습니다.

3. 작동 원리: "수리공과 탐정"의 협업

이 시스템은 두 가지 역할을 동시에 수행합니다.

탐정 (탐지 및 위치 확인):
- 조작된 사진을 보면, "어디가 변조되었는지"를 빨간색으로 표시해 줍니다. (예: "여기 얼굴이 바뀐 것 같아!")
수리공 (복구 및 재구성):
- 사진 속에 숨겨져 있던 **'핵심 요약본 (Hidden Code)'**을 꺼냅니다.
- 탐정이 표시한 '변조된 부분'을 제외하고, 나머지 깨끗한 부분을 바탕으로 AI 가 상상력을 발휘합니다.
- "원래 사진은 '새'였으니, 변조된 부분을 '새'의 깃털로 채워 넣자"라고 **맥락 (Context)**을 이해하며 그림을 다시 그립니다.

4. 특별한 장점: "어떤 도구와도 잘 어울리는 플러그인"

이 기술은 이미 있는 다양한 사진 보호 도구 (워터마킹 시스템) 에 별도로 설치할 필요 없이 바로 끼워 쓸 수 (Plug-and-Play) 있습니다.

사진을 찍을 때 이미 워터마크를 넣는 시스템이든, 사진을 찍은 후에 워터마크를 넣는 시스템이든 상관없이 이 '복구 기술'을 붙이면 바로 작동합니다.

5. 실험 결과: "사실적 검색 (Factual Retrieval)"

연구팀은 ImageNet-S라는 새로운 테스트 장을 만들었습니다.

상황: 가짜로 조작된 사진을 줍니다.
목표: "이 사진이 원래 어떤 사진이었는지, 혹은 어떤 주제 (예: '타조') 였는지 찾아내라."
결과: 기존 기술들은 가짜 사진을 고치려다 모양이 이상해지거나 (왜곡), 주제를 잘못 알아맞히는 경우가 많았습니다. 하지만 이 연구의 방법은 90% 이상의 정확도로 원래 사진이나 정확한 주제를 찾아냈습니다.

요약: 왜 이것이 중요한가요?

이 기술은 "가짜 뉴스"나 "조작된 증거"를 단순히 의심하는 것을 넘어, 진실을 다시 찾아내는 도구가 될 수 있습니다.

과거: "이 사진은 조작된 가짜입니다. (그만두세요)"
이제: "이 사진은 조작되었지만, 숨겨진 단서를 통해 원래의 진실된 모습을 다시 찾아냈습니다."

마치 파손된 유물을 발견했을 때, 단순히 "이건 가짜다"라고 말하는 대신, 유물 속에 숨겨진 설계도를 꺼내어 원래의 모습으로 완벽하게 복원해 주는 것과 같은 기술입니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Statement)

최근 생성형 AI 의 발전으로 디지털 이미지 조작 (딥페이크) 이 쉬워지면서, 이미지 진위성 검증에 대한 관심이 높아졌습니다. 기존 연구들은 주로 **딥페이크 탐지 (Detection)**나 **조작 영역 국소화 (Localization)**에 집중해 왔습니다. 그러나 조작된 콘텐츠를 **복구 (Recovery)**하여 원본을 되찾거나, 조작된 이미지의 사실적 정보 (Fact) 를 검색하는 연구는 상대적으로 미비했습니다.

기존의 자기 복구 (Self-recovery) 워터마킹 방법들은 다음과 같은 한계가 있었습니다:

용량 부족 및 취약성: 원본 이미지의 많은 정보를 워터마크로 삽입해야 하므로 (높은 비트/픽셀 비율, BPP), 압축이나 노이즈와 같은 일반적인 손상에도 쉽게 파괴됩니다.
제한된 복구 범위: 대부분의 기존 방법은 얼굴 영역 등 특정 영역에 국한되거나, 조작된 영역을 사전에 알아야 하는 등 실용성이 떨어집니다.
복구 불가능: 탐지나 국소화는 가능하지만, 손상된 부분을 원본과 유사하게 재구성하는 메커니즘이 부재합니다.

2. 제안 방법 (Methodology)

저자들은 **다중 스케일 숨겨진 코드 (Multi-Scale Hidden-Code)**를 기반으로 한 통합 복구 프레임워크를 제안합니다. 이 프레임워크는 사후 (Post-hoc) 및 생성 중 (In-generation) 워터마킹 파이프라인 모두와 호환됩니다.

핵심 구성 요소:

다중 스케일 양자화 (Multi-Scale Quantization) 및 숨겨진 코드:
- VQ-VAE(Vector Quantized Variational Autoencoder) 를 활용하여 이미지를 연속적인 픽셀 값이 아닌 **이산적인 토큰 맵 (Discrete Token Maps)**으로 변환합니다.
- 단일 스케일 양자화 대신 다중 스케일 (Coarse-to-Fine) 구조를 사용하여, 이미지의 의미론적 정보 (Semantic Information) 를 여러 스케일에 걸쳐 분산 저장합니다.
- 드롭아웃 (Dropout) 전략: VQ-VAE 학습 시 고해상도 스케일 (나중 단계) 을 무작위로 드롭하여, 저해상도 스케일 (초기 단계) 에서도 의미 있는 정보를 인코딩하도록 강제합니다. 이는 워터마크 용량 제한 내에서 핵심 정보를 효율적으로 압축하는 데 기여합니다.
- 양자화된 토큰 인덱스를 이진 비트스트림으로 변환하여 워터마크로 삽입합니다.
플러그 앤 플레이 호환성 (Plug-and-Play Compatibility):
- 사후 워터마킹 (Post-hoc): EditGuard 와 같은 기존 탐지/국소화 모델과 결합하여, 워터마크 추출 및 조작 영역 마스킹을 수행합니다.
- 생성 중 워터마킹 (In-generation): Gaussian Shading 과 같은 생성 모델 기반 워터마킹과 호환되도록, DDIM 역전파 (Inversion) 기반 최적화를 통해 초기 노이즈를 조정하여 숨겨진 정보를 인코딩합니다.
조건부 Transformer 를 이용한 복구 (Conditional Transformer Recovery):
- 손상된 이미지 ( $I_d$ ) 에서 워터마크를 추출하여 **숨겨진 토큰 ( $h'$ )**과 **조작 영역 마스크 ( $M'_{loc}$ )**를 얻습니다.
- 조건부 Next-Scale Prediction: 추출된 깨끗한 토큰 ( $h'$ ) 을 조건 (Condition) 으로 사용하여, 손상된 영역을 Transformer 모델이 예측하도록 합니다.
- 융합 (Fusion): 예측된 깨끗한 토큰과 손상된 이미지의 토큰을 조작 마스크를 기준으로 가중치 합산하여, 손상되지 않은 영역은 원본을 유지하고 손상된 영역은 모델이 예측한 내용으로 채웁니다.
사실적 검색 (Factual Retrieval):
- 복구된 이미지 ( $I_r$ ) 를 사용하여 원본 이미지나 동일한 의미 (Label) 를 가진 이미지를 데이터셋에서 검색합니다. CLIP 모델을 사용하여 의미적 유사도를 측정하고 Top-k 정확도를 평가합니다.

3. 주요 기여 (Key Contributions)

강건한 자기 복구 워터마킹 전략: 다중 스케일 잠재 양자화를 통해 이미지 자기 복구를 위한 강건하고 오버헤드가 낮은 임베딩을 달성했습니다.
용량 - 강건성 균형: 양자화 기반 숨김 메커니즘을 설계하여 용량, 비가시성, 압축/노이즈에 대한 강건성을 균형 있게 조절했습니다.
범용 호환성: 사후 및 생성 중 워터마킹 방식 모두와 플러그 앤 플레이 방식으로 호환되어 다양한 보호 시나리오에 유연하게 적용 가능합니다.
ImageNet-S 벤치마크 구축: 조작된 이미지와 복구된 이미지에 대한 이미지 - 라벨 쌍 검색 작업을 제공하는 새로운 벤치마크 (ImageNet-Segment) 를 구축하여, 복구 정확도와 의미적 일관성을 정량적으로 평가할 수 있는 표준 플랫폼을 마련했습니다.

4. 실험 결과 (Experimental Results)

데이터셋: ImageNet-S (ImageNet 기반, LISA 프레임워크로 생성된 조작 마스크 포함) 를 사용했습니다.
검색 성능 (Retrieval Accuracy):
- 제안된 방법 (Hidden Code + Conditional Transformer) 은 기존 방법 (HiNet, RePaint, VQGAN 등) 대비 월등히 높은 성능을 보였습니다.
- Top-1 Label Accuracy: 92.31% (기존 최고 수준인 VAR 의 67.54% 대비 크게 향상).
- Top-1 Image Accuracy: 87.44%.
- CLIP Score: 복구된 이미지와 원본 간의 의미적 유사도가 0.9168 로 매우 높게 나타났습니다.
강건성 (Robustness): JPEG 압축, 가우시안 블러, 노이즈 등 다양한 이미지 손상 공격에 대해 비트 정확도 (Bit Accuracy) 가 0.95 이상으로 유지되어 기존 취약한 워터마킹 방법 (약 0.5 수준) 보다 월등히 우수함을 입증했습니다.
시각적 품질: 복구된 이미지는 구조적 일관성과 세부적인 질감 (Texture) 을 잘 보존하며, 심리적 왜곡이나 아티팩트가 적었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 딥페이크 대응 기술의 패러다임을 '탐지 (Detection)'에서 '복구 및 사실 확인 (Recovery & Factual Retrieval)'으로 확장했다는 점에서 의의가 큽니다.

실용성: 단순히 "이 이미지가 조작되었다"고 알려주는 것을 넘어, "원래 어떤 모습이었는지"를 복원하고 검증할 수 있는 체계를 제공합니다.
확장성: 다양한 워터마킹 기술과 호환되므로, 기존 시스템에 쉽게 통합하여 적용할 수 있습니다.
보안 강화: 콘텐츠 의존적 워터마크 (CDW) 를 통해 워터마크 위조 (Forgery) 공격에 대한 저항력도 함께 입증했습니다.

결론적으로, 이 연구는 생성형 AI 시대의 이미지 진위성 보장을 위해 탐지, 국소화, 복구를 아우르는 종합적인 솔루션을 제시하며, 향후 이미지 복구 및 디지털 포렌식 연구의 기초를 마련했습니다.