Each language version is independently generated for its own context, not a direct translation.

TokenTrace: 그림 속의 '보이지 않는 서명'을 찾아내는 마법

이 논문은 인공지능 (AI) 이 그린 그림이 누구의 아이디어나 스타일을 사용했는지를 증명하는 새로운 기술을 소개합니다. 기존 방법들의 한계를 뛰어넘어, 한 장의 그림에 여러 가지 개념 (예: '고양이'와 '반 고흐 스타일') 이 섞여 있더라도 각각을 정확히 찾아내는 방법을 제안합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: "누가 이 그림을 그렸을까?"

AI 가 그림을 그릴 때, 화가의 독특한 스타일이나 특정 사물을 배워 그립니다. 하지만 AI 가 그린 그림에는 어떤 화가의 스타일이 쓰였는지, 어떤 물체가 포함되었는지를 알 수 있는 '신원증명'이 없습니다.

기존의 방법 (수동적 도장): 그림이 완성된 뒤에 나중에 도장을 찍는 방식입니다. 하지만 그림을 자르거나, 압축하거나, 필터를 씌우면 도장이 지워지거나 변형되어 사라지기 쉽습니다.
기존의 방법 (단일 서명): 그림 전체에 하나의 '보이지 않는 서명'을 넣는 방식입니다. 하지만 그림에 '고양이'와 '반 고흐 스타일'이 섞여 있을 때, 이 서명은 두 개념을 구분하지 못합니다. 마치 "이 집은 누구의 집인가?"라고 물었을 때, "이 집은 '집'입니다"라고만 대답하는 것과 같습니다.

2. TokenTrace 의 해결책: "개념별 비밀 키"

저자들은 **"각 개념 (고양이, 스타일 등) 마다 별도의 비밀 키를 숨기자"**라고 생각했습니다. 그리고 그 키를 그림이 만들어지는 가장 초기 단계부터 숨깁니다.

🎨 비유: 요리를 할 때의 비밀 레시피

AI 가 그림을 그리는 과정을 요리라고 상상해 보세요.

기존 방법: 요리가 다 된 접시 (완성된 그림) 에 나중에 소금 (워터마크) 을 뿌리는 것입니다. 하지만 접시를 흔들면 소금이 다 떨어집니다.
TokenTrace 방법:
1. 재료 준비 단계 (텍스트): "고양이"라는 단어와 "반 고흐 스타일"이라는 단어를 섞기 전에, 각 단어에 **보이지 않는 마법 가루 (비밀 키)**를 살짝 뿌립니다.
2. 반죽 단계 (잠재 공간): 반죽을 섞을 때 (초기 노이즈), 각 재료에 맞는 특수한 향신료를 섞어 넣습니다.
3. 완성: 이렇게 만들어진 요리는 겉보기에는 일반 요리와 똑같지만, 안에는 각 재료마다 고유한 '비밀 신호'가 깊이 배어 있습니다.

이 방식의 핵심은 서명을 그림의 '표면'이 아니라, 그림이 만들어지는 '의미 (텍스트)'와 '구조 (반죽)' 속에 함께 녹여낸다는 점입니다. 그래서 그림을 자르거나 변형해도 그 신호는 사라지지 않습니다.

3. 어떻게 찾아낼까? "질문하는 탐정"

그림에서 비밀을 찾아내는 과정은 **질문 (Query)**을 통해 이루어집니다.

기존 방법: 그림을 보고 "이게 누구 스타일이야?"라고 막연하게 추측합니다.
TokenTrace 방법:
- 탐정 (시스템) 이 그림을 들고 **"여기 '고양이'의 비밀 키가 있니?"**라고 묻습니다.
- 시스템은 그림을 분석하며 "네, 여기 '고양이'의 비밀 키가 있어요!"라고 답하고, 그 키를 꺼냅니다.
- 그다음 **"그럼 '반 고흐 스타일'의 키는?"**라고 다시 묻습니다.
- 시스템은 다시 "네, 여기 있어요!"라고 답하며 두 번째 키를 꺼냅니다.

이처럼 "무엇을 찾을지 질문을 던지는 방식" 덕분에, 한 장의 그림에 여러 가지 개념이 섞여 있어도 서로 섞이지 않고 각각을 정확히 찾아낼 수 있습니다.

4. 왜 이 기술이 특별한가?

구분 능력 (Disentanglement): 한 장의 그림에 '고양이'와 '스타일'이 섞여 있어도, 각자의 서명을 따로 찾아냅니다. 마치 한 병에 섞인 콩과 쌀을 각각 따로 꺼내는 것과 같습니다.
튼튼함 (Robustness): 그림을 자르거나, 압축하거나, 필터를 씌워도 서명이 살아남습니다. 왜냐하면 서명이 그림의 '뼈대'와 '영혼'에 박혀 있기 때문입니다.
화질 유지: 그림에 서명을 넣었다고 해서 화질이 나빠지거나 뭉개지지 않습니다. 눈으로 보기엔 원본과 똑같습니다.

5. 요약: TokenTrace 의 핵심 메시지

"그림이 만들어질 때, 각 요소 (개념) 마다 고유한 비밀 서명을 숨겨두세요. 그리고 나중에 '무엇을 찾을지' 질문만 하면, 그 서명을 정확히 찾아내어 저작권을 증명하세요."

이 기술은 AI 가 만든 예술 작품의 저작권을 보호하고, 창작자의 노고를 인정받을 수 있는 강력한 도구가 될 것입니다. 마치 AI 그림이 자신의 '출생증명서'를 가지고 다니는 것과 같습니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Statement)

생성형 AI 모델 (특히 텍스트 - 이미지 확산 모델) 의 급부상으로 인해 지적재산권 (IP) 침해 문제가 심각해지고 있습니다. 예술가의 고유한 스타일이나 개념이 허가 없이 복제되는 것을 방지하기 위해 '프로액티브 (Proactive)' 워터마킹이 필수적입니다. 그러나 기존 워터마킹 기술은 다음과 같은 한계를 가지고 있습니다.

복합 개념 (Multi-Concept) 의 분리 불가: 생성된 이미지가 여러 개념 (예: 특정 객체 + 특정 예술 스타일) 이 결합된 경우, 기존 방법은 단일 전체 워터마크를 사용하므로 각 개념을 개별적으로 분리하여 귀속 (Attribution) 하는 데 실패합니다.
신호 간섭 및 공간적 중첩: 픽셀 도메인 (Pixel-domain) 기반 방법은 변환 (압축, 자르기 등) 에 약하며, 잠재 공간 (Latent-space) 기반 방법도 단일 워터마크를 사용하므로 중첩된 개념을 구별하지 못합니다.
정밀한 검색 부재: 특정 개념 (예: "이 이미지의 스타일만 확인") 을 대상으로 한 타겟팅된 검색 메커니즘이 부족합니다.

2. 방법론 (Methodology)

저자들은 TokenTrace라는 새로운 프로액티브 워터마킹 프레임워크를 제안합니다. 이 방법은 워터마크를 이미지 생성 과정의 초기 단계인 의미론적 (Semantic) 및 잠재 (Latent) 도메인에 동시에 주입하는 이중 조건부 (Dual-Conditioning) 전략을 핵심으로 합니다.

A. 개념 인코딩 (Concept Encoding)

워터마크 (비트 시크릿, $S$ ) 를 생성 과정에 심는 두 가지 병렬 네트워크를 사용합니다.

Concept Encoder ( $f_{enc}$ ): 특정 개념 토큰 (예: <sks-object>) 의 임베딩을 교란 (Perturb) 합니다. 사용자 프롬프트 임베딩 중 대상 개념 토큰만 선택적으로 수정하여 $\hat{e}_c$ 를 생성합니다.
Secret Mapper ( $f_{map}$ ): 시크릿 $S$ 를 입력받아 구조화된 가우시안 노이즈 패턴을 생성하고, 이를 확산 모델의 초기 잠재 노이즈 ( $z_T$ ) 에 더하여 $\hat{z}_T$ 를 만듭니다.

결과: 수정된 프롬프트 임베딩 ( $\hat{E}_{prompt}$ ) 과 수정된 노이즈 ( $\hat{z}_T$ ) 를 확산 모델에 입력하여 워터마크가 심어진 이미지 ( $I_{wm}$ ) 를 생성합니다. 이 방식은 워터마크를 이미지의 구조와 텍스트 의미에 깊이 통합시킵니다.

B. 개념 디코딩 (Concept Decoding) 및 쿼리 기반 검색

생성된 이미지에서 특정 개념의 워터마크를 찾아내는 쿼리 기반 (Query-based) 모듈을 도입했습니다.

입력: 워터마크가 심어진 이미지 ( $I_{wm}$ ) 와 검색할 개념을 지정하는 텍스트 쿼리 ( $P_{query}$ , 예: "a photo of ").
TokenTrace 모듈:
- 고정된 (Frozen) CLIP 이미지 인코더와 텍스트 인코더를 사용하여 다중 모달 특징을 추출합니다.
- 학습 가능한 프로젝션 레이어와 어텐션 (Attention) 모듈을 통해 이미지 특징과 텍스트 쿼리를 융합합니다.
- 융합된 표현을 통해 해당 개념의 임베딩 ( $\tilde{e}_c$ ) 을 예측합니다.
비밀 복호화: 예측된 임베딩을 선형 네트워크 (Secret Decoder) 를 통해 원래의 비트 시크릿 ( $\tilde{S}$ ) 으로 변환하여 검증합니다.
핵심 메커니즘: 특정 텍스트 쿼리를 통해 특정 개념의 시그니처만 선택적으로 분리하고 검증할 수 있으므로, 여러 개념이 겹친 이미지에서도 개별 개념의 귀속이 가능합니다.

C. 학습 목적 함수 (Training Objective)

네 가지 손실 함수를 가중합하여 최적화합니다.

Cross-Entropy Loss ( $L_{CE}$ ): 예측된 시크릿과 원본 시크릿의 일치도를 높임 (검색 정확도).
Contrastive Style Descriptor Loss ( $L_{CSD}$ ): 워터마크 이미지와 원본 이미지의 고수준 의미적 일관성 유지.
L2 Loss ( $L_{L2}$ ): 픽셀 수준의 차이 최소화 (불가시성).
Regularization Loss ( $L_{reg}$ ): 예측된 개념 임베딩과 원본 임베딩의 유사성 확보.

3. 주요 기여 (Key Contributions)

의미론적 - 잠재 이중 워터마킹: 워터마크를 텍스트 프롬프트와 잠재 노이즈 도메인에 동시에 주입하여 개념의 의미와 직접적으로 연결함으로써, 공간적 중첩 문제를 근본적으로 해결했습니다.
쿼리 기반 다중 개념 분리 모듈: 단일 이미지에서 텍스트 쿼리를 통해 특정 개념 (객체 또는 스타일) 을 선택적으로 분리하고 독립적으로 검증할 수 있는 메커니즘을 최초로 제안했습니다.
성능 및 확장성: 단일 개념 (스타일, 객체) 및 복합 개념 (객체 + 스타일) 모두에서 기존 최첨단 (SOTA) 방법들을 압도하는 성능을 달성하면서도, 높은 시각적 품질과 변환에 대한 강건함을 유지했습니다.

4. 실험 결과 (Results)

단일 개념 귀속 (WikiArt, ImageNet):
- 스타일: Attribution Accuracy 91.67% (기존 최강인 CustomMark 89.25% 대비 우위).
- 객체: Attribution Accuracy 90.43% (기존 ProMark 87.30% 대비 우위).
- 비트 정확도 (Bit Accuracy) 또한 95% 이상으로 매우 높게 나타났습니다.
다중 개념 귀속 (Multi-Concept Attribution):
- 객체와 스타일이 결합된 이미지에서 TokenTrace 는 **88.62%**의 정확도를 보였으며, 프롬프트 가중치를 적용한 TokenTraceP 는 **90.53%**로 CustomMark(85.14%) 를 크게 앞섰습니다.
- 4 가지 일반 개념이 결합된 복잡한 프롬프트에서도 TokenTraceP 는 **86.08%**의 정확도로 기존 방법 (72.78%) 을 압도했습니다.
강건성 (Robustness): 회전, JPEG 압축, 크롭, 가우시안 노이즈, 적대적 공격 (Adversarial Attack) 등 다양한 변형 후에도 80% 이상의 높은 정확도를 유지했습니다.
시각적 품질: 워터마크가 삽입된 이미지의 FID 점수는 14.98 로, 픽셀 기반 방법 (ProMark, 17.63) 에 비해 원본 이미지 품질을 훨씬 잘 보존했습니다.
순차 학습 (Sequential Learning): 기존 모델을 재학습 없이 10% 만 추가 학습하여 새로운 개념을 추가할 수 있어 확장성이 뛰어났습니다.

5. 의의 및 결론 (Significance)

TokenTrace 는 생성형 AI 시대의 지적재산권 보호를 위한 획기적인 솔루션을 제시합니다.

개념 단위 귀속의 실현: 단순히 "이 이미지가 AI 로 생성됨"을 확인하는 것을 넘어, **"이 이미지의 어떤 특정 스타일이나 객체가 누구의 IP 인지"**를 개별적으로 증명할 수 있게 되었습니다.
실용성: 높은 시각적 품질을 유지하면서도 다양한 이미지 변형에 강건하여, 실제 창작 환경 (예술, 디자인 등) 에 적용 가능한 실용적인 기술입니다.
미래 지향성: 생성형 모델의 복잡한 조합 (Composition) 능력을 해치지 않으면서도, 생성된 콘텐츠의 출처를 투명하게 추적할 수 있는 새로운 패러다임을 제시했습니다.

TokenTrace: Multi-Concept Attribution through Watermarked Token Recovery