RandMark: On Random Watermarking of Visual Foundation Models

이 논문은 시각 기반 모델의 지적 재산권을 보호하기 위해 입력 이미지의 내부 표현에 무작위 디지털 워터마크를 임베딩하여 모델 소유권을 검증하는 새로운 방법을 제안하고, 이론적·실험적 검증을 통해 그 정확성을 입증합니다.

핵심

🎨 1. 문제 상황: 거대한 '레시피'를 훔친 도둑들

상상해 보세요. 어떤 요리사가 수년 동안 고가의 재료와 시간을 들여 **세계 최고의 소스 레시피 (AI 모델)**를 개발했다고 칩시다. 이 레시피는 매우 훌륭해서, 어떤 요리에 넣어도 맛이 일품입니다.

하지만 이 레시피를 가진 요리사는 걱정됩니다.

• "누군가 이 레시피를 몰래 베껴서 다른 식당에서 팔아먹으면 어떡하지?"
• "내가 만든 소스를 조금만 변형해서 내 것이라고 주장하는 도둑을 어떻게 잡지?"

기존의 방법은 레시피 책 (모델) 자체에 암호를 넣거나, 특정 재료 (데이터) 를 섞는 것이었는데, 도둑이 레시피를 조금만 고쳐서 (파인튜닝) 쓰면 암호가 사라지거나, 반대로 다른 사람의 레시피를 내 것으로 오인하는 경우가 많았습니다.

🔍 2. 해결책: '랜덤 마크 (RandMark)'란 무엇인가?

이 논문에서 제안하는 RandMark는 레시피 책에 직접 암호를 넣는 것이 아니라, 소스 자체의 '맛의 기억'에 숨겨진 지문을 남기는 방법입니다.

🌟 핵심 비유: "무작위로 섞인 향신료"

이 기술은 다음과 같이 작동합니다:

1. 특수한 향신료 (랜덤 변환): 요리사 (모델 소유자) 는 소스를 만들 때, 특정 재료 (이미지) 에 **매번 조금씩 다른 무작위 향신료 (랜덤 노이즈)**를 뿌립니다.
2. 맛의 기억 (임베딩): 이 향신료가 섞인 소스를 AI 모델이 맛보게 합니다. AI 는 "아, 이 향신료 조합은 내 기억 속에 '내 소유'라는 표시가 있구나!"라고 학습합니다.
3. 지문 추출 (디코더): 나중에 누군가 이 소스를 가져와서 "이건 내 거야!"라고 주장하면, 우리는 그 소스에 다시 같은 무작위 향신료를 뿌려봅니다.
   • 진짜 주인이 만든 소스라면: 향신료의 맛이 원래 기억과 딱 맞아떨어집니다. (지문 확인 O)
   • 도둑이 베낀 소스라면: 향신료의 맛이 엉뚱하게 나옵니다. (지문 확인 X)
   • 완전히 다른 소스라면: 향신료와 전혀 상관없는 맛이 납니다. (지문 확인 X)

🛡️ 3. 왜 이 방법이 특별한가요? (기존 기술과의 차이)

기존의 방법은 마치 **"문서에 도장을 찍는 것"**과 같았습니다. 도둑이 문서를 복사해서 내용을 조금만 고치면 도장이 지워지거나, 다른 문서에 도장이 찍힌 것처럼 보일 수 있었습니다.

하지만 RandMark는 **"소스 자체의 성질을 바꾸는 것"**과 같습니다.

• 강력한 내구성: 도둑이 레시피를 조금 변형하거나 (파인튜닝), 불필요한 재료를 덜어내도 (가지치기/Pruning), 소스의 '기억'은 여전히 남아 있습니다. 마치 소스에 찍힌 지문이 물에 씻겨도 남는 것처럼요.
• 오인 방지: 다른 요리사가 만든 완전히 다른 소스 (다른 AI 모델) 에는 이 지문이 전혀 없습니다. 그래서 "내 소스도 네 거야!"라고 거짓말을 해도 걸러낼 수 있습니다.

📊 4. 실험 결과: 얼마나 잘 작동할까?

연구진은 거대한 AI 모델 (CLIP, DINOv2) 에 이 기술을 적용해 보았습니다.

• 도둑질 시도: AI 모델을 다른 작업 (사진 분류, 음식 분할 등) 에 맞게 변형하거나, 모델을 가볍게 만들기 위해 일부 기능을 잘라내도 지문은 99% 이상 살아남았습니다.
• 거짓 경보: 지문이 없는 다른 AI 모델은 절대 '내 것'으로 오인하지 않았습니다.
• 성능 유지: 지문을 넣는다고 해서 AI 가 원래 하던 일을 못 하는 것은 전혀 없었습니다. (소스 맛이 변하지 않음)

💡 5. 결론: AI 의 '소유권 증명'을 위한 새로운 표준

이 논문은 **"랜덤 마크 (RandMark)"**를 통해 다음과 같은 사실을 증명했습니다.

"AI 모델의 주인은 자신의 모델을 보호하기 위해, 모델의 내부 기억에 무작위적이고 강력한 지문을 남길 수 있다. 도둑이 모델을 변형하거나 복사해도 이 지문은 사라지지 않으며, innocent 한 다른 모델과는 혼동되지 않는다."

마치 명품 가방에 보이지 않는 특수 섬유를 짜넣어, 위조품은 절대 그 섬유를 모방할 수 없게 만드는 것과 같습니다. 이제 AI 모델의 소유권 분쟁은 훨씬 더 명확하고 안전하게 해결될 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 시각적 기초 모델 (Visual Foundation Models, VFMs) 은 대규모 데이터와 고비용 훈련을 통해 학습되므로 귀중한 지적 재산 (IP) 자산입니다. 이러한 모델은 구독 서비스나 라이선스를 통해 배포되지만, 무단 복제, 도용, 또는 서비스 간 불법 통합 등의 위협이 존재합니다.
• 현황: 기존 모델 소유권 보호 기술은 주로 이미지 분류기 (Image Classifiers) 에 초점을 맞춘 '워터마킹 (Watermarking)' 또는 '지문 (Fingerprinting)' 기법입니다.
  • 지문 기법: 모델 파라미터를 변경하지 않고 고유 식별자를 생성하지만, VFMs 의 다양한 하위 작업 (분류, 세그멘테이션 등) 에 적용하기 어렵습니다.
  • 기존 워터마킹: 특정 입력 패턴 (Trigger) 을 사용하여 모델을 조작하지만, VFMs 의 복잡한 아키텍처와 다양한 다운스트림 작업에 대한 적응력이 부족합니다.
• 핵심 문제: VFMs 의 지적 재산을 보호하면서도, 모델의 기능적 성능을 해치지 않고, 미세 조정 (Fine-tuning) 이나 가지치기 (Pruning) 와 같은 공격에도 견고한 소유권 검증 방법을 개발하는 것입니다.

2. 제안 방법론: RandMark (Methodology)

저자들은 RandMark라는 새로운 워터마킹 기법을 제안합니다. 이는 모델의 내부 표현 (Hidden Representation) 에 디지털 워터마크를 임베딩하는 방식입니다.

• 핵심 아이디어:

  • 특정 입력 이미지 집합 (Trigger Set) 에 무작위 변환 (Random Transformations, 예: 노이즈 추가) 을 가합니다.
  • 경량 인코더 (Encoder) 와 디코더 (Decoder) 네트워크를 사용하여, 변환된 이미지의 모델 내부 표현 (Embedding) 에 이진 메시지 (Binary Message) 를 삽입하고 추출합니다.
  • 랜덤성 활용: 입력 이미지에 무작위 노이즈 ($\epsilon \sim N(0, \sigma^2 I)$) 를 추가하여 워터마크를 임베딩합니다. 이로 인해 워터마크 통계가 모델의 기능적 복사본 (Functional Copies) 에서도 감지 가능하게 됩니다.

• 학습 과정:

  • 공동 학습 (Joint Training): 원본 VFM, 인코더, 디코더를 함께 학습합니다.
  • 손실 함수 (Loss Function):
    1. 기능 보존: 워터마킹된 모델의 특징 표현이 원본 모델과 크게 벗어나지 않도록 합니다.
    2. 워터마크 정확도: 추출된 이진 메시지가 임베딩된 메시지와 일치하도록 합니다.
    3. 분산 최소화: 무작위 변환으로 인한 추출 메시지의 변동성을 줄입니다.

• 검증 프로세스:

  • 의심스러운 모델에 대해 미리 정의된 입력 이미지 집합과 무작위 변환을 적용합니다.
  • 디코더를 통해 추출된 메시지 ($m'$) 와 원본 메시지 ($m$) 간의 비트 오류 수 (Hamming Distance) 를 계산합니다.
  • 오류 수가 임계값 ($\tau$) 이하이면 해당 모델은 워터마킹된 모델의 기능적 복사본으로 간주합니다.

3. 주요 기여 (Key Contributions)

1. RandMark 방법론 제안:
   • 기존 분류기 중심의 접근법과 달리, VFMs 의 내부 표현 (Hidden Representations) 에 직접 이진 서명을 임베딩합니다.
   • 다양한 다운스트림 작업 (분류, 세그멘테이션) 에 적용 가능한 범용성을 가집니다.
2. 이론적 증명:
   • 워터마크가 없는 모델을 오검출할 확률 (False Positive) 과 워터마크가 있는 모델을 놓칠 확률 (False Negative) 에 대한 상한선 (Upper Bound) 을 이론적으로 유도했습니다.
   • 무작위성 기반의 워터마크 통계가 기능적 복사본에서도 유지됨을 증명했습니다.
3. 실험적 검증:
   • 최신 VFMs 인 CLIP과 DINOv2를 사용하여 실험했습니다.
   • 미세 조정 (Fine-tuning), 가지치기 (Pruning) 등 다양한 공격 시나리오에서 기존 지문 기법 (ADV-TRA, IPGuard) 보다 월등히 높은 검출률과 견고성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델:
  • 모델: CLIP, DINOv2.
  • 다운스트림 작업: E-commerce 제품 분류, FoodSeg103(음식 세그멘테이션).
  • 워터마크 설정: $N=1000$개의 이미지, $n=32$비트 이진 메시지.
• 성능 평가:
  • 검출률 (Detection Rate): 미세 조정 (분류/세그멘테이션) 및 가지치기 (20%, 40% 제거) 후에도 워터마크를 매우 높은 정확도로 검출했습니다.
  • 거짓 긍정 (False Positive): 워터마크가 없는 독립적인 모델 (다른 아키텍처 등) 에 대해서는 거의 0% 에 가까운 오검출률을 보였습니다.
  • 기존 기법 비교 (Table 2):
    • RandMark: 분류 (0.87), 세그멘테이션 (0.75), 가지치기 (1.00) 에서 높은 검출률을 보임.
    • ADV-TRA/IPGuard: 미세 조정이나 가지치기 후 검출률이 급격히 떨어지거나 (0.00~0.086), 독립 모델까지 오검출하는 경향을 보임.
• 하류 작업 성능 유지:
  • 기존 방법 (Randomized Smoothing 등) 은 워터마크를 유지하기 위해 하류 작업 성능이 크게 저하되었으나, RandMark 는 높은 워터마크 추출 정확도 (0.97~1.00) 와 동시에 우수한 세그멘테이션 성능을 유지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 모델 중립성 (Model Agnostic): 특정 아키텍처에 의존하지 않으며, 한 번 워터마킹을 수행하면 미세 조정된 모델에서도 지속적으로 소유권을 검증할 수 있습니다.
• 실용적 적용 가능성: 고비용으로 훈련된 VFMs 의 지적 재산을 보호할 수 있는 강력한 도구로, 무단 복제 방지 및 라이선스 위반 탐지에 효과적입니다.
• 기술적 혁신: 무작위성 (Randomness) 을 워터마크 통계의 핵심 요소로 활용하여, 모델의 구조적 변경 (가지치기 등) 이나 기능적 변형 (파인튜닝) 에도 강건한 워터마킹 체계를 구축했습니다.

이 논문은 시각적 기초 모델의 지적 재산 보호를 위한 새로운 패러다임을 제시하며, 특히 모델의 기능적 변형에 강인한 워터마킹 기술의 필요성을 충족시킵니다.