Protecting Deep Neural Network Intellectual Property with Chaos-Based White-Box Watermarking

1. 문제 제기 (Problem Statement)

• 배경: 컴퓨터 비전, 자연어 처리 등 다양한 분야에서 심층 신경망 (DNN) 의 활용이 급증함에 따라, 훈련된 모델은 데이터, 연산 자원, 전문성 등 막대한 투자가 이루어진 귀중한 지식재산 (IP) 이 되었습니다.
• 도전 과제: DNN 모델은 가중치 파일이나 직렬화된 그래프로 쉽게 복사, 재배포, 재사용될 수 있어 소유권 주장과 모델 오용 방지가 어렵습니다.
• 기존 기술의 한계:
  • 많은 기존 워터마킹 기법은 학습 파이프라인을 수정하거나 추가 손실 함수를 도입해야 하므로, 기존에 배포된 모델 (레거시 모델) 에 적용하기 어렵습니다.
  • 단순한 정적 신호를 사용하는 경우 미세 조정 (Fine-tuning) 이나 프루닝 (Pruning) 과 같은 후처리 공격에 취약합니다.
  • 블랙박스 (Black-box) 방식은 취약점이 많고, 화이트박스 (White-box) 방식 중에서도 정확도와 견고성을 동시에 만족하는 효율적인 방법이 부족합니다.

2. 제안 방법론 (Methodology)

이 논문은 혼돈 이론 (Chaos Theory) 과 유전 알고리즘 (Genetic Algorithm, GA) 을 결합한 새로운 화이트박스 워터마킹 프레임워크를 제안합니다.

A. 워터마킹 생성 및 임베딩 (Embedding Phase)

1. 혼돈 시퀀스 생성: 로지스틱 맵 (Logistic Map) 을 사용하여 결정적이지만 예측 불가능한 혼돈 시퀀스를 생성합니다.
   • 수식: $x_{n+1} = r \cdot x_n \cdot (1 - x_n)$
   • 비밀 키 (Secret Key): 제어 매개변수 $r$, 초기값 $x_0$, 스케일링 인자 $\epsilon$ (워터마크 강도 조절).
2. 가중치 임베딩: 사전 훈련된 DNN 의 선택된 중간 레이어 (Intermediate Layer) 의 가중치에 생성된 혼돈 시퀀스를 미세하게 추가합니다.
   • 수식: $w'_i = w_i + \epsilon \cdot c_i$ ($c_i$는 혼돈 시퀀스 값)
   • 이 과정은 모델 구조를 변경하지 않으며, 학습 과정을 다시 시작하지 않고도 가능합니다.
3. 파인튜닝 (Fine-tuning): 워터마크 임베딩 후 원래 학습 데이터로 모델을 미세 조정하여 정확도 저하를 최소화하고 워터마크를 안정화합니다.

B. 워터마크 검증 (Verification Phase)

소유권 확인을 위해 유전 알고리즘을 활용한 역추적 방식을 사용합니다.

1. 신호 추출: 의심스러운 모델의 가중치와 원본 (또는 참조) 워터마크 모델의 가중치 차이를 계산하여 워터마크 신호 ($\Delta W$) 를 추출합니다.
2. 유전 알고리즘 (GA) 최적화: 추출된 신호와 가장 유사한 혼돈 시퀀스를 생성하는 매개변수 ($r, x_0, \epsilon$) 를 GA 를 통해 탐색합니다.
   • 적합도 함수 (Fitness Function): 추출된 시퀀스와 재생성된 시퀀스 간의 평균 제곱 오차 (MSE) 와 상관관계 (Correlation) 를 기반으로 점수를 매깁니다.
   • 연산: 토너먼트 선택, 블렌드 크로스오버, 가우시안 돌연변이, 엘리티즘 (Elitism) 전략을 사용하여 매개변수 공간을 효율적으로 탐색합니다.
3. 소유권 판정: GA 를 통해 최적화된 매개변수가 원본 키와 일치하면 소유권 검증 성공으로 간주합니다.

C. 보조 검증 기법

• 가중치 밀도 분석 (Weight Density Analysis): 워터마크가 임베딩된 모델과 무작위 워터마크 모델 간의 가중치 분포 차이를 시각화하여 워터마크 존재 여부를 육안으로 확인합니다.
• 활성화 기반 분류 (Activation-based Classification): 모델의 내부 활성화 패턴을 로지스틱 회귀 분류기에 입력하여 원본, 워터마크, 변조 모델을 구분합니다.

3. 주요 기여 (Key Contributions)

1. 가벼운 화이트박스 워터마킹: 학습 파이프라인 수정 없이 사전 훈련된 모델의 중간 레이어 가중치에 혼돈 시퀀스를 최소한의 교란으로 주입하는 경량 기법 제안.
2. 강건한 검증 프레임워크: 유전 알고리즘을 활용하여 미세 조정이나 노이즈가 발생한 모델에서도 원본 혼돈 매개변수를 성공적으로 복원하는 검증 메커니즘 도입.
3. 성능 유지: 워터마크 임베딩 후 파인튜닝을 수행하여 모델의 예측 정확도 (Fidelity) 를 유지하면서도 워터마크를 견고하게 만듦.
4. 다층적 검증 전략: 수치적 매개변수 복원뿐만 아니라, 가중치 분포 시각화와 활성화 기반 분류기를 결합하여 검증의 신뢰성과 해석 가능성을 높임.

4. 실험 결과 (Results)

MNIST 와 CIFAR-10 데이터셋을 사용하여 이미지 분류 작업을 기준으로 실험을 수행했습니다.

• 정확도 유지 (Fidelity): 워터마크 임베딩 후 모델의 정확도 저하는 미미하거나 (CIFAR-10), 오히려 정규화 효과로 인해 약간 향상되기도 했습니다 (MNIST).
• 검증 정확도:
  • 소유권 확인: 워터마크가 포함된 모델에서 GA 를 통해 원본 매개변수 ($r, x_0, \epsilon$) 를 매우 높은 정확도로 복원했습니다 (오차 범위 내).
  • 거짓 긍정 방지: 무작위 매개변수로 워터마크가 임베딩된 모델에서는 GA 가 원본 매개변수를 복원하지 못하여, 소유권을 부정확하게 주장하는 것을 방지했습니다.
• 강건성 (Robustness):
  • 미세 조정 공격: 공격자가 모델을 미세 조정 (Fine-tuning) 하여 워터마크를 제거하려 했을 때, GA 기반 검증은 여전히 성공적으로 워터마크를 식별하고 매개변수를 복원했습니다.
  • 분류 성능: 로지스틱 회귀 분류기는 MNIST 에서 99.9% 이상, CIFAR-10 에서 매우 높은 정확도로 워터마크 유무를 판별했습니다.

5. 의의 및 한계 (Significance & Limitations)

의의:

• 실용성: 기존 학습 데이터나 재학습 없이도 배포된 모델에 IP 보호를 적용할 수 있어 실용적입니다.
• 보안성: 혼돈 시스템의 초기 조건 민감성과 유전 알고리즘의 전역 탐색 능력을 결합하여, 워터마크의 복제나 제거를 어렵게 만듭니다.
• 검증 가능성: 수치적 복원뿐만 아니라 시각적, 통계적 보조 수단을 제공하여 검증 과정을 투명하게 만듭니다.

한계 및 향후 과제:

• 화이트박스 의존성: 모델 내부 가중치 접근이 필요하므로, API 기반 서비스 (MLaaS) 등 블랙박스 환경에는 적용이 어렵습니다.
• 아키텍처 제한: 현재 CNN 기반 이미지 분류 모델에 국한되어 검증되었으며, Transformer 나 RNN 등 다른 아키텍처에 대한 검증은 필요합니다.
• 계산 비용: 유전 알고리즘을 사용한 매개변수 복원 과정은 검증 시 계산 비용이 발생할 수 있습니다.
• 다중 비트 부호화 부재: 현재는 연속적인 혼돈 시퀀스만 임베딩하며, 이진 데이터나 복잡한 메타데이터를 직접 인코딩하는 기능은 지원하지 않습니다.

결론적으로, 이 논문은 DNN 의 지식재산권 보호를 위해 혼돈 이론과 진화 연산을 효과적으로 결합한 강력한 화이트박스 워터마킹 솔루션을 제시하며, 미세 조정과 같은 현실적인 공격에도 견고한 성능을 입증했습니다.