기술 요약: 무작위 코드를 활용한 플로우 매칭 모델의 동역학 수준 워터마킹

1. 문제 제기

이 논문은 생성 모델, 특히 플로우 매칭 (Flow Matching) 모델에 대한 견고하고 검증 가능한 소유권 보호의 필요성을 다룹니다. 기존 워터마킹 패러다임은 다음과 같은 특정 한계를 겪고 있습니다:

• 출력 수준 (Output-level) 방법: 생성된 샘플에 신호를 임베딩하지만, 사후 처리를 통해 제거될 수 있으며 모델 자체의 소유권을 증명하지 못합니다.
• 가중치 수준 (Weight-level) 방법: 매개변수에 비트를 임베딩하지만 화이트박스 접근이 필요하며, 파인튜닝이나 가지치기에 취약합니다.
• 행동 수준 (Behavior-level, 백도어) 방법: 블랙박스 검증을 지원하지만 종종 가시적인 아티팩트나 통계적 불규칙성을 도입하거나 강력한 암호학적 키를 제공하지 못합니다 (트리거가 발견되면 검증이 trivial 해짐).

더욱이, 이전 연구 중 생성 과정의 **학습된 연속 동역학 (velocity field)**에 워터마크를 직접 임베딩한 사례는 없습니다. 저자들은 다음과 같은 핵심 질문을 제기합니다: 검출이 블랙박스 접근만 필요하고, 생성 품질이 유지되며, 비밀 키 없이는 복구가 불가능하도록, 플로우 매칭 모델의 속도장에 검증 가능하고 키가 지정된 다중 비트 메시지를 직접 임베딩할 수 있는가?

2. 방법론

핵심 개념: 운송 동역학에 대한 무작위 코딩

저자들은 워터마킹을 연속 채널에 대한 무작위 코딩으로 공식화합니다. 가중치나 출력을 수정하는 대신, 학습된 속도장 $v_\theta(x, t)$ 를 고차원 연속 채널로 간주합니다. 메시지는 이 속도장에 **키 의존적 섭동 (key-dependent perturbation)**을 추가하여 임베딩됩니다.

워터마크 신호의 구성

워터마크 신호 $s_{K,m}(x, t)$ 는 세 가지 조건을 만족하도록 구성됩니다: 품질 유지를 위한 시간 평균 0, 메시지 분리를 위한 근사 직교성, 그리고 에너지 정규화.

• 키 ($K$): 준직교 투영 행렬 $P \in \mathbb{R}^{D \times k}$ 와 $\mathbb{R}^k$ 내 단위 벡터들의 코드북 $C = \{c_m\}$ 으로 구성됩니다.
• 신호 정의: 메시지 $m$ 에 대해 신호는 다음과 같이 정의됩니다:
  $$s_{K,m}(x, t) = \sin(2\pi t) \cdot P c_m$$
  여기서 $P c_m$ 은 코드워드를 속도 공간에 임베딩하고, $\sin(2\pi t)$ 는 시간적 캐리어 역할을 합니다.
• 평균 0 특성: $t \in [0, 1]$ 구간에서 $\sin(2\pi t)$ 의 적분은 0 입니다. 결과적으로 섭동은 임의의 생성 궤적을 따라 적분 시 0 이 되어, 생성된 샘플의 말단 분포를 이론적으로 보존합니다.

훈련 절차 (임베딩)

플로우 매칭 훈련 중 모델은 결합 손실 함수를 최소화하도록 최적화됩니다:

1. 속도 손실 ($L_{vel}$): 모델의 속도 $v_\theta$ 를 워터마크된 목표 $\tilde{v} = u + \epsilon_0 s_{K,m}$ 에 대해 회귀시킵니다. 여기서 $u$ 는 표준 조건부 속도입니다.
2. 워터마크 손실 ($L_{wm}$): 복조된 투영 ($\sin(2\pi t) P^T v_\theta$) 이 목표 코드워드 $c_m$ 과 정렬되도록 모델이 보상받는 정규화 항입니다.

이론적 분석에 따르면, 이 목적 함수 하에서 최적 예측기는 $\epsilon_0 + \lambda/2$ 의 유효 워터마크 강도를 포함합니다.

검출 절차 (블랙박스)

검출은 모델의 속도장에 대한 쿼리 접근만 필요합니다.

1. 쿼리: 검출기는 $N$ 개의 무작위 점 $(x_i, t_i)$ 를 샘플링하고 모델에 대해 속도 $v(x_i, t_i)$ 를 쿼리합니다.
2. 동기 복조: 검출기는 속도를 잠재 코드 공간 ($P^T v$) 으로 투영하고 시간적 캐리어 $\sin(2\pi t_i)$ 와 곱합니다.
3. 평균화: 결과를 평균화하여 서명 $\hat{s}$ 를 추정합니다.
4. 디코딩: 코드북에서 $\hat{s}$ 와의 상관관계를 최대화하는 코드워드 $c_m$ 을 찾아 메시지를 복원합니다.

보안 및 용량

• 보안: 비밀 키 ($P$ 및 $C$) 가 없으면 공격자는 Grassmann 다양체 $Gr(k, D)$ 상의 부분공간 검색 문제와 부분공간의 기저에 대한 비식별성 문제에 직면합니다. 경험적으로, 잘못된 키로 검출할 경우 무작위 추측 수준의 정확도가 나옵니다.
• 용량: 채널 용량은 투영 차원 $k$ 에 비례하고 쿼리 수 $N$ 에 로그적으로 증가합니다.

3. 주요 기여

1. 동역학 수준 임베딩: 가중치나 출력이 아닌 플로우 매칭 모델의 연속 속도장에 워터마크를 직접 임베딩한 첫 번째 연구입니다.
2. 품질 보존: 궤적을 따라 적분 시 0 이 되는 섭동을 설계하여, 생성 분포가 워터마크가 없는 버전과 통계적으로 구별 불가능하도록 보장합니다.
3. 키 기반 보안: 검출과 메시지 복구가 투영 행렬 및 코드북과 같은 비밀 키를 엄격히 요구하는 방식을 구현했습니다. 키가 없으면 정확도가 무작위 추측 수준으로 떨어집니다.
4. 다중 비트 용량: 이진 검증을 넘어선 다중 비트 메시지를 지원하도록 코드북 구성을 활용하여, 소유자 식별 및 배신자 추적과 같은 응용을 가능하게 했습니다.
5. 실증적 검증: MLP 및 UNet 아키텍처를 사용하여 MNIST 와 CIFAR-10 에서 방법을 검증했습니다.

4. 실험 결과

저자들은 다양한 설정 (MNIST/CIFAR-10, MLP/UNet, 다양한 훈련 단계) 에서 방법을 평가했습니다.

• 검출 정확도: 워터마크된 모델은 모든 테스트 구성에서 100% 메시지 복구를 달성했습니다. 클린 모델 (워터마크 없음) 은 0% 의 오탐 (한 가지 특정 사례에서는 2.5% 로 무작위 추측 기준인 3.1% 미만) 을 보였습니다.
• 키 기반 보안: 무작위 투영 행렬 (잘못된 키) 을 사용한 공격은 50 회 중 0 회 정확한 복구를 보여 무작위 추측률과 일치했습니다.
• 통계적 분리: 워터마크된 모델과 클린 모델 서명 간의 분리는 유의미했으며, 최소 분리는 8.4$\sigma$를 초과했습니다 (일부 설정에서는 최대 25.5$\sigma$).
• 품질 보존: 워터마크된 모델과 클린 모델 간의 Fréchet Inception Distance (FID) 비율은 1.0$\times$에 근접하게 유지되었습니다 (0.95$\times$에서 1.10$\times$ 범위). 일부 경우 워터마크된 모델이 약간 더 낮은 FID 를 보였는데, 이는 워터마크 자체가 아닌 무작위 훈련 변동으로 귀결되었습니다.
• 지속성: 훈련을 10,000 단계로 확장해도 워터마크 복구가 저하되지 않았습니다.

5. 중요성 및 주장

이 논문은 동역학 수준 워터마킹이 다음과 같은 분야에 견고한 기반을 제공한다고 주장합니다:

• 모델 소유권 검증: 블랙박스 쿼리를 통해 배포된 모델의 소유권을 증명합니다.
• 배신자 추적: 서로 다른 고객에게 배포된 모델의 특정 사본을 식별합니다.
• 규제 준수: 생성 모델의 출처를 검증합니다.

저자들은 그들의 접근 방식이 학습된 속도장을 연속 통신 채널로 간주한다고 강조하며, 이 관점은 워터마킹을 넘어 유용할 수 있다고 말합니다. 그들은 이 방법이 유망함을 보여주지만, 배포 규모 평가와 채널 용량의 엄격한 유한 표본 분석은 향후 과제로 남겨두었다고 명시적으로 밝혔습니다. 이 논문은 모든 생성 모델 계열에 대한 워터마킹을 해결한다고 주장하지는 않지만, 구체적으로 플로우 매칭 프레임워크 내에서 유효성을 입증합니다.