기술 요약: FedOT - 연합형 LDM을 위한 워터마크 기반 소유권 검증 및 유출 추적

1. 문제 정의

본 논문은 **연합형 잠재 확산 모델(Federated Latent Diffusion Models, FedLDMs)**의 지식 재산(IP) 보호와 관련된 결정적인 취약점을 다룹니다. 연합 학습(FL)은 원시 데이터를 로컬에 유지함으로써 데이터 프라이버시를 보존하지만, 전역 모델 업데이트를 공유해야 하므로 악의적인 클라이언트에게 모델 아키텍처가 노출될 위험이 있습니다. 이러한 클라이언트는 미세 조정된 모델을 무단으로 배포하거나 재판매할 수 있습니다.

기존의 솔루션들은 FedLDM에 적용될 때 두 가지 근본적인 한계에 직면합니다:

1. 추적 가능성 결여: 현재의 방식은 모델이 특정 연합 그룹에 속하는지(소유권 검증)는 확인할 수 있지만, 유출을 일으킨 구체적인 악의적 클라이언트를 식별할 수는 없습니다.
2. 교체 공격에 대한 취약성: 표준 VAE 기반 워터마크 기술은 연합 학습 환경에서 취약합니다. 클라이언트는 일반적으로 U-Net 파라미터만 업데이트하고 VAE는 고정된 상태로 두기 때문에, 악의적인 클라이언트는 워터마크가 삽입된 VAE 디코더를 깨끗한 오픈 소스 대응물로 간단히 교체할 수 있습니다. 이는 이미지 생성 품질을 저하시키지 않으면서도 워터마크를 제거하여 보호 기능을 무력화합니다.

2. 방법론: FedOT 프레임워크

저자들은 소유권 검증과 유출 추적을 동시에 가능하게 하도록 설계된 최초의 프레임워크인 FedOT를 제안합니다. 이 프레임워크는 청크형 워터마크(Chunked Watermark) 메커니즘과 **잠재 벡터 변환(Latent Vector Transformation, LVT)**이라는 두 가지 핵심 구성 요소로 이루어져 있습니다.

2.1 청크형 워터마크 설계

추적 가능성의 간극을 해결하기 위해, FedOT는 각 클라이언트 모델의 VAE 디코더에 삽입되는 $n$ 비트 길이의 이진 워터마크를 두 개의 별도 세그먼트로 나누어 사용합니다:

• 소유권 세그먼트 ($r$ 비트): 유출된 모델이 연합 그룹에서 기원했는지 확인하는 데 사용되는 공유 접두사(prefix)입니다.
• 추적 세그먼트 ($n-r$ 비트): 각 특정 클라이언트에게 할당된 고유 접미사(suffix)입니다.

워크플로우:

1. 검증: 추출된 워터마크의 첫 $r$ 비트가 그룹의 접두사와 일치하면(임계값 $\tau$ 이상), 소유권이 확인됩니다.
2. 추적: 소유권 검증이 성공적으로 완료된 경우에만 시스템은 나머지 $n-r$ 비트를 분석하여 유출에 책임이 있는 특정 클라이언트 인덱스 $j$를 식별합니다. 이 2단계 프로세스는 대규모 배포 시 효율성을 높입니다.

2.2 잠재 벡터 변환 (LVT)

VAE 교체 공격에 대응하기 위해, FedOT는 LVT를 도입하여 VAE와 U-Net 사이에 강력한 의존성을 생성합니다. 핵심 통찰은 LDM의 U-Net이 훈련 중에 VAE에 의해 생성된 특정 잠재 분포에 적응한다는 점입니다. 이 분포를 수정함으로써, U-Net은 특정 VAE에 "결속(bound)"됩니다.

LVT 훈련 과정 (2단계):

1. 1단계 (인코더 훈련): 서버는 잠재 벡터 $z$에 적용되는 특정 변환 $T$를 학습하도록 VAE 인코더를 미세 조정합니다. 이때 디코더는 고정됩니다. 인코더는 입력 이미지를 변환된 잠재 공간 $z' = T(z)$로 매핑하는 법을 학습합니다.
2. 2단계 (디코더 훈련): 인코더를 고정합니다. 디코더는 변환된 잠재 공간 $z^*$로부터 이미지를 재구성하도록 미세 조정되어, 실질적으로 역변환 $T^{-1}$을 학습합니다.

변환 전략:
본 논문은 잠재 분포를 이동시키기 위한 세 가지 결정론적 전략을 탐구합니다:

• 이동 (Translation, $FedOT_{tran}$): 잠재 공간에 상수 벡터 $c$를 더합니다 ($z' = z + c$).
• 미러링 (Mirror, $FedOT_{mir}$): 잠재 벡터를 반전시킵니다 ($z' = -z$).
• 네거티브 (Negative, $FedOT_{neg}$): 인코딩 전 입력 이미지에 대해 픽셀 단위 반전($x^- = 1-x$)을 적용하여, 잠재 공간이 이 반전된 매니폴드(manifold)에 적응하도록 강제합니다.

보안 메커니즘:
악의적인 클라이언트가 워터마크가 삽입된 VAE를 깨끗한 VAE로 교체하면, (변환된 분포에 대해 훈련된) U-Net은 불일치하는 잠재 공간으로부터 입력을 받게 됩니다. 이는 이미지 합성 품질의 심각한 저하를 초러하며, 결과적으로 도난당한 모델을 사용할 수 없게 만들어 교체 공격을 억제합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. FedLDM을 위한 최초의 프레임워크: FedOT는 연합형 잠재 확산 모델을 위해 소유권 검증과 특정 클라이언트 유출 추적을 모두 가능하게 하는 최초의 시스템입니다.
2. 강력한 구성 요소 결합: 제안된 LVT는 VAE와 U-Net 사이의 강력한 의존성을 구축합니다. 이는 VAE 교체를 통한 워터마크 제거가 이미지 품질의 심각한 저하를 초래하도록 보장하여, 비용이 들지 않는 교체 공격(zero-cost replacement attacks)을 효과적으로 무력화합니다.
3. 포괄적인 평가: 저자들은 VAE 교체, 모델 정화(깨끗한 데이터로 미세 조정), 이미지 기반 공격 등 다양한 공격에 대한 광범위한 실험을 제공하여 프레임워크의 신뢰성을 입증했습니다.

4. 실험 결과

실험은 Stable Diffusion v2.1을 사용하여 COCO2017(LVT/워터마크 훈련용) 및 LAION-10K(연합 미세 조정용) 데이터셋을 통해 수행되었습니다.

• 교체 공격에 대한 방어:
  • 베이스라인 방법들(Stable Signature* 및 LVT가 없는 FedOT)은 VAE 교체 후 이미지 품질(FID) 저하가 거의 없었으며, 워터마크도 감지되지 않았습니다.
  • LVT를 포함한 FedOT: 모든 LVT 변형은 교체 시 상당한 FID 증가(품질 저하)를 유발했습니다.
    • $FedOT_{neg}$는 가장 좋은 균형을 보여주었습니다: 깨끗한 상태에서는 높은 생성 품질을 유지하면서도, 교체 시 FID가 약 20포인트(약 20.3에서 40.5로) 상승했습니다.
    • $FedOT_{mir}$는 가장 심각한 의미론적 붕괴(CLIP-Score -0.064 감소)를 일으켜, 생성된 콘텐츠를 사실상 사용 불가능하게 만들었습니다.
• 소유권 및 추적 성능:
  • FedOT는 소유권 검증과 클라이언트 추적 모두에서 높은 탐지율(>0.96)과 비트 정확도(>0.94)를 달s성했습니다.
  • 청크형 워터마크 설계 덕분에 필요할 때만 효율적인 추적이 가능했습니다.
• 강건성:
  • 정화 공격 (Purification Attacks): 깨끗한 데이터로 모델을 300 에포크 동안 미세 조정해도 이미지 품질을 저하시키지 않고 워터마크를 제거하는 데 실패했습니다(FID가 크게 상승함).
  • 연합 조건: 서로 다른 클라이언트 수(5, 10, 20) 및 비-IID 데이터 분포(Dirichlet $\alpha$) 환경에서도 성능이 안정적으로 유지되었습니다.

5. 의의 및 주장

본 논문은 FedOT를 프라이버시 보존형 연합 환경 내에서 생성형 AI를 보호하기 위한 필수적인 진화 단계로 규정합니다. 저자들의 주장은 다음과 같습니다:

• 기존의 FL 워터마킹 솔루션은 구조적 차이와 고정된 VAE의 특수한 취약성 때문에 LDM과 같은 복잡한 생성 모델에는 불충분합니다.
• LVT에 의해 도입된 **트레이드오프(trade-off)**는 의도적이고 효과적인 보안 기능입니다: 워터마크를 제거하는 비용은 모델의 효용성을 파괴하는 것입니다. 이는 공격자에게 공격을 비실용적으로 만듭니다.
• 본 프레임워크는 단순한 소유권 검증을 넘어 **소스 추적(source tracing)**으로 나아감으로써, 연합 그룹이 모델 유출에 책임을 물을 수 있는 특정 클라이언트를 식별할 수 있게 하여 기존 문헌의 중요한 공백을 메웁니다.

저자들은 결론적으로 FedOT가 분산된 훈련 환경에서도 지식 재산권을 유지할 수 있도록 FedLDM을 보호하는 신뢰할 수 있는 메커니즘을 제공한다고 밝히고 있습니다.