🤖 machine learning

Traceable Black-box Watermarks for Federated Learning

이 논문은 연합 학습(Federated Learning) 환경에서 모델 유출을 추적하기 위해, 모델 파라미터 공간을 주 작업 영역과 워터마크 영역으로 분리하여 각 클라이언트마다 고유한 블랙박스 워터마크를 삽입하는 서버 측 방식인 **TraMark**를 제안합니다.

원저자: Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

게시일 2026-02-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 배경: "비밀 레시피 공유 프로젝트" (연합 학습)

여러 명의 요리사(클라이언트)가 각자의 주방에서 자신만의 비밀 재료(개인 데이터)를 공개하지 않으면서, 다 함께 세상에서 가장 맛있는 '만능 소스'(글로벌 모델)를 만드는 프로젝트를 한다고 상상해 보세요.

요리사들은 각자 자기 주방에서 소스를 조금씩 만들어보고, 그 **'맛의 비결(모델 업데이트)'**만 중앙의 총괄 셰프(서버)에게 보냅니다. 총괄 셰프는 이 비결들을 모아서 하나의 완벽한 만능 소스 레시피를 완성하죠.

문제는 여기서 발생합니다. 만약 어떤 요리사가 이 만능 소스 레시피를 몰래 훔쳐서 다른 식당에 팔아버린다면 어떻게 될까요? 이 레시피가 우리 프로젝트에서 나온 것인지, 아니면 다른 곳에서 만든 것인지 증명하기가 매우 어렵습니다.

2. 기존의 문제점: "가짜 지문과 섞여버린 흔적"

기존에는 이 레시피에 '지문'을 남기려는 시도들이 있었습니다. 하지만 두 가지 큰 문제가 있었죠.

화이트박스 방식 (투명한 지문): 레시피의 글자 하나하나를 아주 미세하게 바꿔서 지문을 남기는 방식입니다. 하지만 범인을 잡으려면 레시피의 모든 글자를 하나하나 대조해봐야 합니다. 범인이 레시피를 사진으로 찍어서 보여주기만 한다면(블랙박스 상황), 글자를 직접 볼 수 없으니 지문을 확인할 방법이 없습니다.
지문 섞임 현상: 여러 요리사의 비결을 섞다 보면, 각자가 가진 고유한 지문들이 서로 뒤섞여서 누구의 것인지 알 수 없게 되어버립니다.

3. 해결책: "TraMark - 요리사별 전용 비밀 양념 칸"

이 논문에서 제안하는 TraMark는 아주 기발한 방법을 사용합니다.

비유: "레시피의 숨겨진 구역 만들기"

총괄 셰프는 만능 소스 레시피를 만들 때, 레시피의 아주 일부분(예: 아주 작은 글씨로 된 구석진 칸)을 **'비밀 양념 구역'**으로 지정합니다.

구역 나누기: 레시피를 '맛을 결정하는 핵심 구역'과 '지문을 새기는 비밀 구역'으로 딱 나눕니다.
개인 맞춤형 레시피: 총괄 셰프는 모든 요리사에게 똑같은 레시피를 주는 게 아니라, **각 요리사에게만 보이는 '개인용 비밀 양념'**을 구석진 칸에 살짝 넣어줍니다.
- A 요리사에게는 "소금 한 꼬집"이라는 비밀 코드를,
- B 요리사에게는 "후추 한 꼬집"이라는 비밀 코드를 넣어주는 식이죠.
섞이지 않는 마법: 다음 단계에서 요리사들의 비결을 모을 때, '맛을 결정하는 핵심 구역'은 다 같이 섞어서 더 맛있게 만들지만, '비밀 양념 구역'은 섞지 않고 각자의 것을 그대로 유지합니다. 덕분에 지문이 서로 엉키지 않습니다.

4. 결과: "범인은 바로 너!" (추적 가능성)

이제 만약 누군가 이 레시피를 훔쳐서 시장에 팔다가 걸렸다고 해봅시다.

경찰(검증자)은 레시피의 내용을 다 알 필요가 없습니다. 그저 **"이 레시피에 '소금 한 꼬집'이라는 특이한 표현이 들어있나?"**라고 물어보기만 하면 됩니다. 만약 그렇다면, "아하! 이건 A 요리사가 가져간 레시피구나!"라고 바로 범인을 지목할 수 있습니다.

이것이 바로 논문에서 말하는 **'블랙박스 추적 가능 워터마크(Traceable Black-box Watermark)'**입니다. 레시피의 속사정(파라미터)을 다 알지 못해도, 결과물(출력값)만 보고 범인을 잡을 수 있는 것이죠.

요약하자면:

무엇을 했나? 연합 학습 모델이 유출되었을 때, 누가 유출했는지 블랙박스 환경(모델 내부를 몰라도 되는 상황)에서도 찾아낼 수 있는 기술을 만들었습니다.
어떻게 했나? 모델의 일부 구역을 '지문 전용 구역'으로 따로 떼어놓고, 각 사용자에게 서로 다른 지문을 심어준 뒤, 모델을 합칠 때 지문이 섞이지 않게 관리했습니다.
왜 좋은가? 모델의 원래 성능(맛)은 거의 떨어뜨리지 않으면서도, 범인을 잡는 능력(추적성)은 매우 강력하고 확실합니다.

[기술 요약] 연합 학습을 위한 추적 가능한 블랙박스 워터마킹 (TraMark)

1. 문제 정의 (Problem Statement)

연합 학습(Federated Learning, FL)은 데이터 프라이버시를 보호하며 모델을 학습시킬 수 있는 강력한 패러다임이지만, 학습된 글로벌 모델의 유출(Model Leakage) 위험이 존재합니다. 악의적인 클라이언트가 모델을 복제하여 불법 유통할 경우, 이를 방지하기 위한 지식재산권(IP) 보호 기술이 필요합니다.

기존 연구들은 다음과 같은 한계점이 있었습니다:

화이트박스(White-box)의 한계: 기존의 파라미터 기반 워터마킹은 모델의 내부 파라미터에 접근해야 하므로, API 형태의 블랙박스 환경에서는 검증이 불가능합니다.
추적성(Traceability)의 부재: 단순히 모델의 소유권을 확인하는 것을 넘어, **"어떤 클라이언트가 모델을 유출했는가?"**를 특정하는 추적 기능이 부족했습니다.
충돌 및 성능 저하: 클라이언트별로 고유한 워터마크를 삽입할 때, 모델 업데이트 과정(Aggregation)에서 워터마크가 섞여버리는 워터마크 충돌(Collision) 현상이 발생하거나, 모델의 본래 작업(Main Task) 성능이 저하되는 문제가 있었습니다.

2. 제안 방법론 (Methodology: TraMark)

본 논문은 블랙박스 환경에서도 소유권 확인과 유출자 추적이 모두 가능한 TraMark를 제안합니다. 핵심 아이디어는 모델의 파라미터 공간을 분리하여 관리하는 것입니다.

① 파라미터 공간의 분할 (Parameter Space Partitioning)

모델의 파라미터를 두 가지 영역으로 나눕니다.

Main Task Region ( $M_m$ ): 모델의 본래 학습 목적(예: 이미지 분류)을 수행하는 영역.
Watermarking Region ( $M_w$ ): 고유한 워터마크를 삽입하기 위한 전용 영역.
이 두 영역은 상호 보완적이며, 워터마크가 본래 모델의 성능을 해치지 않도록 설계되었습니다.

② 마스크 기반 집계 (Masked Aggregation)

기존의 FedAvg 방식은 모든 클라이언트의 업데이트를 평균 내어 워터마크를 뭉개버리지만, TraMark는 다음과 같이 동작합니다.

Main Task 영역: 모든 클라이언트의 업데이트를 평균 내어 지식을 공유합니다.
Watermarking 영역: 각 클라이언트의 고유한 업데이트( $\Delta_i$ )를 그대로 유지하여, 클라이언트마다 서로 다른 워터마크를 가질 수 있도록 합니다. 이를 통해 워터마크 충돌을 방지합니다.

③ 개인화된 워터마크 삽입 (Personalized Watermark Injection)

서버는 각 클라이언트에게 전달할 모델에 대해 서로 다른 **워터마크 데이터셋( $D^w_i$ )**을 준비합니다. 이 데이터셋은 본래 작업과 무관한 Out-of-Distribution(OOD) 샘플(예: MNIST 데이터)을 사용하여, 워터마크가 본래 작업에 영향을 주지 않으면서도 강력하게 각인되도록 합니다.

④ 웜업 학습 (Warmup Training)

모델 학습 초기에는 워터마크를 삽입하지 않고 표준 FL 방식으로 학습하여 모델이 본래 작업에 충분히 숙달되게 합니다. 이후 파라미터의 중요도(Magnitude)를 기준으로 중요도가 낮은 파라미터를 워터마킹 영역으로 지정함으로써 성능 저하를 최소화합니다.

3. 주요 기여 (Key Contributions)

문제의 공식화: 연합 학습 환경에서 '추적 가능한 블랙박스 워터마킹'에 대한 문제를 수학적으로 처음 정의하였습니다.
TraMark 알고리즘 제안: 모델 성능 저하를 최소화하면서도, 블랙박스 환경에서 유출자를 특정할 수 있는 새로운 서버 측 워터마킹 메커니즘을 개발했습니다.
충돌 방지 및 성능 유지: 마스크 기반 집계 방식을 통해 클라이언트 간 워터마크 간섭을 차단하고, 본래 작업 성능 손실을 극도로 낮추었습니다.

4. 실험 결과 (Results)

다양한 데이터셋(FMNIST, CIFAR-10/100, Tiny-ImageNet)과 설정(IID, Non-IID)에서 실험을 진행했습니다.

높은 검증율(Verification Rate, VR): 유출된 모델이 누구의 것인지 찾아내는 VR이 평균 **99.58%**에 달하는 매우 높은 정확도를 보였습니다.
최소한의 성능 저하: 기존 FedAvg 대비 메인 작업 정확도(Main Task Accuracy)의 하락이 평균 **0.54%**에 불과하여 실용성이 매우 높습니다.
강력한 공격 저항성: 모델의 일부를 제거하는 Pruning 공격이나, 모델을 재학습시키는 Fine-tuning 공격에도 워터마크가 쉽게 지워지지 않는 견고함(Robustness)을 입증했습니다.
확장성: 클라이언트 수가 늘어나거나 모델 구조가 복잡해져도(ViT 등) 안정적으로 작동함을 확인했습니다.

5. 의의 (Significance)

TraMark는 연합 학습 시스템에서 발생할 수 있는 모델 유출 및 불법 유통 문제에 대한 실질적인 방어책을 제시합니다. 특히, 모델의 내부 구조를 알 수 없는 블랙박스 상황에서도 유출자를 정확히 추적할 수 있다는 점에서 보안성과 실용성을 동시에 확보한 연구로 평가됩니다. 이는 향후 의료, 금융 등 데이터 프라이버시와 지식재산권 보호가 동시에 중요한 산업 분야의 연합 학습 도입에 크게 기여할 수 있습니다.