💬 NLP

Geometry-Aware Localized Watermarking for Copyright Protection in Embedding-as-a-Service

본 논문은 다운스트림 유용성을 보존하면서 다양한 공격에 대한 저작권 보호를 보장하기 위해 국소적 트리거링과 중앙 집중식 귀속을 분리함으로써 강건성-유용성-검증 가능성의 트레이드오프를 해결하는 임베딩 서비스(Embedding-as-a-Service)를 위한 기하학 인지형 국소 워터마킹 프레임워크인 GeoMark를 제안한다.

원저자: Zhimin Chen, Xiaojie Liang, Wenbo Xu, Yuxuan Liu, Wei Lu

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhimin Chen, Xiaojie Liang, Wenbo Xu, Yuxuan Liu, Wei Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 거대하고 북적이는 도서관이라고 상상해 보세요. 이곳에서 가장 가치 있는 책들은 종이로 만들어진 것이 아니라 '의미'로 이루어져 있습니다. 이 책들은 단어, 이미지, 아이디어를 숫자의 목록으로 변환하는 디지털 지도이며, 이를 통해 컴퓨터는 '고양이'가 '새끼 고양이'와는 비슷하지만 '토스터기'와는 다르다는 것을 이해할 수 있습니다. 기업들은 이처럼 매우 똑똑한 지도인 '임베딩 모델(embedding models)'을 구축하고, 마치 고성능 현미경을 대여해 주는 것처럼 서비스 형태로 제공합니다. 하지만 여기에는 함정이 있습니다. 도둑이 도서관에 몰래 잠입하여 책을 복사한 뒤 자신의 것처럼 팔아넘길 수 있듯이, 해커는 이 디지털 현미경을 속여 그 비밀을 드러내게 할 수 있습니다. 서비스에 수백만 개의 질문을 던지고 그 답변을 기록함으로써, 도둑은 원래 모델의 저렴한 가짜 복제품을 만들어낼 수 있습니다. 이것을 '모델 탈취(model stealing)'라고 부르며, 이는 원래 도구를 만든 사람들의 노력과 자본을 훔치는 아주 큰 문제입니다. 이를 막기 위해 과학자들은 답변 속에 보이지 않는 '워터마크'를 심는 방법을 시도해 왔습니다. 마치 지폐에 새겨진 비밀 낙인처럼 말이죠. 하지만 지금까지 이 낙인들은 까다로웠습니다. 어떤 것은 질문을 다시 쓰면 지워졌고, 어떤 것은 답변의 크기를 바꾸면 깨졌으며, 어떤 것은 실수로 무고한 사람들에게까지 낙인을 찍기도 했습니다.

이 논문은 이러한 디지털 지도를 찍는 새롭고 영리한 방법인 GeoMark를 소개합니다. 디지털 지도를 평평한 종이가 아니라, 유사한 아이디어는 서로 가깝고 서로 다른 아이디어는 멀리 떨어져 있는 거대하고 울퉁불퉁한 3D 지형이라고 생각해 보세요. 이전의 방식들은 지형 전체나 특정 평면 구역에 낙인을 찍으려 했으나, 지형이 찌그러지거나 늘어날 때 자주 실패했습니다. GeoMark는 다른 접근 방식을 취합니다. 지형 전체에 낙인을 찍는 대신, 비밀스러운 '타겟(target)' 지점으로부터 멀리 떨어진 지형 위의 몇몇 특별한 '앵커(anchor)' 지점들을 선택합니다. 그리고 오직 이 앵커 주변의 영역에만 낙인을 찍습니다. 만약 도둑이 모델을 훔치려 한다면, 낙인은 이 특정 이웃 영역 안에 숨겨지게 됩니다. 설령 도둑이 질문을 다시 쓰거나(paraphrasing) 답변의 일부를 잘라내더라도(dimensional perturbation), 낙인은 특정 단어나 숫자가 아니라 그 이웃의 형태에 결합되어 있기 때문에 유지됩니다.

연구진은 이 아이디어를 뉴스 기사부터 이메일 스팸에 이르기까지 네 가지 유형의 데이터에 대해 테스트했습니다. 그 결과, GeoMark가 매우 내구성이 강한 낙인이라는 것을 발견했습니다. 이 방식은 도둑이 고급 AI 도구를 사용하여 탈취한 데이터를 재작성하는 공격에서도 살아남았으며, 심지어 도둑이 데이터의 차원을 줄이거나 이동시키는 공격에서도 견뎌냈습니다. 가장 중요한 점은, 이 시스템이 무고한 깨끗한 데이터에 실수로 낙인을 찍지 않았다는 것입니다. 실험에서 시스템은 매우 높은 신뢰도(통계적 수치인 p-value 0.05 미만)로 탈취된 모델을 정확히 식별해 냈으며, 탈취되지 않은 모델에 대해서는 실수를 거의 범하지 않았습니다. 이 논문은 낙인을 적용하는 '위치'와 낙인이 어떻게 생겼는지를 결정하는 '형태'를 분리함으로써, 부서지기 쉽지도 않으면서 검증하기 쉬운 시스템을 만들었다고 제안합니다.

팀은 또한 이 새로운 방식이 서비스 속도를 늦추는지도 확인했습니다. 그들은 낙인을 추가하는 데 드는 시간이 질문당 약 0.017 밀리초(ms)에 불과하여, 사실상 눈에 띄지 않을 정도로 매우 빠르다는 것을 발견했습니다. 또한 '앵커' 지점의 개수나 낙인이 찍히는 영역의 크기를 변경하는 것이 결과에 어떤 영향을 미치는지도 테스트했습니다. 연구 결과, 몇 개의 앵커(약 5개)를 두고 전체 면적의 작은 특정 비율(약 4%)을 커버하는 것이 서비스를 빠르게 유지하면서도 낙인을 강력하게 만드는 데 가장 효과적이었습니다.

요약하자면, 저자들은 데이터 지형의 자연스러운 형태를 이용하여 흩어진 특정 이웃 구역에 워터마크를 숨김으로써, 기존보다 디지털 모델을 훨씬 더 잘 보호할 수 있다고 제안합니다. 이 논문은 이 '기하학 인지적(geometry-aware)' 접근 방식이 워터마크가 너무 취약하거나 혹은 오보(false alarm)가 너무 잦았던 기존의 문제를 해결한다고 시사합니다. 비록 결과가 컴퓨터 시뮬레이션과 특정 데이터셋에 기반하고 있지만, 증거들은 이 방식이 서비스를 유용하게 유지하면서도 도둑들이 기술을 훔쳐서 들키지 않고 지나가는 것을 매우 어렵게 만든다는 점을 보여줍니다.

기술 요약: EaaS의 저작권 보호를 위한 기하학 인지형 국소 워터마킹 (GeoMark)

1. 문제 정의

임베딩 서비스(Embedding-as-a-Service, EaaS)는 자연어 및 멀티미디어 애플리케이션을 위한 핵심적인 시맨틱 인프라로 자리 잡았습니다. 그러나 EaaS 모델은 적대자가 레이블이 없는 코퍼스에 대해 API를 쿼리하여 계산 비용의 극히 일부만 사용하여 기능적으로 유사한 대리(surrogate) 모델을 학습시키는 **모델 도용 공격(model stealing attacks)**에 매우 취약합니다. 이는 모델 제공자의 지적 재산(IP)을 위협합니다.

기존의 EaaS 워터마크 방어 기법들은 근본적인 강건성(robustness)–유용성(utility)–검증 가능성(verifiability) 사이의 긴장 관계에 직면해 있습니다:

트리거 기반 방식(예: 특정 단어에 의존): 패러프레이징(paraphrasing) 공격에 취약합니다.
변환 기반 방식(예: 비밀 선형 변환): 차원 섭동(dimensional perturbations, 예: 임베딩 차원의 이동 또는 절단)에 민감합니다.
영역 기반 방식(임베딩 공간을 시맨틱 서브리전으로 분할): 종종 거짓 양성(false positives) 문제를 일으킵니다. 자연스러운 임베딩은 비균일하게 분포되어 있기 때문에, 깨끗한(clean) 임베딩이 할당된 지역 타겟과 우연히 기하학적 친밀도를 보일 수 있으며, 이는 허위 저작권 주장으로 이어질 수 있습니다.

핵심 과제는 다양한 제거 공격(패러프레이징, 차원 섭동, 그리고 CSE 공격)에 대해 강건성을 유지하면서도, 임베딩의 유용성을 보존하고 낮은 거짓 양성 위험으로 신뢰할 수 있는 검증을 보장하는 워터마킹 스킴을 설계하는 것입니다.

2. 방법론: GeoMark

저자들은 GeoMark라는 기하학 인지형 국소 워터마킹 프레임워크를 제안합니다. 핵심 혁신은 워터마킹이 트리거되는 *위치(location)*와 소유권이 귀속되는 *타겟(target)*을 **분리(decoupling)**하는 것입니다.

2.1 기하학 인지형 워터마크 초기화

공유 타겟 (Shared Target): GeoMark는 원래 임베딩 공간 내의 자연스러운 인-매니폴드(in-manifold) 임베딩( $w$ ) 하나를 선택하여 공유 비밀 워터마크 타겟으로 사용합니다.
기하학적으로 분리된 앵커 (Geometry-Separated Anchors): **최장점 샘플링(Farthest Point Sampling, FPS)**을 사용하여, 임베딩 공간에서 $K$ 개의 잘 분리된 앵커( $A = \{a_1, ..., a_K\}$ )를 선택합니다. 이 앵커들은 공유 타겟 $w$ 및 이전에 선택된 앵커들과의 최소 거리를 최대화하도록 선택되어, 명시적인 기하학적 안전 마진을 구축합니다.
적응형 로컬 이웃 (Adaptive Local Neighborhoods): 각 앵커 $a_k$ 에 대해, 국소 커버리지 비율 $\rho$ 를 기반으로 적응형 로컬 반경 $\tau_k$ 를 보정합니다. 이는 매니폴드 전반의 가변적인 시맨틱 밀도를 반영하여, 고정된 글로벌 반경 없이도 일관된 국소 커버리지를 보장합니다.

2.2 앵커 중심의 국소 워터마크 주입

국소 트리거링 (Localized Triggering): 입력 임베딩이 하나 이상의 앵커의 로컬 이웃 내에 떨어지는 경우에만 워터마크 주입이 활성화됩니다.
공유 타겟 귀속 (Shared-Target Attribution): 어떤 앵커가 주입을 트리거하더라도, 워터마크는 항상 동일한 공유 타겟 $w$ 를 향해 임베딩을 이동시킴으로써 주입됩니다. 보호된 임베딩은 $e_p = \text{Norm}(e_o + \lambda w)$ 로 계산되며, 여기서 $\lambda$ 는 주입 강도를 조절합니다.
설계 근거: 이 설계는 트리거링은 여러 기하학적 영역에 분산되어 있지만, 귀속은 중앙 집중화되도록 보장합니다. 이는 (깨끗한 샘플이 특정 앵커 근처에 있을 가능성이 낮으므로) 영역 기반 방식의 "우연한 친밀도" 문제를 방 prevented 하는 동시에, CSE 공격에 대한 다중 타겟 방식의 취약성을 피합니다.

2.3 저작권 검증

검증 세트: "백도어" 샘플(앵커 이웃에 해당하는 샘ales)과 "양성(benign)" 샘플(앵커 외부의 샘플) 세트를 구성합니다.
중앙 집중식 지표: 의심스러운 대리 모델에 해당 샘플들과 $w$ 에 대응하는 타겟 텍스트를 쿼리합니다. 검증은 반환된 임베딩과 반환된 타겟 임베딩 $\hat{w}$ 사이의 상대적 기하학적 친밀도를 측정하는 데 의존합니다.
통계적 테스트: 코사인 유사도와 $L_2$ 거리를 사용하여 그룹 수준의 불일치( $\Delta_{cos}$ , $\Delta_{L2}$ )를 계산합니다. 백도어 샘플이 양성 샘플보다 타겟에 통계적으로 더 가까운지 결정하기 위해 일방향 Kolmogorov–Smirnov (KS) 테스트를 수행합니다.

3. 주요 기여

긴장 관계 식별: 논문은 기존 EaaS 워터마크의 구체적인 트레이드오프를 식별하고, 낮은 거짓 양성 검증을 위해 기하학적 인지 설계가 필수적임을 주장합니다.
GeoMark 프레임워크: 국소적 트리거링(FPS로 선택된 앵커를 통해)과 공유 타겟 귀속을 분리하는 프레임워크를 제안합니다. 이를 통해 분산된 트리거링과 중앙 집중화된 귀속을 달로합니다.
강건성 및 유용성: 광범한 실험을 통해 GeoMark가 다운스트림 유용성과 기하학적 충실도를 보존하면서 패러프레이징, 차원 섭동, 그리고 CSE 공격에 대해 강력한 검증을 유지함을 입증합니다.

4. 실험 결과

실험은 네 가지 벤치마크 데이터셋(SST-2, AGNews, Enron, MIND)에 대해 세 가지 베이스라인 방법(WARDEN, EspeW, WET) 및 다양한 공격 시나리오를 대상으로 수행되었습니다.

유용성 보존: GeoMark는 워터마크가 없는 베이스라인과 유사한 다운스트림 태스크 정확도를 보존합니다. 기하학적 충실도 측면에서, GeoMark는 원본과 보호된 임베딩 사이의 코사인 유사도를 97.5% 이상 유지하며, 이는 글로벌 좌표 왜곡으로 인해 유사도가 0에 가깝거나 음수가 되는 경우가 많은 변환 기반 방식(WET 등)보다 크게 우수합니다.
강건성:
- 패러프레이징: GeoMark는 NLLB 및 GPT-4o-mini 패러프레이징 공격 하에서도 검증 가능성을 유지하는 반면, 트리거 기반 방식(WARDEN, EspeW)은 특정 데이터셋(예: GPT-4o-mini를 사용한 SST-2)에서 실패합니다.
- 차원 섭동: GeoMark는 차원 이동 및 감소에 강건합니다. 좌표 구조가 변경될 때 실패하는 WET와 달리, 자연스러운 타겟에 대한 상대적 친밀도에 의존하는 GeoMark는 여전히 효과적입니다.
- CSE 공격: GeoMark는 Clustering-Selection-Elimination 공격에 저항합니다. 공유 타겟 하에 이질적인 활성화 샘플 집단을 생성함으로써, 워터마크가 쉽게 재구성되거나 제거될 수 있는 단일 모놀리식 클러스터를 형성하지 않도록 합니다.
검증 가능성 및 거짓 양성:
- GeoMark는 낮은 거짓 양성 위험을 보여줍니다. 깨끗한(워터마크가 없는) 모델에서 소유권 검증을 위한 $p$ -값은 유의 수준보다 훨씬 높게( $p > 0.05$ ) 유지됩니다.
- 반면, 재구현된 영역 기반 베이스라인(RegionMarker)은 여러 데이터셋에서 통계적으로 유의미한 거짓 양성을 보였습니다.
- 어블레이션 연구(Ablation studies)를 통해 FPS를 제거할 경우(무작위 앵커 선택) 검증이 불안정해지고 거짓 양성 위험이 높아짐을 확인하여, 기하학적 분리의 중요성을 입증했습니다.

5. 의의 및 주장

분리 메커니즘: "어디에서"(국소적, 기하학적으로 분리된 트리거)와 "무엇을"(공유된, 자연스러운 타겟 귀속)을 성공적으로 분리하여, 강건성과 검증 가능성 사이의 긴장을 해결했습니다.
실제 배포 가능성: 이 방법은 무시할 만한 오버헤드(쿼리당 약 0.017 ms)를 도입하며 백본 인코더의 재학습을 요구하지 않으므로, 실제 EaaS 배포에 적합합니다.