🤖 AI

Functional Subspace Watermarking for Large Language Models

이 논문은 미세조정, 양자화 등 모델 수정 과정에서 발생하는 왜곡에 강인한 소유권 보호를 위해 저차원 기능적 서브공간에 소유권 신호를 고정하고 적응형 스펙트럼 잘라내기와 벡터 일관성 제약을 도입한 '기능적 서브공간 워터마킹 (FSW)' 프레임워크를 제안합니다.

원저자: Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

게시일 2026-03-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🛡️ 거대 AI 모델의 '불멸의 지문': 기능적 하위공간 워터마킹 (FSW) 설명

이 논문은 최근 급격히 발전한 **거대 언어 모델 **(LLM, 예: Llama, Qwen 등)의 소유권을 보호하는 새로운 기술을 소개합니다. 기존 방법들은 모델이 수정되면 쉽게 사라져버렸지만, 이 연구는 **"모델의 핵심 기능 속에 영구적으로 새겨지는 지문"**을 개발했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 풀어보겠습니다.

1. 문제: "모델을 조금만 건드려도 지문이 지워진다" 🧹

지금까지 AI 모델을 소유권 증명하기 위해 사용하던 방법은 두 가지였습니다.

생성물 워터마킹: AI 가 쓴 글 속에 눈에 안 보이는 암호를 넣는 것. (글을 다시 쓰거나 요약하면 암호가 깨짐)
기존 모델 워터마킹: 모델의 '뇌' (가중치) 자체에 지문을 새기는 것.

하지만 큰 문제가 있었습니다.
악의적인 사용자가 모델을 가져와서 정교하게 수정 (미세 조정, 양자화, 지식 증류 등) 하면, 기존에 새겨진 지문은 완전히 지워지거나 변형되어 소유권 증명이 불가능해졌습니다.

비유:
마치 귀중한 그림에 표면에만 페인트로 서명을 해둔 것과 같습니다. 누군가 그림을 다시 칠하거나 (미세 조정), 종이를 잘라내거나 (양자화), 복사해서 다시 그리면 (지식 증류), 그 서명은 사라져 버립니다.

2. 해결책: "모델의 '척추'에 지문을 새긴다" 🦴

이 논문이 제안한 FSW(기능적 하위공간 워터마킹)는 접근 방식을 완전히 바꿉니다.

핵심 아이디어: 모델의 모든 가중치를 다 보는 게 아니라, **모델이 일을 잘하기 위해 꼭 필요한 '핵심 기능 **(Functional Backbone)을 찾아냅니다.
어떻게 하나요?
1. 지능적인 탐색: 모델이 어떤 방향으로 움직일 때 가장 중요한지 (기능적 민감도) 분석합니다.
2. 변화 저항성: 모델이 압축되거나 수정되어도 안 변하는 안정적인 방향을 찾습니다.
3. 지문 심기: 이 두 가지 조건을 모두 만족하는 '안정적인 척추' 영역에 소유권 지문을 새깁니다.

비유:
그림을 다시 칠해도 지워지지 않게 하려면, 표면 페인트가 아니라 그림을 지탱하는 '나무 캔버스'나 '철제 프레임' 자체에 지문을 새겨야 합니다.

FSW 는 모델이 "이 일을 잘하려면 이 신경 회로는 절대 건드리지 마!"라고 외치는 핵심 부분을 찾아내, 그 부분에만 소유권 지문을 불에 타지 않는 특수 잉크로 새겨 넣습니다. 모델이 아무리 수정을 해도, 그 '핵심'은 살아남기 때문에 지문도 함께 살아남습니다.

3. 기술의 마법: "균형 잡기" ⚖️

이 기술이 정말 놀라운 점은 두 마리 토끼를 다 잡는다는 것입니다.

**강력한 방어 **(Robustness) 모델이 수정되어도 지문이 살아남습니다.
**원래 성능 유지 **(Utility) 지문을 새기는 과정에서 모델의 성능이 떨어지지 않습니다.

비유:
보통 지문을 새기면 그림이 망가질까 봐 걱정합니다. 하지만 FSW 는 그림의 핵심 구조를 해치지 않는 곳을 찾아내서, 마치 건축물의 기둥 속에 암호를 숨기는 것처럼 작업합니다.

그래서 소유자가 "이 모델이 내 거야!"라고 증명할 때, 모델은 여전히 원래의 똑똑함을 유지하면서 지문만 선명하게 드러납니다.

4. 실험 결과: "어떤 공격에도 끄떡없다" 🛡️

연구진은 다양한 AI 모델 (Llama, Mistral, Qwen 등) 에 이 기술을 적용하고, 악의적인 공격을 가해봤습니다.

공격 시나리오: 모델을 미세 조정하거나, 양자화 (정밀도 낮추기), 가지치기 (불필요한 부분 제거) 등을 했습니다.
결과:
- 기존 방법들은 대부분 지문이 지워져서 소유권 증명이 실패했습니다.
- FSW 는 어떤 공격을 받아도 100% 에 가까운 확률로 지문을 찾아냈습니다.
- 모델의 성능 (답변의 정확도 등) 은 거의 변하지 않았습니다.

비유:
누군가 그 그림을 접었다 폈다 하고, 구겨서, 심지어 다시 그렸다고 해도, FSW 가 새긴 지문은 그림의 뼈대에 있기 때문에 어디서나 찾아낼 수 있습니다.

5. 요약: 왜 이 기술이 중요한가요? 🌟

이 기술은 AI 시대의 지식재산권 보호에 혁신을 가져옵니다.

과거: "내 모델이 변형되면 내 거라는 걸 증명할 수 없어." (무력함)
**현재 **(FSW) "네가 모델을 어떻게 변형하든, 핵심 기능 속에 새겨진 내 지문은 절대 지워지지 않아. 내가 주인임을 증명할 수 있어." (강력함)

한 줄 요약:

FSW 는 AI 모델이 아무리 변형되어도 사라지지 않도록, 모델의 '핵심 두뇌' 속에 영구적인 소유권 지문을 새겨주는 기술입니다.

이 기술은 앞으로 AI 모델이 불법적으로 복제되거나 변조되는 것을 막고, 개발자의 권리를 보호하는 강력한 방패가 될 것입니다.

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 소유권 보호를 위해 기존에 연구된 모델 워터마킹 (Model Watermarking) 기술은 다음과 같은 한계를 겪고 있습니다:

취약성: 미세 조정 (Fine-tuning), 양자화 (Quantization), 지식 증류 (Knowledge Distillation) 와 같은 실제적인 모델 수정 과정에서 내부 표현 (Internal Representations) 이 복잡하게 왜곡됩니다.
신호 소실: 기존 방법들은 이러한 파라미터 수준의 교란 (Perturbation) 에 취약하여, 워터마크 신호가 쉽게 지워지거나 추출이 불가능해지는 문제가 발생합니다.
현실적 위협: 공격자가 모델의 기능을 유지하면서 워터마크를 제거하거나, 증류된 학생 모델 (Student Model) 을 통해 원본 모델의 능력을 복제하는 경우 기존 워터마킹은 무력화됩니다.

2. 제안 방법론: FSW (Functional Subspace Watermarking)

저자들은 소유권 신호를 모델의 안정적인 기능적 척추 (Functional Backbone) 에 고정하는 새로운 프레임워크인 FSW를 제안합니다. 핵심 아이디어는 작업 수행에 필수적이면서도 압축 및 변형에 강건한 저차원 부분공간을 찾아 워터마크를 주입하는 것입니다.

주요 단계 및 기술적 요소:

표현 추출 및 기하학적 분석 (Representation & Geometry Analysis):
- 모델의 중간 레이어 숨은 상태 (Hidden State) 를 정보 병목 지점으로 활용합니다.
- 기능 민감도 (Functional Sensitivity): Fisher 정보 행렬 ( $F$ ) 을 사용하여 작업 수행에 중요한 방향을 식별합니다. 이 방향을 변경하면 출력 분포가 크게 변하므로, 가지치기 (Pruning) 등에 강합니다.
- 압축 불변성 (Compression Invariance): 양자화 노이즈, 선형 투영, 구조적 드롭아웃 등을 시뮬레이션하는 압축 연산자 집합 ( $A$ ) 을 정의하고, 이에 대한 불변 행렬 ( $C_A$ ) 을 계산합니다.
부분공간 구성 및 최적화 (Subspace Construction via GEVP):
- 일반화 고유값 문제 (GEVP): $F u_i = \lambda_i C_A u_i$ 를 풀어, 기능 민감도는 높고 압축에 의한 분산은 낮은 방향 (고유벡터) 을 찾습니다.
- 적응형 스펙트럼 자르기 (Adaptive Spectral Truncation): 상위 $k$ 개의 고유벡터만 선택하면 모델 성능이 급격히 떨어지고, 하위 벡터는 워터마크가 쉽게 제거됩니다. 따라서 검증 데이터를 기반으로 최적의 임계값 ( $\tau_{lower}, \tau_{upper}$ ) 을 설정하여 강건성과 모델 유틸리티의 균형을 맞춘 부분공간 ( $U^*$ ) 을 선택합니다.
워터마크 주입 및 검증 (Embedding & Verification):
- 벡터 일관성 제약 (Vector Consistency Constraint): 워터마크 주입이 원본 모델의 의미론적 성능을 해치지 않도록, 주입 전후의 표현 벡터 간 거리를 최소화하는 손실 함수 ( $L_{con}$ ) 를 도입합니다.
- 마진 기반 목적 함수: 직교하는 비밀 키 벡터를 사용하여 이진 메시지를 기능적 부분공간에 마진 (Margin) 을 두고 주입합니다.
- 통계적 검증: 소유권 확인 시, 검출 점수 ( $S$ ) 를 계산하여 귀무가설 ( $H_0$ ) 하에서의 분포와 비교함으로써 통계적으로 유의미한 소유권 증명을 수행합니다.

3. 주요 기여 (Key Contributions)

FSW 프레임워크 제안: 모델의 기능적 척추를 식별하고 일반화 고유값 문제를 통해 워터마크 캐리어를 추출함으로써, 미세 조정, 양자화, 증류 등 다양한 공격에 강건한 워터마킹을 가능하게 했습니다.
직교 키 기반 다중 비트 검증 체계: 소유권 검증을 엄격한 통계적 검정으로 변환하여, 모델의 원본 생성 성능을 저하시키지 않으면서도 신뢰할 수 있는 워터마크 주입 및 정밀한 검증을 달성했습니다.
광범위한 실험적 검증: 다양한 LLM 아키텍처 (LLaMA, Qwen, Mistral, DeepSeek 등) 와 데이터셋에서 FSW 의 유효성을 입증했습니다. 기존 SOTA 방법들보다 우수한 검출 정확도와 통계적 검증 가능성을 보였으며, 특히 증류 공격 하에서도 높은 강건성을 유지했습니다.

4. 실험 결과 (Results)

기능적 보존 (Functional Preservation): 워터마크 주입 후 모델의 성능 (Perplexity, HellaSwag, ARC 점수 등) 이 거의 변하지 않았습니다. 예를 들어, LLaMA-3-8B 의 경우 PPL 증가폭이 0.37 에 불과했습니다.
강건성 (Robustness):
- 파라미터 교란: LoRA 미세 조정, 양자화 (INT4), 가지치기 (Pruning) 공격 후에도 검출 점수 (Detection Score) 와 비트 정확도 (Bit Accuracy) 가 높게 유지되었습니다. (예: LLaMA-2-7B 에서 양자화 후 검출 점수 6.56, 비트 정확도 100%)
- 모델 증류 (Model Distillation): 기존 방법들은 증류 시 워터마크가 사라지는 경우가 많았으나, FSW 는 증류된 모델에서도 소유권 신호를 성공적으로 복원했습니다. (DeepSeek-7B 기준 증류 후 비트 정확도 100% 유지)
통계적 검증 가능성: 매우 엄격한 유의수준 ( $\alpha = 10^{-8}$ ) 에서도 거짓 양성률 (FPR) 이 거의 0 에 수렴하며 소유권을 통계적으로 증명할 수 있었습니다.
용량과 성능의 균형: 16 비트의 용량이 모델 성능을 해치지 않으면서 오류 정정 코드 (ECC) 를 적용하기에 최적의 용량으로 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

기술적 혁신: 기존 워터마킹이 겪던 "모델 수정 시 워터마크 소실" 문제를 해결하기 위해, 모델의 기능적 핵심 (Functional Core) 에 신호를 고정하는 새로운 접근법을 제시했습니다.
실용성: 모델 소유권 분쟁, 불법 재배포 방지, 모델 추출 (Extraction) 탐지 등 실제 배포 환경에서 발생하는 위협에 대응할 수 있는 강력한 기술적 기반을 제공합니다.
미래 영향: 대규모 모델의 지적 재산권 보호를 위한 표준적인 방법론으로 자리 잡을 수 있으며, 특히 지식 증류와 같은 고도화된 공격 환경에서도 신뢰할 수 있는 소유권 증명을 가능하게 합니다.

요약하자면, FSW는 모델의 내부 구조에서 "작업에 필수적이면서도 변형에 강인한" 부분공간을 수학적으로 찾아내어 워터마크를 주입함으로써, 기존 방법들의 취약점을 극복하고 강건성 (Robustness) 과 모델 유틸리티 (Utility) 를 동시에 달성한 획기적인 모델 워터마킹 기술입니다.