기술 요약: SAFESEAL - 최소한의 의미 왜곡을 통한 견고한 LLM 워터마킹

문제 제기

독점적 대형 언어 모델 (LLM) 은 특히 '모델 도용' 공격으로 인한 지적 재산권 (IP) 위험에 직면해 있습니다. 이러한 공격에서는 적대자가 입력 - 출력 쌍을 수집하여 원래 모델의 행동을 복제하는 대리 모델을 훈련시킵니다. 워터마킹은 소유권을 검증하기 위해 감지하기 어려운 패턴을 임베딩함으로써 방어책을 제시하지만, 기존 방법들은 다음과 같은 치명적인 한계를 겪고 있습니다:

1. 의미 및 사실적 왜곡: 많은 기술들이 토큰 분포를 변경하거나 단어를 대체하여 텍스트 품질을 저하시키거나, 사실적 불일치 (예: 숫자 또는 고유명사 변경) 를 초래하거나, 의미적 이동을 유발합니다.
2. 공격에 대한 취약성: 현재 워터마킹은 문장 재구성 (제거 공격) 이나 워터마킹된 텍스트가 대리 모델 훈련에 사용될 때 (도용 공격) 와 같은 적대적 조건에서 종종 실패합니다.
3. 공급자별 감지 부재: 기존 솔루션들은 종종 단순화된 단일 키 설정을 가정하여, 고유한 키가 필요한 공급자 간 및 다중 사용자 시나리오의 복잡성을 해결하지 못합니다.
4. 유틸리티 - 감지성 트레이드오프: 강력한 감지성을 달성하려면 모델 유틸리티를 저하시키는 강력한 신호가 필요한 반면, 유틸리티를 보존하면 쉽게 제거 가능한 약한 신호로 이어지는 경우가 많습니다.

방법론: SAFESEAL

저자들은 감지성, 유틸리티, 견고함 사이의 균형을 맞추도록 설계된 키 조건부 후처리 워터마킹 프레임워크인 SAFESEAL을 제안합니다. 이 접근법은 세 가지 핵심 구성 요소로 이루어집니다:

1. 키 조건부 워터마킹 생성

SAFESEAL 은 생성 과정 자체에 침습적인 수정을 가하지 않고 LLM 출력에 대한 후처리 단계로 작동합니다.

• 토큰 식별: 시스템은 먼저 고유명사 인식 (NER) 을 사용하여 중요한 개체 (이름, 위치, 시간) 를 식별하고 보존하여 사실적 일관성을 유지합니다. 그런 다음 품사 (POS) 태깅을 사용하여 명사, 동사, 형용사, 부사와 같은 언어적 용어를 워터마킹 가능한 토큰 집합 ($T_{wm}$) 으로 식별합니다.
• 맥락 인식 동의어 조회: 각 워터마킹 가능한 토큰에 대해 경량 언어 모델 (LM) 이 맥락 인식 동의어 목록을 생성합니다. 이러한 후보들은 문법적 정확성과 원본 토큰과의 의미적 유사성 (문장 수준 유사성 점수를 통해) 을 보장하도록 필터링됩니다.
• 키 조건부 토너먼트 샘플링: 최종 대체어를 선택하기 위해 SAFESEAL 은 토너먼트 샘플링 메커니즘을 사용합니다. 후보들은 비밀 키 $k$와 맥락에 기반한 암호화 키가 적용된 의사난수 함수 (PRF) 를 사용하여 점수가 매겨집니다. 이는 대체 패턴이 올바른 키로만 재현 가능하도록 보장하여, 높은 의미적 충실도를 유지하면서 공급자별 감지를 가능하게 합니다.

2. 키 조건부 대조적 감지

워터마킹을 감지하기 위해 SAFESEAL 은 텍스트와 비밀 키를 공동으로 인코딩하는 새로운 감지기를 도입합니다.

• 특징 융합: 감지기는 사전 훈련된 트랜스포머 (예: RoBERTa) 를 사용하여 텍스트를 인코딩하고, PRF 와 고정된 MLP 를 사용하여 비밀 키를 벡터로 매핑합니다. 이러한 임베딩은 연결, 하마드 곱, 절대 차이를 통해 융합되어 텍스트 - 키 정렬을 포착합니다.
• 훈련 목적: 감지기는 워터마킹 존재 여부를 분류하기 위한 이진 교차 엔트로피 손실과 대칭 InfoNCE 대조 손실의 조합을 사용하여 훈련됩니다. 대조 손실은 일치하는 텍스트 - 키 쌍을 정렬하고 불일치하는 쌍을 분리하여, 재훈련 없이 다른 공급자와 사용자 간에서도 견고한 감지를 가능하게 합니다.

3. 이론적 경계 및 최적화

• 유틸리티 - 감지성 트레이드오프: 저자들은 원본 텍스트와 워터마킹된 텍스트 간의 기대 편차에 대한 이론적 경계를 유도합니다. 트레이드오프는 후보 선택에 사용되는 유사성 임계값 ($\delta$) 과 워터마킹 가능한 토큰 집합의 크기에 의해 제어됨을 보여줍니다.
• 지연 시간 감소: 실용적인 배포를 보장하기 위해 SAFESEAL 은 후보 생성, 배치 처리, 병렬 처리, 캐싱을 위해 경량 모델을 사용하여 추론 지연 시간을 최소화합니다.

주요 기여

1. SAFESEAL 프레임워크: 고유 개체를 보존하고 언어적 용어를 맥락 인식 동의어로 대체하는 새로운 후처리 워터마킹으로, 인 - 프로세싱 방법보다 의미 왜곡을 크게 줄입니다.
2. 공급자별 견고성: 공급자 간 및 다중 사용자 시나리오에서 견고한 귀속을 가능하게 하는 키 조건부 대조 감지기로, 문장 재구성과 모델 도용 공격 모두에 저항합니다.
3. 이론적 분석: 대체 유사성과 토큰 선택이 트레이드오프에 미치는 영향을 특징짓는 유틸리티 - 감지성 경계의 공식적 유도.
4. 커뮤니티 리소스: 평가 표준화와 투명성 촉진을 위한 최초의 공개 워터마킹 리더보드 및 인터랙티브 데모 공개.

실험 결과

저자들은 텍스트 생성, 요약, 질문 응답 작업에 걸쳐 LLaMA-2, Mistral, DeepSeek, Qwen2.5, Gemma 등 다섯 가지 오픈 소스 LLM 에서 SAFESEAL 을 평가했습니다.

• 유틸리티 보존: SAFESEAL 은 BERTScore 0.983과 개체 유사성 0.963을 달성하여, 종종 개체 이동이나 사실 오류를 겪었던 KGW, SynthID, TW 와 같은 베이스라인을 크게 능가했습니다. 인간 평가에서 SAFESEAL 은 공격이 없는 환경에서 베이스라인보다 28 배, 제거 공격 하에서는 6.5 배 더 선호되었습니다.
• 감지성: 이 프레임워크는 클린 텍스트에서 98.2% 의 감지율을 달성했습니다. 특히, 워터마킹된 출력으로 훈련된 대리 모델을 사용하는 모델 도용 공격 하에서 SAFESEAL 은 72.8% 의 감지율을 유지한 반면, TW 와 같은 베이스라인은 5.4% 로 떨어졌고 인 - 프로세싱 방법은 거의 0% 로 하락했습니다.
• 견고성: 문장 재구성 공격 (Dipper, Substitution, SIRA) 에 대해 SAFESEAL 은 19.2% 에서 92.2% 사이의 감지율을 유지한 반면, 다른 방법들은 종종 10% 미만으로 떨어졌습니다.
• 효율성: SAFESEAL 은 가장 빠른 베이스라인과 유사한 지연 시간 (약 3.42 초 오버헤드) 을 보여주어, EXP(297 초 오버헤드) 및 KGW(13.7 초 오버헤드) 와 같은 방법들을 크게 능가했습니다.

중요성 및 주장

이 논문은 SAFESEAL 이 유틸리티와 감지성 사이의 전통적인 트레이드오프를 효과적으로 해결함으로써 실용적인 LLM IP 보호에서 중요한 진전을 이루었다고 주장합니다. 개체를 보존하고 맥락 인식 동의어 대체를 사용함으로써, 다음 토큰 분포만 보존하는 기존 '왜곡 없는' 방법들에서 종종 훼손되는 사실적 일관성과 의미적 의미를 유지합니다.

저자들은 SAFESEAL 이 다음을 동시에 제공하는 최초의 프레임워크라고 강조합니다:

1. 이론적 경계를 통한 검증 가능한 유틸리티 - 감지성 보장.
2. 제거 및 모델 도용 공격 모두에 대한 견고성.
3. 복잡한 다중 사용자 및 공급자 간 환경에서의 확장 가능한 공급자별 감지.
4. 실시간 API 배포를 가능하게 하는 최소 지연 시간.

이 연구는 낮은 다양성 도메인에서의 과제가 남아 있고 추가적인 확률적 보장이 필요하지만, SAFESEAL 이 지적 재산권 도용에 대한 독점적 LLM 보호를 위한 강력하고 균형 잡힌 기반을 제공한다고 결론지었습니다.