기술 요약: SAMARK - 문단 수준 의문사 재구성 강건성을 갖춘 자기-앵커링 텍스트 워터마킹

1. 문제 정의

생성형 AI(GenAI) 의 급속한 발전은 기계 생성 텍스트를 식별할 수 있는 강건한 방법을 필요로 합니다. 대규모 언어 모델 (LLM) 워터마킹이 하나의 해결책으로 등장했지만, 기존 방법들은 **문단 수준 의문사 재구성 공격 (PPA)**이라는 치명적인 취약점에 직면해 있습니다.

현재의 워터마킹 방식은 두 가지 범주로 나뉩니다:

• 토큰 수준 워터마킹 (TWM): 토큰 샘플링 분포를 수정합니다 (예: Green-Red 리스트). 효율적이지만, 이러한 신호는 로컬 편집, 단어 교체 또는 삭제로 인해 쉽게 희석되거나 제거됩니다.
• 의미 수준 워터마킹 (SWM): 문장을 기본 단위로 취급하여 신호를 의미 공간에 임베딩합니다. 로컬 편집에 더 강건하지만, 기존 SWM 방법들 (예: SemStamp, PMark) 은 단계 의존적 무작위 시드에 의존합니다. 이러한 시드는 일반적으로 선행 문맥 (문맥 해싱) 이나 고정된 단계 인덱스에서 파생됩니다.
  • 문맥 의존적 취약점: 공격자가 선행 문장들을 재구성하면, 재구성된 시드가 변경되어 탐지 신호가 실패합니다.
  • 단계 의존적 취약점: 공격자가 문단 내 문장들을 재배열하면, 단계 인덱스 기반 시드가 문장의 위치와 더 이상 일치하지 않아 탐지 점수가 교란됩니다.

해결된 핵심 문제는 높은 텍스트 품질과 탐지 정확도를 유지하면서 PPA(재배열 및 전역적 의문사 재구성) 에 본질적으로 강건한 의미 수준 워터마킹 방식의 부재입니다.

2. 방법론: SAMARK 프레임워크

저자들은 SAMARK(Self-Anchored Mark) 를 제안합니다. 이는 의미 공간에 단계 독립적 녹색 영역을 설정함으로써 문장 순서와 문맥에 대한 의존성을 제거하는 프레임워크입니다.

2.1. 핵심 통찰: 자기-앵커링 조건 (SAC)

근본적인 혁신은 자기-앵커링 조건으로, 여기서 문장의 무작위 시드는 그 문장의 위치나 선행 문맥이 아닌 오직 해당 문장 자체의 고유한 의미에만 의존합니다.

• 메커니즘: 문장 $u$에 대해 무작위 시드는 $r_t = R(\phi(u); k)$이며, 여기서 $\phi(u)$는 의미 표현이고 $k$는 개인 키입니다.
• 이론적 보장: 정리 1 은 이 조건이 의미 공간에 전역적으로 정적인 "실행 가능 영역"(녹색 영역) $\mathcal{G} \subseteq \Omega$를 설정함을 증명합니다. 문장은 텍스트 내의 위치나 시기와 상관없이, 키 하에서 유효한 분할로 매핑되는 자체 의미에 한해 녹색 영역에 속합니다. 이는 재배열과 문맥 수정에 대한 강건성을 보장합니다.

2.2. 생성기: 멀티 채널 쌍곡선 샘플링

워터마킹된 텍스트를 생성하기 위해 SAMARK 는 멀티 채널 쌍곡선 점수 매기기 메커니즘으로 강화된 거부 샘플링 전략을 사용합니다:

1. 후보 생성: 기본 LLM 에서 $N$개의 후보 문장을 샘플링합니다.
2. 채널 매칭: $c$개의 피벗 벡터 (채널) 를 통해 의미 임베딩이 목표 플래그 패턴 $R$과 정렬되는 후보들만 선별하여 유지합니다.
3. 쌍곡선 점수 매기기: 원시 코사인 유사도 대신, 부호 있는 코사인 유사도에 쌍곡선 탄젠트 ($\tanh$) 변환을 적용합니다:
   $$S_{wm}(x) = \sum_{j=1}^{c} \tanh(\kappa \cdot r_j \cdot \cos(E(x), v_j))$$
   • 목적: 이는 강한 정렬을 가진 후보들을 증폭하여 점수를 $\pm 1$ 쪽으로 밀어내고, 0 에 가까운 노이즈는 억제합니다. 이는 의문사 재구성 공격 하에서 실패점으로 알려진 결정 경계 근처의 점수 집중을 방지합니다.
4. 다양성 인식 필터링: 엄격한 워터마킹 제약과 종종 관련된 품질 저하 (예: 반복적인 텍스트) 를 방지하기 위해 SAMARK 는 다음을 통합합니다:
   • 하드 필터링: 이전에 생성된 문장과 높은 n-gram 중첩 또는 높은 의미 유사도를 가진 후보들을 제거합니다.
   • 소프트 정규화: 최종 선택 점수에 다양성 보너스 (의미 다양성을 위한 $\lambda_{div}$, 어휘 신기함을 위한 $\lambda_{nov}$) 를 추가합니다.
5. 선택: 필터링된 후보들에 소프트맥스 분포를 적용하여 제어된 확률성을 도입합니다.

2.3. 탐지기: 다수결 블라인드 탐지

탐지기는 생성 시 사용된 특정 목표 플래그에 대한 사전 지식 없이 작동합니다:

1. 분할 및 임베딩: 텍스트를 문장으로 분할하고 임베딩을 계산합니다.
2. 블라인드 플래그 추론: 실제 플래그 $R$이 알려져 있지 않으므로, 탐지기는 텍스트 내 모든 문장의 방향성 응답에 대한 다수결 투표를 통해 이를 추론합니다.
3. 쌍곡선 정렬: 생성 시 사용된 동일한 $\tanh$ 변환을 추론된 플래그에 적용합니다.
4. Z-검정: 변환된 정렬 행렬을 기반으로 전역 z-통계량을 계산합니다. 통계량이 임계값을 초과하면 텍스트를 워터마킹된 것으로 분류합니다.

3. 주요 기여

1. 자기-앵커링 패러다임: 워터마킹 신호를 문장 순서와 문맥에서 분리하여 PPA 에 강건하게 만드는 최초의 프레임워크입니다.
2. 멀티 채널 쌍곡선 점수 매기기: 강건한 신호를 증폭하고 노이즈를 억제하여 경계 근처의 점수 집중 문제를 해결하는 새로운 점수 매기기 메커니즘입니다.
3. 다양성 인식 필터링: 강건성과 품질 간의 트레이드오프를 완화하고 의미적 중복 및 반복 생성을 방지하는 결합된 하드/소프트 필터링 전략입니다.
4. 실증적 검증: 강건성과 품질 측면에서 최첨단 성능을 입증하는 포괄적인 평가.

4. 실험 결과

실험은 Llama-3.1-8B 및 Mistral-Small-3.1-24B 모델을 사용하여 C4 및 BOOKSUM 데이터셋에서 수행되었습니다.

• 강건성 (RQ1): SAMARK 는 PPA 하에서 기존 베이스라인 (KGW, SemStamp, PMark 포함) 을 크게 능가합니다.
  • 까다로운 Doc-P II 공격 (공격적인 의문사 재구성) 하에서 SAMARK 는 Mistral+BOOKSUM 에서 **90.2% TP@FP1%**를 달성하는 반면, 다음으로 가장 좋은 베이스라인 (PMark) 은 **57.5%**에 그쳤습니다.
  • 이는 가장 강력한 이전 베이스라인 대비 평균 30% 이상의 개선을 의미합니다.
  • SAMARK 는 모든 공격 시나리오에서 높은 탐지율 (>72%) 을 유지하는 반면, 베이스라인들은 종종 30% 미만으로 떨어집니다.
• 텍스트 품질 (RQ2): SAMARK 는 워터마킹되지 않은 텍스트와 경쟁력 있는 생성 품질을 유지합니다.
  • 쌍대 LLM 판단에 따르면 SAMARK 는 워터마킹되지 않은 베이스라인 대비 높은 승률을 기록합니다.
  • 문장 중복 (SD) 및 Distinct-2(D-2) 와 같은 지표는 다양성 인식 필터링이 다른 SWM 방법들에서 흔히 발생하는 반복 문제를 효과적으로 방지함을 나타냅니다.
• 효율성 (RQ3):
  • SAMARK 는 의미 수준 방법의 계산 오버헤드를 줄입니다. 출력 토큰당 47.44 개의 샘플링된 토큰을 필요로 하여 SemStamp(64.5) 나 PMark(49.73) 보다 현저히 적습니다.
  • 탐지 지연 시간은 무시할 수준 (토큰당 0.0014 초) 으로, 일부 멀티 비트 방법이 요구하는 LLM 기반 재생성을 피하기 때문입니다.
• 절대 연구 (RQ4):
  • 생성 시 쌍곡선 변환을 제거하면 강건성이 급격히 저하됩니다 (예: Doc-P II TP@FP1% 가 93.2% 에서 67.4% 로 하락), 이는 그 핵심적인 역할을 확인시켜 줍니다.
  • 다양성 필터를 비활성화하면 품질이 크게 저하됩니다 (반복 증가 및 구별력 감소).

5. 중요성 및 주장

이 논문은 SAMARK 가 의미 수준 워터마킹에서 패러다임 전환을 나타낸다고 주장합니다. 단계 의존적 시드에서 자기-앵커링 접근법으로 전환함으로써, 이 분야를 제한해 온 "해결하기 어려운" 문단 수준 의문사 재구성 강건성 문제를 해결합니다.

• 트레이드오프 깨기: SAMARK 는 유창성이나 다양성을 희생하지 않으면서 심각한 공격 하에서도 높은 탐지율을 달성하여 강건성과 텍스트 품질 간의 전통적인 트레이드오프를 성공적으로 깨뜨립니다.
• 실용적 배포: 이 방법은 사용자가 콘텐츠를 자주 편집, 단축 또는 의문사 재구성을 하는 실제 세계 LLM 서비스에 실현 가능한 솔루션으로 제시됩니다.
• 한계: 저자들은 SAMARK 가 여전히 문장 수준 후보 샘플링 (현재의 자기회귀 LLM 의 한계) 이 필요하기 때문에 토큰 수준 방법보다 지연 시간이 더 길며, 현재는 멀티 비트 페이로드 임베딩이 아닌 제로 비트 (예/아니오) 탐지를 지원한다는 점을 겸손하게 인정합니다.

결론적으로, SAMARK 는 적대적 환경에서 AI 생성 텍스트를 식별하기 위한 강건하고 고품질이며 효율적인 솔루션을 제공함으로써 의미 수준 워터마킹의 새로운 최첨단 기준을 확립합니다.