기술 요약: SLAM (구조적 언어 활성화 마킹)

문제 제기

대규모 언어 모델 (LLM) 의 광범위한 배포는 AI 생성 텍스트와 인간 작성 콘텐츠를 구별하기 위한 신뢰할 수 있는 출처 귀속을 필요로 합니다. 현재 워터마킹 방식은 탐지 가능성, 텍스트 품질, 견고성 사이의 근본적인 트레이드오프에 직면해 있습니다.

주도적인 패러다임 (예: KGW, EWD, Unigram) 은 모델의 다음 토큰 분포에 편향을 가하는 방식으로 작동합니다 (예: 녹색 목록 토큰 선택을 통한 방식). 이는 효율적이지만 측정 가능한 품질 비용을 수반합니다: Gemma-2 모델에서 이러한 방법들은 7.511.5 개의 보상 점수를 잃고, 반복적이고 부자연스러운 출력을 나타내는 붕괴된 조건부 퍼플렉시티 비율 (0.300.42) 을 보입니다. 반면, 최근의 희소 오토인코더 (SAE) 기반 방법인 SAEMark 과 같은 방식은 거의 손실 없는 품질을 달성하지만, 높은 계산 오버헤드 (단계당 $N=50$개의 후보 샘플링) 와 의미적 변화 및 단순한 텍스트 편집에 대한 취약성을 겪습니다.

방법론: SLAM

SLAM(Structural Linguistic Activation Marking) 은 토큰 빈도 편향에서 탐지를 분리하는 화이트박스 워터마킹 방식을 제안합니다. SLAM 은 샘플링되는 토큰을 변경하는 대신, 모델의 잔여 스트림 (residual stream) 의 구조적 기하학에 워터마킹을 기록합니다.

핵심 메커니즘

1. 구조적 특징 마이닝:

   • 저자들은 구문적 대안, 시제, 형태론, 담화 등 104 가지 언어 현상을 다루는 46,579 개의 문장 쌍으로 구성된 대조적 데이터셋을 구축합니다. 이러한 쌍은 의미적 내용은 일정하게 유지하면서 구조적 형태 (예: 능동태 vs. 수동태) 만을 변화시킵니다.
   • 잔여 스트림에서 훈련된 희소 오토인코더 (SAE) 를 사용하여, 이러한 구조적 특징을 인코딩하는 특정 국소 하위 공간을 식별합니다.
   • 복합 점수 메커니즘 (대조적 크기 $\times$ 순도 $\times$ 교차 도메인 일관성) 은 의미 내용보다는 구조적 변화에 강력하게 반응하는 SAE 방향을 분리해냅니다.

2. 방향 구성 (SVD):

   • 구조적 개념이 여러 약한 판별 특징에 걸쳐 분포되어 있는 현상 (Gemma-2 9B 와 같은 더 큰 모델에서 일반적임) 의 경우, SLAM 은 대조적 차이 행렬에 대해 특이값 분해 (SVD) 를 수행합니다.
   • 이를 통해 $k$개의 직교 구조 모드가 도출됩니다. 이 방법은 단일 특징 조종 ($k=1$) 과 복합 하위 공간 조종 ($k>1$) 을 모두 지원하여 더 큰 모델로 효과적으로 확장할 수 있게 합니다.
   • 양방향 마이닝: 시스템은 대상 구조와 그 역방향에 대한 방향을 모두 마이닝하여, 선택 중 충돌률을 낮추기 위해 조종 가능한 방향의 풀을 두 배로 늘립니다.

3. 인과적 조종 및 주입:

   • 생성 시, SLAM 은 특정 계층 (현상의 피크 활성화 계층으로 결정됨) 에서 잔여 스트림에 후크를 겁니다.
   • 새로 생성된 토큰의 잔여 스트림에 스케일된 벡터 ($\alpha \cdot v_{structure}$) 를 추가합니다. 이는 개별 토큰의 어휘 선택을 제한하지 않으면서 모델이 특정 구문 변형 (예: 수동태) 을 생성하도록 편향시킵니다.
   • 특징 선택: HMAC 키가 적용된 가중 샘플링을 통해 문서별 특징 하위 집합을 선택하여 고유성과 보안을 보장합니다.
   • 조기 종료 생성: 시스템은 최대 $N=4$개의 후보를 생성하고, 보정된 탐지 임계값 ($\hat{z} \ge 2.0$) 을 통과하는 첫 번째 후보를 반환하여, 후보 점수 매기기 방식에 비해 오버헤드를 크게 줄입니다.

4. 탐지:

   • 탐지는 모델의 단일 순방향 전달 (forward pass) 만 필요합니다. 잔여 스트림 활성화는 사전 계산된 구조적 방향으로 투영되어 Stouffer $z$-점수를 계산합니다.
   • 탐지 시 SAE 순방향 전달이 필요하지 않으므로, 이 과정은 계산적으로 효율적입니다.

주요 기여

1. 대조적 마이닝 파이프라인: 104 가지 현상과 5 개의 의미 도메인에 걸친 복합 점수를 통해 구조적 SAE 방향을 분리하는 파이프라인으로, 도메인 불변성을 보장합니다.
2. PCA-양방향 구조적 방향: 직교 복합 방향 ($k>1$) 을 구성하기 위한 SVD 기반 방법으로, 더 큰 모델 (9B 이상) 에서 분산된 구조적 표현을 처리하고 조절 가능한 품질 - 탐지 트레이드오프를 제공합니다.
3. 효율적인 화이트박스 방식: HMAC 키가 적용된 선택과 조기 종료 생성 루프를 갖춘 완전한 워터마킹 시스템입니다. 이는 SAEMark 보다 LLM 호출 횟수가 한 자릿수 적습니다 ($N \le 4$ 대 $N=50$) 그리고 modest 한 오버헤드 (생성 시간의 약 $1.6$배) 로 작동합니다.
4. 실증적 검증: 네 가지 품질 지표 계열과 일곱 가지 견고성 공격에 대해 6 개의 베이스라인과 비교하여 Gemma-2 2B 및 9B 에서 포괄적인 평가가 수행되었습니다.

실험 결과

Gemma-2 2B 및 9B 사전 훈련 모델에서 평가됨:

• 탐지 성능: SLAM 은 두 모델 크기 모두에서 2.3% 의 거짓 양성률 (FPR) 에서 **100% 의 진양성률 (TPR)**을 달성합니다.
• 품질 보존:
  • 보상 격차: SLAM 은 보상 페널티가 **$\Delta$Reward = -1.3 (2B) 및 -1.9 (9B)**로만 발생합니다. 이는 7.5~11.5 점을 잃는 토큰 분포 베이스라인 (KGW, EWD, Unigram) 보다 현저히 낮습니다.
  • 자연스러움: SLAM 은 다른 방법들보다 워터마킹이 없는 베이스라인에 훨씬 더 가까운 출력 분포 지표 (distinct-n, Self-BLEU, MAUVE) 와 조건부 퍼플렉시티 비율 (1.24/1.36) 을 유지합니다. 토큰 분포 방법과 달리 반복적인 텍스트 (PPL 비율 붕괴) 를 유발하지 않습니다.
  • 문법: 문법 오류율은 베이스라인 수준에 근접하게 유지됩니다.
• 견고성 프로파일:
  • 단어 수준 공격: SLAM 은 동의어 치환, 단어 삭제, 단어 치환, 그리고 문장 재배열에 대해 100% 견고합니다.
  • 개사 공격: SLAM 은 구문 재구조화 개사 (예: DIPPER) 에 취약하여 TPR 이 약 10~12% 로 떨어집니다. 그러나 논문은 이러한 공격이 공격자에게 품질 비용 (텍스트 저하) 을 부과한다고 지적하며, 이 취약점은 토큰 분포 방법 (개사에는 견고하지만 단어 수준 편집에는 취약) 과는 반대되는 것입니다.

중요성과 주장

이 논문은 워터마킹이 적절한 수준의 언어 추상화 (토큰 빈도 대 구조적 기하학) 에서 인코딩될 때 품질과 탐지는 트레이드오프할 필요가 없다고 주장합니다.

• 메커니즘적 통찰: SLAM 은 모델이 샘플링하는 어떤 토큰이 아니라 생성하는 어떤 구조적 변형을 조종함으로써, 어휘 표면과 의미적 의미를 본질적으로 제약하지 않습니다. 이는 보상 모델, 퍼플렉시티, 다양성 지표에서의 우수한 성능을 설명합니다.
• 상호 보완적 견고성: 논문은 구문 재구조화 개사에 대한 SLAM 의 취약성을 거의 손실 없는 생성 품질을 달성하기 위한 계산된 수용 가능한 비용으로 위치시킴으로써, 토큰 편향 방식의 "반복적 텍스트" 서명과 대비시킵니다.
• 확장성: 특징이 분산되어 있는 더 큰 모델로 구조적 워터마킹을 확장하는 데 있어 복합 하위 공간 ($k>1$) 의 사용이 결정적인 촉진제로 확인되었습니다.

저자들은 SLAM 이 화이트박스 접근이 필요하고 심각한 구조적 재작성에 민감하지만, 기존 토큰 분포 및 의미 점수 방식에 비해 출처 귀속을 위한 탐지 가능성과 품질 보존의 더 나은 균형을 제공한다고 결론지었습니다.