기술 요약: ArcMark

문제 정의

본 논문은 대규모 언어 모델 (LLM) 을 위한 다중 비트 워터마킹의 과제를 다룹니다. 기존 방법들은 AI 생성 텍스트를 탐지하기 위해 단일 비트 (제로 비트 워터마킹) 를 임베딩하거나, 제로 비트 원리를 확장하여 (예: 토큰당 한 비트) 다중 비트를 임베딩할 수 있지만, 이러한 접근법은 용량 측면에서 제한적입니다. 현재 방법들은 수백 개의 토큰으로 이루어진 시퀀스에 몇 비트 이상의 정보를 신뢰성 있게 임베딩하는 데 어려움을 겪고 있습니다.

저자들은 중요한 간극을 식별했습니다: 사용자 ID, 모델 버전, 또는 프롬프트 자체와 같은 실용적인 애플리케이션은 여러 바이트의 정보를 임베딩할 수 있는 능력을 요구합니다. 또한, LLM 워터마킹의 "금표준"은 워터마킹 과정이 LLM 의 평균 다음 토큰 예측을 변경하지 않는 왜곡 없는 (distortion-free) 임베딩입니다. 이를 통해 텍스트 품질과 퍼플렉시티가 보존됩니다. 본 논문은 두 가지 핵심 질문을 제기합니다:

1. 다음 토큰 예측을 왜곡하지 않고 LLM 출력에 임베딩할 수 있는 정보의 이론적 한계 (용량) 는 무엇인가?
2. 실용적인 방식이 이 한계에 근접하여 신뢰성 있는 다중 바이트 삽입을 달성할 수 있는가?

방법론: ArcMark

저자들은 코딩 이론과 최적 수송 (optimal transport) 에 기반한 워터마킹 구성인 ArcMark를 소개합니다. 핵심 통찰력은 다중 비트 워터마킹을 독립적인 토큰 결정의 시퀀스가 아닌, 인코더 (워터마커) 와 디코더 모두에서 이용 가능한 사이드 정보를 가진 채널 코딩 문제로 재정의하는 것입니다.

1. 정보 이론적 공식화

저자들은 LLM 을 "노이즈"가 다음 토큰 분포 ($Q_{X_t}$) 의 고유한 무작위성인 노이즈 채널로 모델링합니다. 그들은 왜곡 없는 다중 비트 워터마킹에 대한 **섀넌 용량 (Shannon capacity)**을 유도합니다.

• 왜곡 없는 제약 조건: 워터마킹된 토큰의 주변 분포는 공유된 사이드 정보에 대한 기대값에서 원래 LLM 분포와 같아야 합니다: $E_{S_t}[Q_{X_t|S_t, M=m}] = Q_{X_t}$.
• 용량 유도: 다음 토큰 분포가 독립적이고 동일하게 분포된 (i.i.d.) 확률 변수라고 가정할 때, 용량은 왜곡 없는 제약 조건 하에서 인코딩된 메시지 $W$와 출력 $X$ 사이의 최대 상호 정보량 $I(W; X)$로 정의됩니다.
• 이론적 한계: 특정 이진 토큰 분포 클래스에 대해, 어휘 크기가 무한대로 접근함에 따라 용량은 약 토큰당 0.2787 비트로 유도됩니다.

2. ArcMark 구성

ArcMark 는 문제를 기하학적 공간에 매핑하고 최적화 문제를 해결함으로써 신뢰성 있는 임베딩을 달성합니다:

• 기하학적 표현: 토큰 어휘, 메시지 코드워드 심볼, 그리고 공유된 무작위 키는 모두 단위 원 (각도) 위의 점으로 매핑됩니다.
  • 토큰은 $2\pi i / N$으로 매핑됩니다.
  • 메시지 심볼은 $2\pi c / p$로 매핑됩니다.
  • 사이드 정보 (무작위 시프트) 는 $2\pi v / r$로 매핑됩니다.
• 인코딩 (선형 코딩): $k$-비트 메시지는 정수 모듈로 $p$에 대한 무작위 선형 코드를 사용하여 코드워드 심볼 $C_m(t)$로 매핑됩니다. 이 심볼은 공유된 무작위 시프트 $V_t$와 결합되어 원 위의 목표 각도 $z_t$를 생성합니다.
• 임베딩 (최적 수송): LLM 의 출력 분포를 왜곡하지 않고 메시지를 임베딩하기 위해, 워터마커는 왜곡 없는 제약 조건을 만족하면서 목표 각도 $z_t$에 "가까운" 토큰 $X_t$를 선택해야 합니다. 이는 최적 수송 (OT) 문제로 공식화됩니다.
  • 워터마커는 주변 분포가 원래 LLM 분포와 일치한다는 제약 조건 하에 선택된 토큰과 목표 각도 사이의 기대 각도 거리를 최소화하는 조건부 분포 $Q^*_{X_t|Z_t}$를 풉니다.
  • 이는 Sinkhorn 알고리즘을 사용하여 효율적으로 해결됩니다.
• 디코딩: 디코더는 토큰 시퀀스와 공유된 사이드 정보를 관찰합니다. 전송된 각도를 추정하고, 공유된 무작위성을 제거하여 코드워드 심볼을 복원한 후, 모든 가능한 메시지에 대해 최소 거리 디코딩을 수행하여 전체 메시지를 복원합니다.

주요 기여

1. ArcMark 알고리즘: 수백 개의 토큰에 여러 바이트의 정보를 임베딩할 수 있는 새로운 왜곡 없는 다중 비트 워터마킹 방식.
2. 용량 특성화: 사이드 정보를 가진 채널 코딩 문제로 문제를 프레임하는 왜곡 없는 다중 비트 LLM 워터마킹에 대한 섀넌 용량의 공식적 유도.
3. 이론적 최적성: 특정 단순화 가정 (이진 토큰 분포) 하에서 ArcMark 가 유도된 섀넌 용량을 달성함을 증명.
4. 실증적 검증: ArcMark 가 메시지 정확도와 견고성 측면에서 기존 다중 비트 방식 (특히 BiMark 와 MPAC) 을 능가하면서도 왜곡 없는 특성을 유지함을 보여주는 포괄적인 평가.

실험 결과

저자들은 C4-RealNewslike 데이터셋을 사용하여 세 가지 오픈 가중치 모델 (Llama3-8B, Mistral-7B, Qwen3-8B) 에서 ArcMark 를 평가했습니다.

• 메시지 정확도: ArcMark 는 특히 더 큰 페이로드 (2, 3, 4 바이트) 의 경우 전체 메시지를 복원하는 데 있어 BiMark 를 크게 능가합니다. 비트 정확도가 중요하지만, 논문은 단일 비트 오류가 전체 메시지 (예: 사용자 ID) 를 잘못 만들 수 있음을 지적하며 운영 지표로서 메시지 정확도를 강조합니다.
• 견고성: ArcMark 는 개사 공격 (paraphrasing attacks) (특히 프랑스어 역번역) 에 대해 우수한 견고성을 보여줍니다. 높은 공격 비율 (문장의 30% 개사) 에서도 ArcMark 는 공격받지 않은 BiMark 보다 높은 메시지 정확도를 유지합니다.
• 왜곡 없는 특성:
  • 퍼플렉시티: ArcMark 의 퍼플렉시티는 워터마킹되지 않은 기준선과 거의 동일하며 BiMark 보다 더 가깝습니다. 이는 LLM 의 출력 분포가 보존됨을 확인합니다.
  • 하류 유틸리티: 추출형 질문 답변 (SQuAD), 긴 컨텍스트 코드 완성 (LCC), 그리고 기능적 코드 정확도 (HumanEval) 에서 ArcMark 는 워터마킹되지 않은 기준선에 비해 의미 있는 저하를 보이지 않습니다.
• 제로 비트 탐지: ArcMark 는 높은 정확도로 제로 비트 탐지 (텍스트가 워터마킹되었는지 판단) 를 지원하며, 150 개의 토큰부터 거의 완벽한 탐지율에 도달합니다.

중요성과 주장

본 논문은 다중 비트 워터마킹을 휴리스틱 문제에서 클로드 섀넌 (Claude Shannon) 의 시대로 거슬러 올라가는 사이드 정보를 가진 채널 코딩 문제로 재정의한다고 주장합니다. 용량과 코드 설계의 관점으로 시선을 돌림으로써, 저자들은 정보 이론이 LLM 워터마킹의 한계를 이해하기 위한 수학적 기반을 제공하고 이를 설계하기 위한 구성적 경로를 제공한다고 주장합니다.

ArcMark 의 중요성은 텍스트 품질을 왜곡하지 않고 신뢰성 있게 정보의 바이트(비트뿐만 아니라) 를 임베딩할 수 있는 능력에 있습니다. 이는 책임 소재와 규제 준수를 위해 중요한 사용자 프롬프트 추적, 모델 버전, 특정 모델 인스턴스와 같은 실용적인 애플리케이션을 가능하게 합니다. 저자들은 비트 수준의 정확도보다 메시지 수준의 정확도를 최적화함으로써 오인식의 위험이 줄어든다고 지적합니다.

본 논문은 용량 분석이 특정 분포 가정에 의존하지만, 이 프레임워크가 더 넓은 이론적 특성화와 더 높은 복구율 및 더 강력한 견고성 보장을 가진 워터마킹 설계의 문을 연다고 결론지었습니다.