기술 요약: WaterSearch

문제 정의

대형 언어 모델 (LLM) 은 책임성을 확보하고 기계 생성 콘텐츠를 식별하기 위해 강력한 워터마킹 메커니즘이 필요합니다. KGW 프레임워크와 같은 기존 방법들은 일반적으로 생성 과정에서 토큰 수준의 확률 분포를 교란 (perturbing) 하는 방식에 의존합니다. 탐지에는 효과적이지만, 이러한 교란은 잘 알려진 트레이드오프를 초래합니다: 워터마크 강도를 높이면 텍스트 품질이 저하되는 경향이 있으며, 특히 짧은 텍스트 생성, 추론 작업, 그리고 낮은 엔트로피 생성 (예: 코드 완성) 과 같은 까다로운 시나리오에서 두드러집니다. 엔트로피 인식 휴리스틱이나 편향 없는 조정을 통해 이를 완화하려는 현재의 시도들은 여전히 고정된 생성 파이프라인 하에서 토큰 분포를 수정하는 방식에 의존하고 있어, 모델의 원래 동작과 괴리될 수 있으며 탐지 가능성과 충실도 사이의 균형을 맞추지 못합니다.

방법론: WaterSearch

저자들은 WaterSearch를 제안합니다. 이는 토큰 수준의 교란에서 시드 (seed) 수준의 제어로 관점을 전환하는 검색 기반 프레임워크입니다. 핵심 통찰은 워터마크의 동작이 서로 다른 무작위 시드에 따라 크게 달라지며, 이로 인해 탐지 강도와 생성 품질 사이에 다양한 트레이드오프가 발생한다는 점입니다.

1. 시드 풀링 및 병렬 생성

단 하나의 고정된 시드로 단일 텍스트 시퀀스를 생성하는 대신, WaterSearch 는 각 생성 단계에서 글로벌 시드의 **시드 풀 (seed pool)**을 유지합니다.

• 시드 풀 구성: 재현성을 보장하고 통제된 변형을 도입하기 위해, 사전 정의된 시드 집합을 비밀 키 ($\pi_{key}$) 를 사용하여 순열 (permuted) 합니다.
• 병렬 후보: 텍스트의 각 청크 (chunk) 에 대해, 프레임워크는 $k$개의 후보를 병렬로 생성합니다: 하나의 표준 워터마크 없는 시퀀스와 풀에서 서로 다른 시드로 인스턴스화된 $k-1$개의 워터마크된 시퀀스입니다.
• 효율성: 계산 비용을 관리하기 위해 시스템은 키 - 값 (KV) 캐시 재사용을 통한 병렬 생성을 도입하여, 메모리 복잡도를 $O(k(L+T))$에서 $O(k(L+m))$으로 줄입니다. 여기서 $m$은 청크 크기입니다.

2. 후보 선택

WaterSearch 는 워터마킹을 후보 선택 문제로 취급합니다. 가중치 목적 함수 $q(y, \tilde{y})$를 사용하여 생성된 $k$개의 청크를 평가합니다:
$$q(y, \tilde{y}) = \alpha q_{sim}(y, \tilde{y}) + (1 - \alpha) \frac{|\tilde{y}|_G}{|\tilde{y}|}$$
여기서:

• $q_{sim}$은 후보와 워터마크 없는 참조 간의 유사성 (어휘적 또는 의미적) 을 측정합니다 (충실도).
• $\frac{|\tilde{y}|_G}{|\tilde{y}|}$는 "그린 리스트" 토큰의 비율을 나타냅니다 (탐지 가능성).
• $\alpha$는 품질과 탐지 가능성을 균형 있게 조절하는 조정 가능한 하이퍼파라미터입니다.
  가장 높은 점수를 받은 청크가 선택되어 다음 반복을 위한 컨텍스트에 추가됩니다.

3. 탐지 전략

선택된 청크에 사용된 특정 시드는 탐지기에 명시적으로 알려져 있지 않으므로, WaterSearch 는 최대 통계량 기반 가설 검정 (max-statistic based hypothesis testing) 전략을 사용합니다:

• 청크 수준 검정: 주어진 텍스트 청크에 대해, 탐지기는 시드 풀을 재구성하고 모든 후보 시드에 대한 워터마크 통계량 (그린 토큰 수) 을 평가합니다.
• 최대 통계량: 시드 풀 전체에서 관찰된 최대 통계량을 선택합니다. 귀무가설 ($H_0$, 워터마크 없음) 하에서, 이 최대 통계량의 분포는 독립적인 이항 변수들의 최댓값에서 유도됩니다.
• 집계: 청크 수준의 p-값은 피셔의 방법 (Fisher's method) 을 사용하여 집계되어 문서 수준의 유의성 점수를 계산합니다. 이 접근 방식은 여러 청크에 걸쳐 증거를 누적하므로 토큰 수준의 교란과 문장 재구성 (paraphrasing) 에 강건합니다.

주요 기여

1. 시드 수준 관점: 이 논문은 무작위 시드가 워터마크 동작에 상당한 영향을 미친다고 규명하고, 품질 - 탐지 가능성 트레이드오프 공간을 탐색하기 위한 새로운 메커니즘으로 시드 풀링을 도입했습니다.
2. WaterSearch 프레임워크: 서로 다른 시드 하에서 후보를 생성하고 선택하는 실용적이고 모듈식 프레임워크로, 기존 토큰 수준 워터마킹 방법 (예: KGW, GPT Watermark) 과 호환됩니다.
3. 강건한 탐지: 명시적인 시드 식별이 필요 없는 시드 수준의 통계적 변이에 기반한 탐지 방법으로, 공격에 대한 강건성을 제공합니다.

실험 결과

실험은 10 가지 작업 (짧은/긴 텍스트, QA, 코드 포함) 을 포괄하는 WaterBench와 RepoBench-P에서 수행되었으며, 세 가지 모델 (Qwen2.5-7B, Llama2-7B, InternLM-7B) 과 네 가지 워터마크 베이스라인을 대상으로 진행되었습니다.

• 전체 성능: WaterSearch 는 모든 설정에서 일관되게 베이스라인 방법을 능가하여, 품질 및 탐지 지표의 기하평균 (GM) 에서 평균 약 5.5 점의 절대적 향상을 달성했습니다.
• 까다로운 시나리오:
  • 짧은 텍스트 생성: 토큰 예산이 제한된 상황에서 탐지 성공률의 유의미한 향상 (예: Copen 에서 +26.9 점, HotpotQA 에서 +3.7 점) 을 보였습니다.
  • 낮은 엔트로피 생성: 코드 완성 작업 (LCC, RepoBench-P) 에서 주목할 만한 향상을 보였으며, 평균 4.7 점의 이득을 거두면서 텍스트 품질을 유지하면서 탐지 가능성을 개선했습니다.
• 강건성: 이 방법은 베이스라인에 비해 삽입 공격, 동의어 치환, 그리고 문장 재구성 공격 (Pegasus, Parrot) 에 대해 우수한 내성을 입증했습니다.
• 절대 실험 (Ablation Studies):
  • 병렬 빔 크기 ($K$) 를 증가시키면 품질과 탐지 모두 개선되었으며, $K=2$만으로도 베이스라인 대비 향상을 보였습니다.
  • 트레이드오프 인자 $\alpha$는 유연한 제어를 가능하게 하여, WaterSearch 가 베이스라인보다 더 나은 파레토 프론티어를 달성했습니다.

의의 및 주장

이 논문은 무작위성 (무작위 시드) 을 통제 가능한 변수로 취급하는 것이 토큰 수준의 생성 논리를 근본적으로 변경하지 않고도 워터마킹을 개선하는 원칙적인 방법임을 주장합니다. 시드의 다양성을 활용함으로써 WaterSearch 는 특히 기존 교란 방법들이 어려움을 겪는 시나리오에서 품질 - 탐지 가능성 트레이드오프를 효과적으로 탐색합니다. 저자들은 그들의 접근 방식이 모듈식이며 기존 워터마킹 체계와 호환되어, 실제 세계 LLM 애플리케이션에 강력한 워터마크를 배포하기 위한 실용적인 해결책을 제공한다고 강조합니다.

이 연구는 한계를 인정하며, 이는 기반 워터마킹 방법의 제약 (예: KGW 의 품질에 대한 잠재적 영향) 을 계승하고 추가적인 계산 오버헤드를 발생시킨다고 지적합니다. 다만 이는 KV 캐시 재사용으로 완화됩니다. 향후 작업은 샘플링 효율성 향상과 비용 절감에 초점을 맞출 것으로 제안됩니다.