Rethinking LLM Watermark Detection in Black-Box Settings: A Non-Intrusive Third-Party Framework

1. 문제 정의 (Problem Definition)

• 현재의 한계: 기존 LLM 워터마킹 기술은 대부분 **비밀 키 (Secret Key)**에 의존합니다. 워터마크 삽입 (Injection) 과 검출 (Detection) 이 밀접하게 결합되어 있어, 검출을 위해서는 키나 제공자 측의 특정 검출기가 필수적입니다.
• 검증의 불투명성: 이로 인해 독립적인 제 3 자 (법원, 플랫폼 관리자, 규제 기관 등) 가 키 없이 워터마크 존재 여부를 독립적으로 검증하는 것이 불가능합니다. 제공자의 주장에만 의존해야 하므로 신뢰성 문제가 발생합니다.
• 보안과 검사의 딜레마: 제 3 자가 검사를 수행하려면 키를 공개해야 하는데, 이는 키가 유출되면 적대자가 워터마크를 모방하거나 제거할 수 있어 보안이 위협받습니다.
• 기존 대안의 부족: 최근 공개적으로 검증 가능한 워터마킹 연구들이 진행되고 있으나, 여전히 검출 로직이 특정 삽입 메커니즘에 맞춰져 있어 이질적인 모델과 워터마킹 방식 간에 중립적이고 재사용 가능한 감사 레이어로 작동하지 못합니다.

2. 제안 방법론: TTP-Detect

저자들은 TTP-Detect라는 새로운 블랙박스 프레임워크를 제안하여 검출을 삽입 (Injection) 과 완전히 분리 (Decoupling) 했습니다.

핵심 아이디어

검출을 **절대적 임계값 (Absolute Threshold)**이 아닌 상대적 가설 검정 (Relative Hypothesis Testing) 문제로 재정의합니다.

• 가설: 주어진 텍스트 $t_q$가 제공자의 일반 텍스트 분포 ($P_o$) 보다 워터마크가 적용된 분포 ($P_{wm}$) 와 더 일치하는가?
• 접근 방식: 비밀 키나 제공자의 내부 모델 상태 없이, 오직 관찰 가능한 출력 텍스트만을 기반으로 검증합니다.

프레임워크 구성 요소

1. 프록시 기반 표현 추출 (Proxy-Based Representation Extraction)

   • 목적: 원본 텍스트에서 미묘한 워터마크 신호를 증폭하기 위해.
   • 방법: 제공자 (S) 의 모델과 쌍을 이루는 프록시 모델 (Proxy Model) 을 감독 학습 (Discriminative Instruction Tuning) 을 통해 미세 조정합니다. 이 모델은 워터마크가 적용된 텍스트와 적용되지 않은 텍스트를 구분할 수 있는 잠재 공간 (Representation Space) 을 학습합니다.
   • 데이터: 제공자에게 쿼리를 보내 워터마크 유무에 따른 쌍 (Pair) 된 참조 데이터셋 ($T_o, T_{wm}$) 을 생성합니다.

2. 상대적 측정 모듈 (Relative Measurement Modules)
   단일 통계량으로는 다양한 워터마킹 방식을 포괄할 수 없으므로, 4 가지 상보적인 측정 모듈을 사용합니다.

   • 로컬 일관성 테스트 (Local Consistency Test): 프록시 모델의 특징 공간에서 쿼리 텍스트의 이웃이 워터마크된 참조 샘플로 얼마나 채워져 있는지 확인합니다 (커널 밀도 추정).
   • 글로벌 기하학 테스트 (Global Geometry Test):
     • 마할라노비스 점수: 특징 공간에서의 분포적 이동 (Distributional Shift) 을 고려한 거리 측정.
     • 에너지 점수 (Energy Score): 가우스 분포 가정을 위반하는 복잡한 분포를 처리하기 위한 비모수적 거리 측정.
   • 적응형 순위 테스트 (Adaptive Rank Test): 임베딩 기하학이 아닌 생성 역학 (토큰 선택 확률 패턴) 에 초점을 맞춥니다. 생성 시의 로그-가능도 (NLL) 와 국소 변동성을 분석하여 워터마크 방식에 따라 방향이 달라지는 신호를 적응적으로 순위 매깁니다.

3. 앙상블 및 결정 (Ensemble & Detection)

   • 위 4 가지 모듈의 점수를 경량 앙상블 (가중 합 + 시그모이드) 로 통합합니다.
   • 보안 조정 전략: 적대적 공격 (Paraphrasing 등) 에 견딜 수 있도록 검증 세트에서 가중치를 학습하고, 거짓 양성률 (FPR) 을 엄격하게 통제하는 임계값을 설정합니다.

3. 주요 기여 (Key Contributions)

1. 선구적인 제 3 자 검증 프레임워크: 블랙박스 환경에서 키와 무관하게 (Key-agnostic) 워터마크 검출을 수행하는 첫 번째 프레임워크를 제안하여, 보안 유출 없이 독립적인 감사를 가능하게 했습니다.
2. 상대적 가설 검정 패러다임: 프록시 표현과 상보적 상대 측정을 활용하여 제공자의 모델 상태나 알고리즘을 알지 못하더라도 미묘한 워터마크 흔적을 포착하는 통합 프레임워크 (TTP-Detect) 를 개발했습니다.
3. 범용성과 견고성 입증: 다양한 워터마킹 방식 (Logits 기반, Sampling 기반, 분산 보존 방식 등) 과 공격 시나리오 (편집, 문장 재구성 등) 에 걸쳐 우수한 검출 성능과 견고함을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 실험 설정: Llama-3.1-8B, OPT-6.7B 등 다양한 생성 모델과 KGW, Unigram, SynthID, SymMark 등 7 가지 주요 워터마킹 방식을 대상으로 평가했습니다.
• 성능:
  • 대부분의 기존 방식 (KGW, Unigram 등) 에서 AUROC 0.99 이상의 높은 성능을 기록했습니다.
  • 특히 SymMark와 같은 합성 워터마킹 방식에서는 F1 및 AUROC 1.000의 완벽한 검출 성능을 보였습니다.
  • 기존 공개 검출 방식 (UPV) 보다 다양한 공격 하에서 더 높은 견고함을 보였습니다.
• 공격 견고성: 단어 삭제/대체 (Word-D, Word-S) 및 문장 재구성 (Dipper, GPT-5.1) 공격에도 불구하고 평균 AUROC 가 0.98 이상을 유지하며 높은 견고성을 입증했습니다.
• 효율성: 참조 데이터셋 생성 (제공자 호출) 을 제외하면 TTP 측의 계산 오버헤드는 2 초 미만으로 매우 낮아 확장 가능한 감사 프로세스가 가능합니다.

5. 의의 및 결론 (Significance)

• 거버넌스 패러다임의 전환: TTP-Detect 는 "검출을 위한 키 공개"라는 불가능한 요구를 없애고, **비침습적 (Non-intrusive)**인 제 3 자 감사를 가능하게 합니다. 이는 AI 생성 콘텐츠에 대한 법적, 규제적 책임 소재를 명확히 하는 데 필수적인 기술적 기반을 제공합니다.
• 중립성과 재사용성: 특정 제공자나 알고리즘에 종속되지 않으므로, 다양한 모델과 워터마킹 방식이 혼재하는 실제 환경에서 중립적인 감사 도구로 활용될 수 있습니다.
• 한계와 전망: 워터마크 신호가 의도적으로 매우 약하게 설계된 경우 (편향 최소화 등) 검출 성능이 저하될 수 있으나, 추가적인 상대 측정 모듈을 통해 이를 보완할 수 있는 확장성을 가지고 있습니다.

이 논문은 LLM 워터마킹 기술이 실제 사회에 적용되기 위해 반드시 해결해야 했던 "검증의 투명성 vs 보안"이라는 딜레마를 해결하는 중요한 이정표가 됩니다.