기술 요약: 검출 가능성을 보장하는 폐쇄형 LLM 을 위한 데이터셋 워터마킹

문제 정의

대규모 언어 모델 (LLM) 은 종종 방대하고 느슨하게 큐레이션된 데이터셋으로 훈련되며, 이는 우연히 독점 데이터나 평가 벤치마크를 포함할 수 있습니다. 이러한 현상은 "벤치맥싱 (benchmaxxing, 사후 훈련 중 벤치마크 성능 최적화)"으로 인해 더욱 악화되어 데이터 오염 및 모델 평가의 신뢰성에 대한 우려를 제기합니다. 최근 연구에서는 데이터셋 사용 감사를 위해 배포 전 데이터셋에 탐지 가능한 신호를 삽입하는 데이터셋 워터마킹을 탐구해 왔으나, 기존 방법들은 두 가지 중요한 한계를 겪고 있습니다:

1. 접근 요구사항: 기존 접근법 (예: STAMP, Radioactive) 은 오픈 모델 접근에 의존하여 로그 확률, 다음 토큰 분포, 또는 퍼플렉시티 점수와 같은 모델 내부 구조에 대한 가시성이 필요합니다. 이는 대부분의 상업용 챗봇 표준인 **폐쇄형 모델 접근 (블랙박스 API)**에는 효과가 없습니다.
2. 이론적 보장의 부재: 기존 방법들은 종종 탐지의 거짓 양성률 (FPR) 에 대한 엄격하고 분포에 무관한 이론적 상한을 결여하고 있습니다.

본 논문은 모델 출력에 대한 블랙박스 API 접근만을 가정하여 특정 데이터셋이 대상 LLM 훈련에 사용되었는지 탐지하는 문제를 다루며, 탐지 신뢰성에 대한 검증 가능한 통계적 보장을 제공합니다.

방법론

제안된 프레임워크는 임베딩과 탐지의 두 단계로 운영됩니다. 핵심 직관은 딥러닝 모델이 훈련 데이터에 존재하는 부수적 특징과 통계적 상관관계를 암기하는 경향을 활용하는 데 있습니다.

1. 임베딩 단계 (워터마크 주입)

데이터 소유자는 데이터셋의 유용성을 변경하지 않으면서 탐지 가능한 통계적 신호를 주입하기 위해 데이터셋을 재구성합니다:

• 비밀 키 생성: 데이터셋 어휘에서 단어 쌍 집합을 무작위로 샘플링하여 비밀 키 ($sk$) 를 생성합니다.
• 어휘 변형체 구성: 키의 각 단어에 대해 어휘 변형체 (동의어, 공발생 용어) 집합을 생성합니다.
• 공발생을 위한 재구성: ChatGPT 와 같은 LLM 을 사용하여 데이터셋을 재구성하여 선택된 단어 쌍의 공발생 빈도를 높입니다.
  • 두 단어 모두의 변형체를 포함하는 샘플은 보존되거나 강화됩니다.
  • 한 단어는 포함하지만 쌍을 이루는 단어는 포함하지 않는 샘플은 쌍을 포함하도록 수정됩니다.
  • 중요하게도, 공발생은 샘플 수준에서 정의됩니다. 단어는 연속될 필요가 없으며, 동일한 샘플 내에 존재하기만 하면 됩니다.
    이 과정은 워터마크가 없는 데이터에서 자연적으로 발생할 가능성이 낮은 통제된 인위적 상관관계를 도입합니다.

2. 탐지 단계 (통계적 검정)

대상 모델 $M$과 비밀 키 $sk$가 주어지면, 감사자는 모델을 쿼리하여 텍스트를 생성하고 단어 쌍의 공발생 통계를 분석합니다.

• 상관관계 측정: 생성된 텍스트 내 단어 쌍의 존재에 대한 지표 변수 간의 피어슨 상관관계를 계산합니다.
• 편차 계산: 모델 출력의 공발생 행동과 기준 (워터마크가 없는) 데이터셋 간의 편차 ($A_{w_i, w_j}$) 를 계산합니다.
• 탐지 점수: 임계값 $\tau$를 초과하는 비밀 키 쌍의 비율과 동일한 임계값을 초과하는 비키 쌍의 비율을 비교하여 점수를 계산합니다.
• 결정 규칙: 탐지 점수가 임계값 $t$를 초과하면 워터마크의 존재가 선언됩니다.

이론적 보장

본 논문은 거짓 양성률 (FPR) 에 대한 분포 무관 및 모델 무관한 상한을 제공합니다.

• 정리 4.1: 귀무가설 하 (모델이 워터마크된 데이터로 훈련되지 않음), 거짓 양성의 확률은 $e^{-2t'^2d}$로 제한됩니다. 여기서 $d$는 비밀 키의 크기이고 $t'$는 탐지 임계값의 함수입니다.
• 이 보장은 데이터 분포나 모델 내부 구조에 대한 가정이 필요 없이 임의의 고정된 LLM 아키텍처나 훈련 절차에 대해 유효합니다.

주요 기여

1. 최초의 폐쇄형 모델 데이터셋 워터마킹: 저자들은 로그 확률이나 내부 모델 상태가 필요 없이 블랙박스 API 접근만을 사용하여 훈련 데이터 사용 여부를 탐지할 수 있는 최초의 데이터셋 워터마킹 방법을 소개합니다.
2. 검증 가능한 탐지: 이 방법은 모델 아키텍처나 데이터 분포에 독립적인 거짓 양성률에 대한 이론적 보장을 제공합니다.
3. 데이터 혼합에서의 강건성: 워터마크된 데이터셋이 전체 파인튜닝 토큰의 작은 비율 (약 1%) 을 차지하더라도 이 접근법은 효과적으로 유지됩니다.
4. 유용성 보존: 워터마킹 과정은 벤치마크 데이터셋의 의미적 무결성과 유용성을 유지하여 모델 평가에 유효하게 남도록 합니다.

실험 결과

이 방법은 LLaMA-3-8B와 Gemma-2-2B를 대상으로 MMLU, ARC-easy, ARC-challenge 세 가지 벤치마크에서 평가되었습니다.

• 바닐라 설정: 이 방법은 모든 모델과 데이터셋에서 통계적으로 유의미한 탐지 ($p < 0.01$) 를 달성했습니다. 반면, "Radioactive" 기준선은 폐쇄형 모델 접근 하에서 의미 있는 신호를 생성하지 못했습니다 ($p \approx 0.2\text{--}0.3$).
• 부분 오염 (데이터 혼합): 워터마크된 데이터가 전체 파인튜닝 토큰의 **1.1%–1.3%**에 불과할 때 이 방법은 워터마크를 성공적으로 탐지했습니다. 더 극단적인 0.5% 비율에서도 LLaMA-3-8B 는 유의미한 탐지를 유지한 반면, Gemma-2-2B 는 민감도가 감소하여 더 큰 모델이 주입된 통계적 신호를 더 잘 유지할 수 있음을 시사합니다.
• 수정に対する 강건성: 이 워터마크는 무작위 삭제, 동의어 교체, 이모지 삽입과 같은 경량 텍스트 수정에 대해 기존 방법들보다 우수한 강건성을 보여주었습니다. Radioactive 와 같은 기준선은 20% 수정 후 p-값이 유의성 임계값 위로 상승한 반면, 제안된 방법은 낮은 p-값을 유지했습니다.
• 유용성 보존:
  • 벤치마크 성능: 워터마크된 데이터셋에서 평가된 모델들은 원본 데이터셋의 모델들과 비교 가능한 성능을 보이며 모델 간 상대적 순위가 보존되었습니다.
  • 의미적 유사성: 재구성된 데이터셋은 원본과 높은 의미적 유사성 (SBERT 점수) 을 유지했습니다.
  • 어휘 중첩: 제안된 방법은 KGW 기반 워터마킹에 비해 훨씬 높은 n-그램 중첩 (3-gram, 4-gram) 을 달성하여 덜 공격적인 재구성을 나타냈습니다.

의의 및 한계

본 논문은 이 작업을 데이터 제공자가 블랙박스 쿼리를 통해 독점 또는 벤치마크 데이터가 모델 훈련에 통합되었는지 확인할 수 있도록 하는 데이터셋 사용 감사 도구로 위치시킵니다.

저자들이 인정하는 한계:

• 적극적 요구사항: 이 방법은 배포 전에 데이터셋을 재구성해야 하며, 이미 배포된 워터마크가 없는 데이터셋에는 사후적으로 적용할 수 없습니다.
• 적대적 강건성: 이 방법은 임의의 재쓰기 하에서 이론적으로 불가능한 강력한 워터마킹 보장 때문에 통계적 신호를 제거하려는 완전한 적대적 변환을 견디도록 설계되지 않았습니다.
• 평가 범위: 실험은 사후 훈련 (파인튜닝) 단계로 제한되었습니다. 사전 훈련 규모에서의 효과성 평가는 계산적 제약으로 인해 여전히 열린 문제입니다.

결론적으로, 이 작업은 폐쇄형 모델 생태계와 호환되는 데이터셋 워터마킹의 새로운 패러다임을 정립하여, 기본 벤치마크의 유용성을 보존하면서 검증 가능한 탐지 능력을 제공합니다.