기술 요약: LLM 워터마크를 위한 통합 프레임워크

문제 정의

LLM 워터마크는 생성된 텍스트에 탐지 가능한 신호를 삽입하여 AI의 기원을 추적하기 위해 설계되었습니다. 다양한 워터마킹 알고리즘(예: Red-Green, AAR/KTH, SynthID)이 제안되었으나, 이들은 대개 고유한 설계와 동기를 가진 하향식(bottom-up) 접근 방식으로 개발되었습니다. 결과적으로, LLM 워터마킹에 대한 일반적이고 원칙적인 정식화가 부재합니다. 이러한 통합 이론의 결여는 기존 방식들을 근본적인 수준에서 비교하거나, 서로 연관 짓거나, 새로운 방법을 체계적으로 설계하는 것을 어렵게 만듭니다. 나아가, 워터마크의 품질, 출력 다양성, 그리고 탐지력 사이의 트레이드오프(trade-off) 또한 충분히 연구되지 않은 상태입니다.

방법론

저자들은 LLM 워터마킹을 **제약 최적화 문제(constrained optimization problem)**로 정식화하는 통합 프레임워크를 제안합니다. 핵심 목표는 생성된 텍스트의 품질에 미치는 영향을 제한하면서 삽입된 워터마크 신호의 탐지 가능성을 극대화하는 것입니다.

최적화 정식화

주어진 다음 토큰 확률 분포 $p$와 의사 난수 점수 $g$ (해싱 메커니즘을 통해 분포 $G$로부터 샘플링됨)가 주어졌을 때, 목표는 기대 점수를 최대화하는 워터마크가 적용된 분포 $q(g)$를 찾는 것입니다:
$$\max_{q: G \to \Delta(\Sigma)} \mathbb{E}_G[G \cdot q(G)]$$

원래의 텍스트 품질을 왜곡하는 것을 방지하기 위해 제약 조건 $D$가 도입됩니다:
$$\text{s.t. } \forall g \in G, \quad D(q(g), \mathbb{E}_G[q(G)], p) \leq \varepsilon$$

프레임워크는 두 가지 유형의 제약을 구분합니다:

1. 하드 제약 (Hard Constraints): 점수 $g$의 모든 구체적인 실현에 대해 왜곡을 제어합니다 (예: $KL(q(g) || p) \leq \varepsilon$).
2. 소프트 제약 (Soft Constraints): 점수 분포에 대한 기대값에 대해서만 왜곡을 제어합니다 (예: $KL(\mathbb{E}_G[q(G)] || p) \leq \varepsilon$).

저자들은 또한 제약 조건을 라그랑주 승수 $\delta$와 함께 목적 함수로 이동시킨 페널티 정식화(penalized formulation)에 대해서도 논의하며, 이는 구현 시 더 실용적일 수 있습니다.

스킴(Schemes)의 도출 및 확장

이 프레크임워크는 기존의 대부분의 워터마킹 스킴들이 특정 제약 지표 $D$와 점수 분포 $G$를 선택한 최적화 문제의 구체적인 인스턴스임을 보여줍니다:

• Red-Green 워터마크: 하드 $KL$ 다이버전스 제약의 해로서 도출되었습니다.
• AAR/KTH 워터마크: Gumbel 점수를 사용하여 소프트 $KL$제약(왜곡 없는 방식)의 해로서 도출되었습니다. 프레임워크는 이를$\varepsilon > 0$을 허용함으로써 왜곡이 있는 변형으로 확장합니다.
• SynthID: 이전 레이어의 분포에 대해 $\chi^2$ 거리 제약을 해결하는 $m$개의 체인된 최적화 문제의 시퀀스로 간주됩니다.
• $\chi^2$ 워터마크: $\chi^2$ 거리 제약을 사용하는 SynthID 단일 레이어 토너먼트의 일반화입니다.

새로운 스킴

이 프레임워크를 사용하여 저자들은 특정 품질 지표, 특히 품질의 대리 지표로 **Perplexity (PPL)**를 사용하는 새로운 스킴들을 설계했습니다:

• Hard PPL 제약: 기대 로그 가능도 차이에 대한 하드 제약 조건 하에서 탐지력을 최적화합니다.
• Soft PPL 제약: 기대 로그 가능도 차이에 대한 소프트 제약 조건 하에서 탐지력을 최적화합니다.

주요 기여

1. 통합 정식화: 본 논문은 LLM 워터마킹을 일반적인 제약 최적화 문제로 정식화하여, 다양한 기존 연구들(Red-Green, AAR/KTH, SynthID)이 특정 제약 조건 하에서의 해임을 보여줍니다.
2. 원칙적 설계: 이 프레임워크는 주어진 제약에 대해 최적의 워터마킹 스킴을 도출하는 방법을 제공하며, 이를 통해 특정 목적(예: Perplexity 보존)에 부합하는 새로운 스킴을 이론적으로 최적화된 방식으로 생성할 수 있게 합니다.
3. 품질-다양성-탐지력 트레이드오프: 본 연구는 생성된 텍스트의 품질, 출력의 다양성, 그리고 탐지력 사이의 근본적인 트레이드오프를 식별하고 검증합니다. 구체적으로, 품질을 잘 보존하는 소프트 제약 워터마크는 결정론적(deterministic)인 경향이 있어 다양성을 감소시키는 반면, 하드 제약 워터마크는 더 높은 왜곡을 감수하면서 다양성을 유지한다는 점을 강조합니다.

실험 결과

저자들은 LLAMA3.1-8B 및 MINISTRAL-3-14B를 ELI5 데이터셋을 사용하여 실험적으로 검증했습니다.

• 최적성: 특정 제약으로부터 도출된 스킴들이 해당 제약에 대해 파레토 최적(Pareto-optimal)임을 보여줍니다. 예를 들어, Red-Green 워터마크는 최상의 탐지력-KL 트레이드오프를 달성하며, Soft PPL 스킴은 최상의 탐지력-PPL 트레이드오프를 달est합니다.
• 탐지력-품질 트레이드오프: 새로 제안된 Soft PPL 스킴은 (AAR/KTH 및 SynthID를 포함한) 기존 연구들보다 탐지력-품질 트레이드오프 측면에서 우수한 성능을 보입니다. 품질을 Perplexity가 아닌 LLM 벤치마크 정확도(HumanEval, MBPP, GSM8K)로 측정하더라도 Soft PPL 스킴은 여전히 우수함을 유지합니다.
• 다양성 영향: 실험은 소프트 제약 워터마크(AAR/KTH 및 Soft PPL 등)가 출력 다양성을 크게 감소시켜(높은 Self-BLEU 점수), 고정된 프롬프트에 대해 결정론적인 출력을 생성하는 경우가 많음을 확인해 줍니다. 반면, 하드 제약 워터마크는 더 높은 다양성을 유지하지만 더 많은 왜곡을 유발할 수 있습니다.

의의 및 주장

본 논문은 자신의 통합 프레임워크가 세 가지 주요 기여를 한다고 주장합니다:

1. 해석: 기존 워터마킹 스킴들을 해석하고 연관 짓는 원칙적인 방법을 제공하며, 그들이 어떤 제약을 최적화하는지를 밝혀냅니다.
2. 설계: 임시방편적인 설계 없이도 특정 요구사항(예: Perplexity 보존)에 맞춘 강력한 새로운 스킴을 실용적으로 구현할 수 있게 합니다.
3. 통찰: 품질-다양성-탐지력 사이의 근본적인 트레이드오프에 대한 새로운 관점을 제공하며, 왜곡이 없는(distortion-free) 방식이 종종 출력 다양성의 희생을 수반한다는 점을 입증합니다.

저자들은 최적화가 시퀀스 레벨이 아닌 토큰 레벨로 제한된다는 점과, 샘플링 메커니즘을 탐지기와 독립적으로 최적화하는 데 집중했다는 점을 포함한 한계점을 언급했습니다. 또한, 완전한 암호학적 워터마크는 본 통계적 프레임워크의 범위를 벗어난다는 점도 인정했습니다.