기술 요약: Every Bit, Everywhere, All at Once: 이항 다비트 LLM 워터마크

문제 정의

대형 언어 모델 (LLM) 워터마킹은 이론적 연구를 넘어 상업적 배포로 전환되었으며, 주로 "이 텍스트가 특정 모델에 의해 생성되었는가?"라는 이진 질문에 답하는 0-비트 워터마크에 집중해 왔습니다. 그러나 emerging practical applications 은 생성된 텍스트에 직접 사용자 ID, 타임스탬프, 라이선스 메타데이터와 같은 복잡한 페이로드를 인코딩할 수 있는 다비트 워터마크를 요구합니다.

기존 다비트 방식은 주로 **위치 할당 (position allocation)**에 의존합니다 (예: MPAC, MirrorMark). 이 방식에서는 각 생성 단계에서 특정 위치에 페이로드의 단일 비트만 인코딩합니다. 이 접근법은 두 가지 주요 한계를 겪습니다:

1. 비최적성 (Sub-optimality): 토큰당 한 비트만 인코딩하는 것은 비효율적이며, 할당된 위치가 고르지 않게 분포될 수 있습니다.
2. 확장성 (Scalability): 위치 할당을 피하는 대안적 접근법 (예: Cycle-Shift, ArcMark) 은 메시지 길이가 길어질수록 디코딩 시간이 기하급수적으로 증가하므로 짧은 페이로드에 계산적으로 제한됩니다.

이 연구가 해결하는 핵심 과제는 위치 할당에 의존하지 않으면서도 높은 메시지 정확도와 견고성을 유지하며 긴 비트열을 효과적으로 인코딩할 수 있는 다비트 워터마킹 방식을 설계하는 것입니다.

방법론

저자들은 **이항 인코딩 (binomial encoding)**에 기반한 근본적으로 새로운 접근법을 제안하며, 이는 모든 토큰 위치에서 전체 메시지 비트열을 인코딩합니다.

1. 이항 인코딩 및 디코딩

이전 연구들이 토큰당 인코딩할 단일 비트를 선택한 것과 달리, 이 방법은 $m$-비트 페이로드의 모든 비트를 각 생성 단계에서 인코딩합니다.

• 인코딩: 각 토큰 위치 $t$에서 시스템은 컨텍스트와 개인 키로 시드된 의사난수 생성기 (PRNG) 를 사용하여 $m$개의 독립적인 베르누이 (0.5) 점수 벡터 ($G^1_t, \dots, G^m_t$) 를 샘플링합니다. 페이로드의 각 비트 $M_i$에 대해, 해당 비트가 1 일 때 대응하는 점수 벡터를 반전 (보완) 시킵니다. 최종 점수 벡터 $\tilde{G}_t$는 이러한 수정된 $m$개 벡터의 합입니다. 그런 다음 토큰 분포는 더 높은 $\tilde{G}_t$ 점수를 가진 토큰으로 편향됩니다.
• 디코딩: 디코딩 시 시스템은 텍스트 내 각 토큰에 대해 베르누이 점수를 재계산합니다. 위치 $i$의 디코딩된 비트는 모든 토큰에 걸친 다수결 투표로 결정됩니다. 중요하게도, 이 방법은 텍스트가 워터마크되었음을 가정하지 않고 각 디코딩된 비트의 통계적 유의성을 평가할 수 있도록 **비트별 신뢰도 점수 (per-bit confidence scoring)**를 양측 이항 검정을 통해 제공합니다.

2. 상태 기반 인코더 (Stateful Encoder)

비트 정확도를 향상시키기 위해 저자들은 생성 중 인코딩 압력을 동적으로 재지시하는 상태 기반 인코더를 도입합니다.

• 인코더는 부분적으로 생성된 시퀀스를 기반으로 각 비트의 현재 디코딩 통계를 추적합니다.
• 나머지 토큰이 워터마킹 없이 생성될 경우 각 비트에 대한 예상 최악의 경우 비트 정확도를 계산합니다.
• 점수 함수는 현재 과소 인코딩된 비트 (즉, 결정 경계에 가까운 디코딩 통계를 가진 비트) 를 우선시하도록 조정되어, 예상 전체 비트 정확도를 극대화합니다.

3. 평가 지표

이 논문은 입력 텍스트가 이미 워터마크된 것으로 알려져 있다고 가정하는 기존 평가 지표 (예: 원시 메시지 정확도) 에 도전합니다. 저자들은 실제 배포 환경에서는 먼저 메시지의 존재를 탐지해야 한다고 주장합니다. 그들은 **$\alpha\%$ 거짓 양성률에서의 비트 정확도 (Bit Accuracy at $\alpha\%$ False Positive Rate, BA@$\alpha\%$FPR)**를 보다 실용적인 지표로 도입합니다. 이 지표는 워터마크가 아닌 텍스트가 메시지 포함으로 잘못 플래그되는 비율을 $\alpha\%$ 이하로 유지하면서 비트를 올바르게 디코딩할 확률을 측정합니다.

주요 기여

1. 위치 할당 없는 최초의 다비트 워터마크: 저자들은 이항 인코딩을 통해 모든 토큰 위치에서 전체 메시지 비트열을 인코딩하는 최초의 방식을 도입하여, 위치 할당의 확장성 및 효율성 한계를 극복했습니다.
2. 상태 기반 인코더: 생성 중 성능이 저하되는 비트를 동적으로 우선시하는 새로운 메커니즘으로, 디코딩 전략을 변경하지 않고도 비트 정확도를 크게 향상시킵니다.
3. 새로운 평가 프레임워크: 이 논문은 기존 지표가 거짓 양성에 대한 실용적 통찰력이 부족하다고 비판하며, 현실적인 시나리오에서 다비트 워터마크를 평가하기 위한 표준으로 **비트별 신뢰도 점수 (BA@$\alpha\%$FPR)**를 제안합니다.
4. 종합적 평가: 16, 32, 64 비트 페이로드에 걸쳐 8 개의 베이스라인에 대한 광범위한 실험은 비트 정확도, 메시지 정확도, 견고성에서 우수한 성능을 입증했으며, 특히 낮은 왜곡 영역과 더 큰 페이로드에서 두드러졌습니다.

결과

평가에는 LLAMA3.1-8B와 MINISTRAL-3-14B가 사용되었으며, 페이로드는 16, 32, 64 비트였습니다.

• 메시지 정확도: 제안된 방식 (특히 상태 기반 버전인 "Ours+") 은 MPAC, MirrorMark, ArcMark, StealthInk 를 포함한 모든 8 개의 베이스라인보다 메시지 정확도에서 우위를 점했으며, 페이로드가 길어질수록 (32 및 64 비트) 그리고 낮은 왜곡 설정에서 성능 격차가 벌어졌습니다.
• 신뢰도 기반 정확도 (BA@1%FPR): 제안된 방법의 상태 비저장 버전은 베이스라인보다 훨씬 높은 BA@1%FPR 을 달성하여, 거짓 양성을 통제하면서 워터마크된 비트를 무작위 노이즈와 구별하는 능력이 우수함을 나타냅니다.
• 견고성: 모든 다비트 워터마크의 경우 견고성 (10% 이상의 단어 삭제 또는 문장 재구성 시 정확도가 급격히 떨어짐) 이 여전히 과제이지만, 제안된 방법은 다양한 텍스트 수정에 걸쳐 베이스라인보다 일관되게 우수한 성능을 발휘했습니다.
• 확장성: 이 방식은 베이스라인에 비해 토큰 수에 따라 더 유리하게 확장됩니다. 500 토큰에서 제안된 방법은 90% 이상의 비트 정확도를 달성하는 반면, 최상의 베이스라인은 약 80% 에 도달합니다.

의의 및 주장

이 논문은 이항 인코딩이 위치 할당보다 더 강력한 패러다임임을 입증함으로써 다비트 워터마킹 연구의 새로운 방향을 열었다고 주장합니다. 저자들은 그들의 접근 방식이 이전의 비할당 방식 (Cycle-Shift 등) 의 계산적 비실용성 없이 대용량 페이로드를 효과적으로 인코딩한다고 단언합니다.

또한, 이 연구는 다비트 워터마크를 위한 실용적 평가 지표의 부재라는 필드의 중요한 격차를 강조합니다. 비트별 신뢰도 점수를 도입함으로써 저자들은 향후 연구와 배포가 워터마크된 텍스트뿐만 아니라 임의의 텍스트에서 메시지를 디코딩할 때 거짓 양성의 확률을 고려해야 한다고 주장합니다.

저자들은 한계에 대해 겸손하게, 문장 수정 (예: 문장 재구성) 에 대한 견고성은 여전히 해결되지 않은 문제임을 인정하며, 그들의 경험적 결과가 위치 할당보다 우수함을 보여주지만 비위치 할당 방식의 엄격한 최적성에 대한 이론적 증명은 제공되지 않았다고 명시합니다. 또한 상태 기반 인코더는 메시지 정확도를 향상시키지만, 통계적 유의성 대신 예상 정확도를 최적화하기 때문에 신뢰도 기반 지표는 약간 감소할 수 있음을 지적합니다.