🤖 machine learning

Semantic Differentiation for Tackling Challenges in Watermarking Low-Entropy Constrained Generation Outputs

이 논문은 토큰 수준 방식의 한계와 "영역 붕괴(region collapse)" 문제를 극복하기 위해 의미론적 차별화(semantic differentiation)를 활용하여, 저엔트로피 제약 생성 작업에서도 높은 출력 품질을 유지하면서 워터마크 탐지 정확도를 크게 향상시킨 시퀀스 수준의 워터마킹 알고리즘인 SeqMark를 소개한다.

원저자: Nghia T. Le, Alan Ritter, Kartik Goyal

게시일 2026-08-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nghia T. Le, Alan Ritter, Kartik Goyal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 현지인처럼 완벽하게 말하는 법을 배운 스파이를 잡으려는 형사라고 상상해 보십시오. 그 스파이는 단순히 단어만 흉내 내는 것이 아니라, 대화의 리듬, 톤, 스타일 전체를 너무나 잘 모방하여 당신이 그들을 실제 인간과 구별할 수 없을 정도입니다. 이것이 바로 거대 언어 모델(LLM)의 세계, 즉 이야기를 쓰고, 언어를 번역하며, 문제를 해결하는 강력한 컴퓨터 프로그램의 세계입니다. 하지만 이 모델들이 점점 더 정교해짐에 따라, 우리는 새로운 문제에 직면하게 됩니다. 어떻게 하면 어떤 텍스트가 인간이 쓴 것인지 아니면 기계가 쓴 것인지 알 수 있을까요? 이것이 바로 AI 워터마킹(AI Watermarking)이라는 분야입니다. 이것을 컴퓨터가 자신의 작업에 서명을 남기기 위해 사용하는 비밀스럽고 눈에 보이지 않는 투명 잉크라고 생각하십시오. 목표는 탐정(탐지기)만이 볼 수 있는 아주 작고 눈에 띄지 않는 신호를 텍스트 안에 숨겨, 그 텍스트가 특정 AI로부터 왔음을 증명하는 것입니다.

하지만 여기에는 함정이 있습니다. 워터마킹은 AI가 창의적인 이야기를 쓰는 것처럼 단어를 선택할 자유가 많을 때 가장 잘 작동합니다. 이러한 순간에 AI는 많은 선택지를 가지며, 이는 탐정이 비밀 신호를 숨길 수 있는 충분한 공간을 제공합니다. 하지만 AI가 독일어를 영어로 번역하거나 코드 한 줄을 수정하는 것처럼 엄격하고 지루한 일을 하고 있다면 어떨까요? 이런 상황에서 AI는 '올바른' 방식으로 말할 수 있는 선택지가 매우 적습니다. 이를 저엔트로피 생성(low-entropy generation)이라고 합니다. 이는 마치 선택할 수 있는 단어가 단 세 개뿐인 문장에 비밀 메시지를 숨기려는 것과 같습니다. 만약 잘못된 단어를 바꾸게 되면 문장은 엉망이 되고 맙니다. 오랫동안 과학자들은 이러한 엄격한 작업에 워터마킹을 하는 것은 거의 불가능하다고 생각했습니다. 왜냐하면 AI가 정답을 망치지 않으면서 신호를 숨길 수 있는 '여지(wiggle room)'가 부족했기 때문입니다.

이 논문은 이 퍼즐을 해결하는 영리한 새로운 방법인 SeqMark를 소개합니다. 연구진은 이전의 워터마킹 시도들이 실패한 이유가 단순한 실수 때문임을 발견했습니다. 바로 모든 '좋은' 답변들을 모두 동일한 것으로 취급했다는 점입니다. 똑같이 생긴 쌍둥이 무리가 있다고 상상해 보십시오. 만약 당신이 단순히 얼굴만 보고 그들을 '레드 팀'과 '블루 팀'으로 나누려 한다면, 실수로 모든 쌍둥을 한 팀에 몰아넣어 다른 팀을 비어 있게 만들 수도 있습니다. AI의 세계에서 이것을 영역 붕괴(region collapse)라고 부릅니다. 기존 방식들은 완벽한 번역이나 코드 수정본들을 하나의 '나쁜' 구역으로 실수로 분류해 버렸고, 이로 인해 AI는 워터마크를 맞추기 위해 끔찍한 답을 쓰거나, 아니면 워터마크를 아예 포기해야 하는 상황에 처하게 되었습니다.

SeqMark는 클럽의 똑똑한 보안 요원처럼 행동함으로써 이 문제를 해결합니다. 보안 요원은 단순히 얼굴(단어)만 보는 대신, 먼저 모든 'VIP'(고품질의 정답들)를 특별한 방으로 모읍니다. 그런 다음, 이 VIP들을 분류하기 전에 이들이 서로 최대한 다르게 보이도록 만드는 특별한 기술을 사용합니다. 이는 마치 각 쌍둥이에게 서로 다른 모자, 다른 재킷, 다른 신발을 씌워주는 것과 같습니다. 갑자기 그들은 모두 뚜렷하게 구분됩니다! 이제 보안 요원이 그들을 레드 팀과 블루 팀으로 분류할 때, VIP들은 고르게 퍼져 있게 됩니다. 이를 통해 AI는 고품질의 답변을 선택하면서도 동시에 비밀 워터마크 신호를 실을 수 있습니다.

연구진은 이 아이디어를 문장 번역, 뉴스 기사 요약, 컴퓨터 코드 작성과 같은 실제 작업에 테스트했습니다. 그들은 SeqMark가 게임 체인저라는 것을 발견했습니다. 기존 방식들이 이러한 엄격한 작업에서 워터마크를 감지하는 데 어려움을 겪었던 반면, SeqMark는 번역이나 코드를 악화시키지 않으면서도 감지 정확도(F1 점수로 측정)를 최대 28%까지 높였습니다. 실제로 어떤 작업에서는 매우 효과적이어서 인간과 유사한 텍스트에서 거의 완벽한 정확도로 워터마크를 감지할 수 있었습니다. 이 논문은 '좋은' 답변들을 어떻게 분산시킬 수 있는지 이해함으로써, 마침내 가장 경직된 AI 작업에도 워터마크를 적용할 수 있으며, 이를 통해 컴퓨터가 지루한 일을 하고 있을 때조차도 우리가 그것을 인간과 구별할 수 있게 된다는 점을 시사합니다.

기술 요약: 저엔트로피 제약 생성에서의 워터마킹을 위한 의미론적 차별화

문제 정의
현재의 언어 모델(LM) 워터마킹 기술, 특히 KGW(Kirchenbauer et al., 2023)와 같은 토큰 수준 접근 방식은 개방형 생성에는 효과적이지만, 기계 번역, 추상적 요약, 코드 생성과 같이 출력이 저엔트로피인 제약된 생성 작업에서는 실패합니다. 이러한 작업들은 워터마킹을 지원할 수 있는 충분한 시퀀스 수준 엔트로피를 보유하고 있음에도 불구하고, 토큰 수준 방식은 좌측에서 우측으로 진행되는 생성 과정에서 단 하나의 접두사(prefix)에만 고착됨으로써 대안이 될 수 있는 다른 가능한 경로들을 무시하여 이 엔트로피를 제대로 활용하지 못합니다.

나아가, 기존의 시퀀스 수준 워터마킹 방식(예: SemStamp, k-SemStamp)은 **리전 콜랩스(region collapse, 영역 붕괴)**라고 불리는 특정한 실패 모드를 겪습니다. 이러한 방식들은 국소 민감 해싱(LSH) 또는 k-평균 클러스터링을 사용하여 의미론적 임베딩 공간을 "레드(red, 유효하지 않음)" 영역과 "그린(green, 유효함)" 영역으로 분할합니다. 그러나 고품질 응답은 의미론적으로 매우 유사하기 때문에 이들의 임베딩은 밀집되어 나타납니다. 표준적인 분할 기술은 이렇게 의미론적으로 가까운 고확률 출력들을 동일한 영역에 할당합니다. 결과적으로, 모든 실행 가능한 고품질 출력들이 레드 또는 그린 영역 중 하나로 붕괴됩니다. 만약 이들이 레드 영역에 속하게 되면, 워터마킹 알고리즘은 이들을 거부하거나(출력 품질 저하) 재샘플링 예산을 모두 소진해야 합니다(워터마크 효과 저하).

방법론: SeqMark
저자들은 고품질 출력들이 레드와 그린 파티션에 고르게 분포되도록 보장함으로써 리전 콜랩스를 완화하도록 설계된 시퀀스 수준 워터마킹 알고리즘인 SeqMark를 제안합니다. 이 방법론은 세 가지 핵심 단계로 구성됩니다:

서브스페이스 격리(Subspace Isolation): 주어진 입력 프롬프트에 대해, 알고리즘은 저온 샘플링(low-temperature sampling)을 사용하여 $n$ 개의 고확률 응답을 샘플링하여 "고품질 서브스페이스" $C = \{c_1, ..., c_n\}$ 을 추정합니다 (여기서 $c_i$ 는 문장 임베딩을 나타냄).
의미론적 차별화(Semantic Differentiation, 평균 중심화): 이러한 고품질 지점들이 단일 파티션 내에 밀집되는 것을 방지하기 위해, SeqMark는 분할 전 임베딩에 변환 $f(\cdot)$ 를 적용합니다. 구체적으로, 각 임베딩에서 샘플 평균을 뺍니다: $u_i = c_i - \frac{1}{n}\sum_{j=1}^n c_j$ . 이 연산은 샘플 간의 상대적 근접성을 유지하면서도 변환된 공간에서의 쌍별 거리(pairwise distance)를 증가시켜, 효과적으로 이들을 퍼뜨립니다.
재분할 및 샘플링: 변환된 임베딩 $\{u_i\}$ 는 표준 LSH를 사용하여 레드 및 그린 영역으로 분할됩니다. 그 후 알고리즘은 문장이 "그린" 영역에 떨어질 때까지 거부 샘플링(rejection sampling)을 수행합니다. 이 변환은 고품질 후보들이 영역 사이에 고르게 퍼지도록 보장하므로, 그린 영역에서 유효한 고품질 출력을 찾을 확률이 크게 높아집니다.

이론적 분석(Theorem 1)은 이 평균 중심화 변환이 벡터들이 충분히 유사할 경우(파라미터 $\delta$ 에 의해 제한됨), 동일한 파티션 내의 벡터들 사이의 코사인 유사도를 줄임으로써 워터마크 탐지 정확도를 개선함을 시사합니다.

주요 기여

리전 콜랩스의 식별: 본 논문은 고품질 출력들이 유효하지 않은 영역에 밀집되는 현상인 "리전 콜랩스"를 기존 시퀀스 수준 워터마킹 방식의 핵심적인 실패 모드로 식별하고 규명했습니다.
SeqMark 알고리즘: 의미론적 차별화(평균 중심화)를 사용하여 고품질 출력들을 워터마크 파티션 전반에 고르게 분포시킴으로써, 저엔트로피 환경에서 효과적인 워터마킹을 가능하게 하는 새로운 시퀀스 수준 워터마킹 접근 방식을 제안합니다.
실증적 검증: 기계 번역(WMT19, WMT23), 요약(XSum), 코드 생성(MBPP) 작업에 대한 포괄적인 평가를 통해, SeqMark가 토큰 수준(KGW, SWEET) 및 시퀀스 수준(SemStamp, k-SemStamp) 베이스라인보다 우수함을 입증했습니다.
효율성 분석: 샘플링된 시퀀스의 수( $n$ )와 추론 속도 사이의 트레이드오프를 조사하고, 탐지 비용을 줄이기 위한 평균 임베딩의 신경망 근사치인 "Fast-SeqMark"를 제안합니다.

결과
실험 결과, SeqMark는 높은 생성 품질을 유지하면서 워터마크 탐지 정확도를 실질적으로 향상시켰습니다:

탐지 성능: SeqMark는 제약된 작업에서 베이스라인 대비 최대 28%의 F1 점수 향상을 달성했습니다. 예를 들어, 문장 번역에서 SeqMark는 F1 77.1을 기록했습니다 (SemStamp 65.9, KGW 45.7 대비). 요약 작업에서는 89.7의 F1에 도달했습니다 (SemStamp 63.1 대비).
품질 보존: SeqMark는 비워터마크 생성 및 타 베이스라인과 대등한 경쟁력 있는 텍스트 품질 지표(예: COMET, ROUGE-L, pass@1)를 유지합니다.
리전 엔트로피: 의미론적 파티션 분석 결과, SeqMark는 고품질 샘플들 사이에서 높은 리전 엔트로피와 낮은 쌍별 코사인 유사도를 달성하여 리전 콜랩스의 성공적인 완화를 확인했습니다.
개방형 생성: SeqMark는 고엔트로피 개방형 생성 작업에서도 다른 베이스라인들과 대등한 성능을 보여주며 범용성을 입증했습니다.

의의 및 주장
본 논문은 현재의 토큰 수준 엔트로피는 낮지만 시퀀스 수준 엔트로피는 활용 가능한 제약된 생성 작업에서, 현재의 워터마킹 방식이 가진 근본적인 한계를 SeqMark가 해결한다고 주장합니다. 토큰 수준 조작에서 의미론적 공간 분할 및 명시적 차별화로 초점을 전환함으로써, SeqMark는 이전 시퀀스 수준 방식들이 겪었던 출력 품질과 워터마크 탐지 가능성 사이의 트레이드오프를 해결합니다.

저자들은 이 연구를 현재의 방식들이 실패하는 고위험 제약 도메인(예: 번역, 코드, 요약)에서 디지털 텍는 출처를 추적하기 위한 필수적인 단계로 위치시킵니다. 또한 탐지 시 LM 접근이 필요하다는 점(Fast-SeqMark로 완화 가능)과 강력한 패러프레이징 공격에 취약할 수 있다는 점을 한계로 인정하지만, 현재의 패러프레이징 모델들은 저엔트로피 작업에서 텍스트 품질을 저하시키는 경우가 많아 이러한 공격의 실효성이 제한적이라고 언급합니다. 이 연구는 워터마킹이 귀속과 안전에 도움을 주지만, 오용(예: 스푸핑)을 방지하기 위해 주의 깊은 처리가 필요함을 강조합니다.

유사한 논문