Covert Multi-bit LLM Watermarking: An Information Theory and Coding Approach

상상해 보세요. 매우 똑똑한 로봇이 이야기, 이메일, 또는 코드를 작성한다고요. 이 로봇은 인간의 작문을 모방하는 데 그토록 능숙해서, 어떤 텍스트가 사람에 의해 쓰였는지 로봇에 의해 쓰였는지 구분하기 어렵습니다. 이 논문의 저자들은 특정 문제를 해결하고자 합니다: 로봇의 작문을 비밀스럽게 표시하여 그것이 로봇에서 비롯되었음을 증명하되, 작문이 이상하게 들리거나 품질이 떨어지지 않게 하려면 어떻게 해야 할까요?

이것을 그들은 "워터마킹"이라고 부릅니다. 지폐에 있는 숨겨진 워터마크를 생각해 보세요. 맨눈으로는 볼 수 없지만 특수 스캐너로 감지할 수 있는 그런 것 말입니다.

다음은 일상적인 비유를 사용한 그들의 접근 방식에 대한 간단한 해설입니다:

1. 문제: 로봇이 너무 엄격함

보통 로봇이 작문할 때는 방금 쓴 단어에 엄격히 기반하여 단어를 하나씩 선택합니다. 마치 단일 선로 위의 기차처럼, 역을 출발하면 다음 역이 어떻게 생겼는지 미리 내다볼 수 없습니다.

저자들은 로봇이 조금이라도 미리 내다볼 수 있다면 훨씬 더 효과적으로 비밀 메시지를 숨길 수 있음을 깨달았습니다. 그들은 로봇이 작동하는 새로운 방식을 제안합니다: 블록 자기회귀 (Block-Autoregressive).

• 비유: 한 번에 한 단어를 선택하는 대신, 로봇이 한 번에 8 개의 단어로 이루어진 작은 "블록"을 선택한다고 상상해 보세요. 그 8 개의 단어를 확정하기 전에, 로봇은 그 8 개의 단어가 가질 수 있는 모든 조합을 살펴봅니다. 이는 텍스트가 어떻게 보일 수 있는지에 대한 "비인과적 (non-causal)"인 시야, 즉 즉각적인 미래에 대한 엿보기를 제공합니다.

2. 해결책: "비밀 메뉴"

핵심 아이디어는 이 "엿보기"를 활용하여 텍스트 안에 비밀 메시지 (디지털 ID 태그와 같은) 를 숨기는 것입니다.

• 설정: 로봇이 일반적으로 단어를 선택하는 방식의 "기본 메뉴"가 있다고 상상해 보세요.
• 수법: 저자들은 "비밀 메뉴" (워터마크) 를 도입합니다. 로봇이 단어 블록을 선택하려 할 때, 비밀 메뉴를 확인합니다.
  • 비밀 메시지가 "0"이라고 말하면, 특정 그룹에서 선택될 확률이 약간 더 높은 단어 조합을 선택합니다.
  • 비밀 메시지가 "1"이라고 말하면, 다른 그룹에서 선택합니다.
• 마법: 로봇은 이를 매우 미묘하게 수행하여 텍스트의 전체적인 "맛" (통계적 패턴) 은 워터마크가 없는 텍스트와 거의 동일하게 유지합니다. 인간 독자에게는 이야기가 완벽하게 들립니다. 비밀 키를 가진 특수 디코더에게는 선택의 패턴이 숨겨진 메시지를 드러냅니다.

3. 수학: "완벽한 균형"

이 논문은 텍스트를 망가뜨리지 않고 얼마나 많은 비밀 데이터를 숨길 수 있는지 증명하기 위해 방대한 수학 (정보 이론) 을 사용합니다.

• 젤판드 - 핀스커 (Gelfand-Pinsker) 비유: 소음이 많은 라디오 채널을 통해 메시지를 보내려는데, 말하기 전에 소음이 어떻게 들릴지 정확히 알고 있다고 상상해 보세요. 당신은 소음을 완벽하게 상쇄하도록 목소리를 조절할 수 있습니다. 저자들은 로봇의 자연스러운 단어 선택을 "소음"으로, 비밀 메시지를 "신호"로 간주합니다. 로봇이 자신의 "소음" (단어 선택의 확률) 을 미리 알고 있기 때문에, 메시지를 더 효율적으로 숨길 수 있습니다.
• 결과: 그들은 데이터를 숨길 수 있는 이론적 최대 속도를 계산했습니다. 그들은 이 "미리 엿보기" 방식을 사용하면 생성된 단어당 약 0.375 비트의 데이터를 숨길 수 있음을 발견했습니다. 이는 독자가 눈치채지 못한 채 각 단어 안에 작은 비밀 메모를 숨기는 것과 같습니다.

4. 알고리즘: "스마트 교통 관제사"

이를 현실에서 작동하게 하기 위해 그들은 단순히 추측한 것이 아니라 두 가지 주요 도구를 사용하여 스마트한 시스템을 구축했습니다:

• CMDP (제약 마르코프 의사결정 과정): 이를 로봇을 위한 교통 관제사로 생각하세요. 관제사는 메시지를 숨기기 위해 어떤 단어를 선택할지 결정해야 합니다. 하지만 규칙이 하나 있습니다: "텍스트가 이상하게 들리게 하지 마라." 관제사는 끊임없이 확인합니다: "이 단어를 선택하여 '1'을 숨긴다면, 다음 7 개의 단어가 여전히 자연스럽게 들릴까?" 그것은 데이터를 숨겨야 할 필요성과 텍스트의 고품질을 유지해야 할 필요성 사이에서 균형을 맞춥니다.
• 폴라 코드 (Polar Codes): 이는 오류 정정 코드의 일종 (안전망과 같은) 입니다. 나중에 텍스트가 약간 변경되거나 디코더가 약간 불확실하더라도, 이 코드는 숨겨진 메시지가 여전히 정확하게 복구될 수 있도록 보장합니다.

5. 결과: 작동합니다!

저자들은 실제 언어 모델 (LLaMA) 을 사용하여 시스템을 테스트했습니다.

• 은밀성: 워터마크가 적용된 텍스트는 일반 텍스트와 거의 구별할 수 없었습니다. "퍼플렉시티 (텍스트가 얼마나 혼란스럽거나 부자연스러운지 측정하는 지표)"는 거의 변하지 않았습니다.
• 신뢰성: 그들은 매우 낮은 오류율로 메시지를 성공적으로 숨겼습니다 (숨겨진 비트의 10% 미만이 손실됨).
• 주의점: 이 시스템은 짧은 텍스트 블록 (한 번에 8 단어 정도) 으로 작동할 때 가장 잘 작동합니다. 너무 멀리 미리 내다보려고 하면 (더 긴 블록), 수학 계산이 컴퓨터가 빠르게 처리하기에는 너무 무거워집니다.

요약

이 논문은 모델이 무엇을 쓸지 결정하기 전에 미래의 단어 그룹을 조금 "엿볼" 수 있게 함으로써 대형 언어 모델 (LLM) 의 출력을 비밀스럽게 스탬핑하는 방법을 제안합니다. 이 엿보기를 활용하여 단어 선택을 약간 조정함으로써 숨겨진 ID 메시지를 삽입할 수 있습니다. 수학은 이것이 작문의 품질을 해치지 않고 가능함을 증명하며, 그들의 컴퓨터 알고리즘은 이를 실제로 성공적으로 시연했습니다.

이 논문이 주장하지 않는 것:

• 이것이 어떤 길이의 텍스트에도 즉시 작동한다고 주장하지 않습니다 (매우 긴 블록에서는 어려움을 겪습니다).
• 이것이 모든 AI 오용에 대한 완벽한 방어 수단이라고 주장하지 않으며, 단지 추적 및 타임스탬핑을 위한 방법일 뿐입니다.
• 의료 또는 임상적 용도에 대해 논의하지 않습니다; 이는 순수하게 텍스트 생성 및 정보 이론에 관한 것입니다.