기술 요약: 추론 내의 메아리: 연쇄 사고를 통한 은밀하고 효과적인 워터마킹

1. 문제 제기

연쇄 사고 (Chain-of-Thought, CoT) 추론 능력을 갖춘 대규모 언어 모델 (LLM) 은 높은 가치의 지적 재산이지만, 무단 도용과 라이선스 없는 상업화의 심각한 위협에 직면해 있습니다. 기존 블랙박스 워터마킹 방법은 강건성과 모델 유용성 사이의 균형을 맞추는 데 어려움을 겪고 있습니다.

• 백도어 기반 접근법은 고정된 트리거 - 동작 패턴에 의존하여 모델이 과적합되게 만들고, 복잡한 작업과 일반화에서의 충실도를 훼손합니다. 또한 트리거가 유출될 경우 탐지 및 필터링에 취약합니다.
• 모델 편집 기반 접근법은 워터마킹을 경직된 템플릿을 통해 암기해야 할 정적 지식으로 취급하여, 분포 변화나 프롬프트 구조에 대한 적응적 공격에 취약합니다.
• 근본적 한계: 두 패러다임 모두 일반적으로 최종 답변을 수정함으로써 소유권을 검증합니다. 이는 정확성 (유용성) 과 워터마킹 강도 간의 제로섬 갈등을 초래합니다. 최종 답변을 수정하면 종종 하류 작업에서 모델의 성능이 저하됩니다.

본 논문은 검증 공간을 최종 답변에서 연쇄 사고 (CoT) 추론 과정으로 이동시킴으로써 모델 충실도를 엄격히 유지하면서 은밀성과 효과성을 동시에 달성할 수 있는 패러다임이 존재한다고 주장합니다.

2. 방법론: BiCoT

저자들은 소유권 신호를 최종 출력이 아닌 추론 궤적의 내부 기하학에 임베딩하는 워터마킹 프레임워크인 BiCoT(Bi-level Chain-of-Thought) 를 제안합니다. 이 방법은 세 단계로 작동합니다:

A. 기하학적 공식화 (1 단계)

BiCoT 는 LLM 의 잠재 상태를 고차원 추론 매니폴드상의 궤적으로 모델링합니다.

• 구조적 앵커: 그래디언트 중요도 분석을 통해 저자들은 특정 토큰 (예: 수학 추론의 숫자, 기타 도메인의 논리적 연결사) 이 추론 역학을 불균형적으로 지배하는 "구조적 앵커"로 작용함을 확인했습니다.
• 매니폴드 정렬: 프레임워크는 단위 벡터 $v$로 매개변수화된 개인 서명 부분공간 ($S_v$) 을 정의합니다.
  • 앵커 토큰: 이들의 숨겨진 상태는 서명 부분공간으로 붕괴되도록 제약됩니다 ($\cos(h_t, v) \to 1$).
  • 제어 토큰: 일반적인 언어 토큰 (연결사, 불용어) 은 의미 용량과 추론 충실도를 유지하기 위해 서명에 직교하도록 강제됩니다 ($\cos(h_t, v) \to 0$).
• 인과적 후광: 앵커 바로 뒤에 오는 토큰은 별도의 범주로 처리됩니다. 이들은 단거리 잔류 정렬을 보일 수 있지만 빠르게 감쇠하여 워터마크가 일반 텍스트를 전역적으로 오염시키지 않도록 합니다.

B. 워터마크 주입 (2 단계)

주입 과정은 이중 최적화 문제로 공식화됩니다:

• 내부 루프: 앵커 상태의 서명 부분공간으로의 투영을 최대화하는 가상 숨겨진 상태 교란 ($\delta^*$) 을 계산합니다.
• 외부 루프: 결합된 목적 함수를 최소화하도록 모델 매개변수 ($\theta$) 를 업데이트합니다:
  1. 작업 손실 ($L_{task}$): 모델이 하류 추론 작업에서 성능을 유지하도록 보장합니다.
  2. 기하학적 손실 ($L_{geo}$): 앵커의 서명으로의 붕괴와 제어 토큰의 직교성을 강제합니다.
  3. 일관성 정규화기 ($L_{KL}$): 워터마크가 적용된 모델과 기본 모델 간의 CoT 접두어에서 지역적 일관성을 유지합니다.
     이 설계는 워터마크를 추론과 관련된 표현과 결합하여, 일관된 추론을 지원하는 특징을 방해하지 않고는 제거하기 어렵게 만듭니다.

C. 강건한 부분공간 등록 (3 단계)

공격 (예: 파인튜닝, 양자화) 으로 인한 표현 드리프트를 해결하기 위해 저자들은 **강건한 부분공간 등록 (RSR)**을 도입합니다.

• 센티넬 토큰: 서명 부분공간에 민감하게 반응하는 사전 식별된 토큰 집합을 프로브로 사용합니다.
• 드리프트 보정: 검증자는 센티넬 토큰의 기본 통계량으로부터의 편차 중앙값을 계산하여 체계적인 분포 드리프트 벡터 ($\hat{\mu}_{drift}$) 를 추정합니다.
• 재정렬: 추정된 드리프트를 빼서 관찰된 로그 확률을 보정함으로써, 가설 검정 전에 드리프트된 매니폴드를 효과적으로 고전적 서명 공간으로 다시 중앙화합니다.
• 검증: 시스템은 Top-$k$ 로그 확률 (블랙박스 접근) 만을 사용하여 센티넬 토큰의 보정된 로그 확률에 대해 가설 검정을 수행합니다.

3. 주요 기여

1. CoT 의 인과적 분석: 본 논문은 CoT 생성이 특정 "구조적 앵커"가 추론 역학을 지배하는 고유한 인과적 위계를 지니고 있음을 밝힙니다. 또한 CoT 가 낮은 엔트로피의 최종 답변보다 더 풍부하고, 고용량이며, 더 다양한 신호 운반체임을 입증합니다.
2. BiCoT 프레임워크: 소유권을 추론 매니폴드의 기하학에 임베딩하는 새로운 워터마킹 패러다임입니다. 이 방법은 이중 최적화를 활용하여 워터마크를 추론 과정 자체와 얽히게 하되, 유용성을 보존하기 위해 제어 토큰을 직교적으로 처리합니다.
3. 강건한 검증 (RSR): 센티넬 기반 등록을 통해 표현 드리프트를 처리할 수 있는 블랙박스 검증기로, 모델 수준 교란 및 적응적 공격 하에서도 신뢰할 수 있는 탐지를 보장합니다.

4. 실험 결과

실험은 주로 Qwen2.5-7B-Instruct에서 수행되었으며 Mistral-7B, DeepSeek-7B, Qwen2.5-14B에서도 검증되었습니다.

• 탐지 가능성: BiCoT 는 모든 테스트 모델에서 0.1% 및 1.0%의 거짓 양성률 (FPR) 에서 1.0 AUC와 **100% 워터마크 성공률 (WSR)**을 달성하여 iSeal, llmmap, SEAL 과 같은 베이스라인을 크게 능가했습니다.
• 충실도: 워터마크가 적용된 모델은 하류 성능을 유지합니다. 추론 작업 (GSM8K) 에서 성능 저하는 미미합니다 ($\approx -0.0083$). 문장 수준 이해 작업에서는 변동이 작으며 일부 작업에서는 slight gains(약간의 향상) 를 보입니다.
• 강건성:
  • 모델 수준 공격: 가우시안 노이즈, 전체 매개변수 감독 파인튜닝 (SFT), 매개변수 효율적 파인튜닝 (PEFT/LoRA), 그리고 공격적인 양자화 (8 비트) 하에서도 워터마크가 탐지 가능합니다 (AUC $\approx$ 1.0).
  • 출력 수준 공격: 이 방법은 적응적 공격, 특히 추론 중 적대자가 명시적으로 숫자 토큰을 마스킹하는 표적 "ANCHOR" 공격에 대해 탄력적입니다. 주메커니즘의 고유한 재분배로 인해 워터마크가 유지됩니다.
• 절대 연구: 워터마크 손실을 제거하면 무작위 추측 성능이 나옵니다. 재앵커링 (RSR) 메커니즘을 제거하면 드리프트 하에서 탐지율이 치명적으로 하락하여 그 필요성을 입증합니다.

5. 중요성과 주장

본 논문은 BiCoT 가 검증 신호를 최종 답변에서 분리함으로써 워터마킹 강도와 모델 유용성 간의 근본적인 트레이드오프를 해결한다고 주장합니다. 소유권을 추론 과정의 기하학에 임베딩함으로써 이 방법은 다음을 달성합니다:

• 은밀성: 워터마크는 최종 출력 텍스트에서 보이지 않으며 취약한 트리거에 의존하지 않습니다.
• 효과성: 적응적 공격과 모델 드리프트에 대한 강건한 탐지를 제공합니다.
• 충실도: 모델의 추론 능력과 일반화를 엄격히 유지합니다.

저자들은 이 접근법이 오픈소스 및 상업용 LLM 의 모델 출처 및 지적 재산 보호를 지원하면서도 추론 엔진으로서의 유용성을 훼손하지 않는다고 강조합니다. 이 작업은 로그 확률이 활성화된 블랙박스 설정(Top-$k$ 다음 토큰 확률에 대한 접근) 을 가정하며, 저자들은 이것이 비현실적인 오라클 가정이 아니라 많은 현대 API 배포에 실용적인 경계라고 주장합니다.