기술 요약: 되묻기: 상호작용 계층 반증류 워터마킹

문제 제기

블랙박스 API 를 통해 제공되는 최첨단 언어 모델의 확산은 허가 없는 지식 증류라는 성숙한 상업적 위협을 초래했다. 적대자는 교사 API 로부터 프롬프트 - 응답 쌍을 수확하여 더 작은 학생 모델을 미세 조정하고, 허가 없이 이를 배포한다. 이에 대한 방어는 어렵다. 방어자는 공격자의 학습 파이프라인도, 교사의 내부 로짓 (다음 토큰 분포) 도 통제하지 못하기 때문이다.

기존의 반증류 방어책은 세 가지 주요 계층에서 작동하며, 모두 사전 증류 재작성에 취약하다는 공통점을 지닌다:

1. 토큰 분포 계층: 다음 토큰 확률을 교란함 (예: 그린리스트 워터마킹, 암호화 방식).
2. 모델 계층: 시그니처를 내장하기 위해 교사 모델 자체를 수정함.
3. 추론 흔적 계층: 사고의 사슬 (chain-of-thought) 흔적을 재배열하거나 재작성함.

최근 연구는 공격자가 훈련 전에 수확된 응답을 재문장화 (paraphrase) 하여 이러한 표면적 신호를 효과적으로 제거하면서도 근본적인 지식 전달은 유지할 수 있음을 보여준다. 이는 구조적 공백을 남긴다: 신호가 살아남더라도 그것이 증류된 학생 모델에서 고유하고 질의 가능한 행동을 반드시 지정하는 것은 아니기 때문이다.

방법론

본 논문은 워터마킹을 위한 네 번째이자 보완적인 위치인 상호작용 계층을 제안한다. 토큰 확률이나 모델 매개변수를 수정하는 대신, 방어자는 교사 모델을 시스템 프롬프트로 감싸 간헐적으로 특정 행동 마커($B$) 를 유도한다.

되묻기 (Asking-Back) 메커니즘

방어자는 입력의 일부 ($\rho$) 에 대해 시스템 프롬프트 ($s_B$) 를 선택하는 트리거 정책 ($\Pi_B$) 을 구현한다. 이 시스템 프롬프트는 교사에게 다음과 같은 특정 상호작용 행동을 보이도록 지시한다:

• STRONG (명시적): 사용자의 사용 사례, 환경 또는 의도에 관한 후속 질문을 덧붙임.
• SOFT (저밀도 명시적): 동일한 후속 질문이지만 프롬프트의 약 20% 부분집합에서만 발생.
• 스타일 제어 (암시적): 응답에 내장된 선언적 재진술 또는 조언 구문 (예: "실제로는 이것이 ...일 때 가장 잘 작동합니다") 으로, 역시 약 20% 밀도로 발생.

트리거 정책을 모르는 무지한 증류자는 수확된 코퍼스에서 학생 모델을 훈련한다. 행동 마커는 학생이 모방하도록 요청된 응답 텍스트의 일부이므로, 학생은 이 행동을 계승한다. 방어자는 이후 블랙박스 쿼리를 통해 의심되는 학생을 감사하며, LLM 을 심판자 (LLM-as-a-judge) 로 사용하여 마커의 존재를 탐지할 수 있다.

형식화

워터마킹은 $(B, \Pi_B, \rho)$라는 세 가지 요소로 정의되며, 여기서 $B$는 마커 함수, $\Pi_B$는 트리거 정책, $\rho$는 유도된 마커 비율이다. 본 논문은 다음 지표들을 도입한다:

• 전달률 ($\tau$): 학생이 홀드아웃 데이터에서 마커를 나타내는 비율.
• 상대적 전달 ($\tau_{rel}$): 교사의 비율로 정규화된 학생의 비율.
• 재문장화 강건성: 교사 - 자기 상한선($R_T$, 프롬프트 측 재문장화 하에서의 교사의 유지율) 과 학생 - 상대 유지율($R_{rel}$, 교사의 저하에 비해 학생이 신호를 얼마나 잘 보존하는지) 로 분해됨.

주요 기여

1. 문제 설정: 저자들은 상호작용 계층 워터마킹을 형식화하고, 기존 토큰 수준 지표 (그린리스트, 방사성 데이터) 에 대응하는 행동적 대응 개념을 정의함.
2. 규모: 본 연구는 Llama-3.3-70B-Instruct 교사 모델을 기반으로 세 가지 모델 계열 (Gemma, OLMo, Qwen) 에서 훈련된 63 개의 LoRA 증류 학생과 35,343 개의 심판된 샘플을 포함하는, 현재까지 가장 광범위한 계열 간 증류 워터마킹 평가를 제시함.
3. 이중 수준 재문장화 강건성: 본 작업은 강건성을 단일 숫자가 아닌 교사 유래 한계와 학생별 유지율의 분해로 특징짓으며, 특정 조건 하에서는 일부 학생이 교사 자체보다 워터마크를 더 신뢰성 있게 보존할 수 있음을 밝힘.

실험 결과

평가에는 다섯 가지 가설 ($H1$–$H5$) 과 여러 발견이 포함됨:

• 학습 가능성 ($H1$): 워터마크가 적용된 데이터로 훈련된 학생들은 기준선보다 훨씬 높은 비율로 마커를 나타냄. 계열 내 사례 연구에서 "STRONG" 데이터로 훈련된 학생은 **5.09%**의 기준선에 비해 **99.56%**의 마커 비율을 달성함.
• 계열 간 일반화 ($H2$): 이 효과는 세 가지 서로 다른 모델 계열에서 유지됨. "STRONG" 마커의 상대적 전달률은 Gemma 에서 88.9%, OLMo 에서 80.9%, Qwen 에서 **45.2%**였음.
• 재문장화 강건성 ($H3$): 사용자 프롬프트가 재문장화 (DIPPER 사용) 될 때 교사의 마커 비율은 감소함 (예: STRONG 의 경우 90.9% 에서 60.4% 로 감소, 66.4% 유지). 이는 상한선을 설정함. 그러나 학생 - 상대 유지율은 다양함:
  • Gemma: 교사의 저하된 비율의 89% 유지.
  • Qwen: 65% 유지.
  • OLMo 이상: OLMo 는 **112%**의 유지율을 보이며, 교사 자신의 저하된 성능 위에서 워터마크를 보존함.
• 밀도 - 탐지 가능성 ($H4$): 낮은 밀도 ($\rho \approx 20\%$) 에서조차 탐지율은 계열별 노이즈 바닥선보다 확실히 높음. 예를 들어, 20% 밀도 데이터로 훈련된 OLMo 학생들은 **31.99%**의 탐지율을 보였으며 (기준선 0.65% 대비), 동일한 부분집합에서 교사의 17.85% 비율을 초과함.
• 은폐성 ($H5$): 사전 등록된 라틴방격 프로토콜을 사용한 실험실 연구 ($N=20$) 에 따르면, 저밀도 마커 (20% 및 50%) 는 사용자가 인지하는 상호작용 품질을 유의미하게 저하시키지 않음. 모든 마커 변형은 기준선에서 0.22 리커트 단계 이내에 머무름.
• 암시적 전달 (F-Style): "스타일 제어" 마커 (선언적, 비의문형) 또한 4.1 배에서 7.9 배의 기준선으로 신뢰성 있게 전달되어, 이 메커니즘이 물음표와 같은 특정 구문 형태가 아닌 상호작용 수준 담화에 의존함을 보여줌.

중요성과 주장

본 논문은 상호작용 계층이 반증류 워터마킹을 위한 실행 가능한 설계 위치라고 주장하며, 토큰, 모델, 추론 흔적 방어책에 보완적인 감사 채널을 제공함.

• 보완적 실패 모드: 토큰 수준 신호는 응답 수준 재작성에 취약하고, 추론 흔적은 구조적 재배열에 취약한 반면, 상호작용 계층 신호 (행동적 경향) 는 프롬프트 측 재문장화에 강건하며 증류 과정에서 학습된 담화 능력으로 생존하는 것으로 보임.
• 행동 전달: 결과는 증류가 표면적 토큰 통계보다 구조적 규칙성과 담화 수준 능력 (예: "되묻기") 을 우선적으로 보존함을 시사함.
• 실용적 실행 가능성: 본 연구는 낮은 밀도의 워터마크가 사용자 경험을 저하시키지 않고 배포될 수 있음을 보여주며, 블랙박스 쿼리를 통한 허가되지 않은 증류 감사를 위한 실용적인 방법을 제공함.

저자들은 범위에 대해 겸손하게, 현재 위협 모델이 비적응적 프롬프트 측 재문장화에 초점을 맞추고 있음을 지적함. 그들은 응답 측 재작성과 적응적 공격을 향후 연구의 열린 과제로 식별함. 또한, OLMo 에서 관찰된 "증폭" 효과 (학생이 교사를 능가함) 는 보편적 속성이 아닌 추가적인 경험적 근거가 필요한 단일 계열 관찰로 취급됨.