PuzzleMark: Implicit Jigsaw Learning for Robust Code Dataset Watermarking in Neural Code Completion Models

"Neural Code Completion Models"에서의 견고한 코드 데이터셋 워터마킹을 위한 암시적 퍼즐 학습인 "PuzzleMark" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

고품질 코드 데이터셋은 선별에 상당한 자원이 소요되는 귀중한 지적 재산 (IP) 이지만, Neural Code Completion Models(NCCM) 을 훈련시키는 공격자들의 무단 사용에 심각한 위험에 노출되어 있습니다. 디지털 워터마킹은 소유권 확인을 위한 사후 메커니즘을 제공하지만, 기존 코드 데이터셋 워터마킹 방법은 두 가지 치명적인 결함을 안고 있습니다:

• 취약한 캐리어 선택: 이전 연구들 (예: CoProtector, CodeMark) 은 종종 임의로 또는 엄격한 제약 조건 (예: 의미 보존 변환) 을 기반으로 워터마킹 캐리어 (코드 스니펫) 를 선택합니다. 이는 코드의 고유한 "자연스러움"을 무시합니다. 캐리어로 선택된 복잡하거나 비자연스러운 코드 스니펫은 워터마킹 전에도 DeCoMa 나 KillBadCode 와 같은 자동 감지 도구들에 의해 쉽게 플래그가 지정되어 높은 노출 위험을 초래합니다.
• 취약한 워터마킹 패턴: 기존 방법들은 공발생 패턴(고정된 트리거 - 타겟 쌍) 에 의존합니다. 최근 연구 (DeCoMa) 는 이러한 패턴이 쉽게 감지되고 제거될 수 있는 고주파수 이상치를 생성하여, 근접 100% 의 감지율과 제거 공격에 대한 무시할 수 있는 견고성을 초래함을 입증했습니다.

2. 방법론: PuzzleMark

PuzzleMark 는 캐리어 선택, 워터마킹 임베딩, 모델 검증의 세 가지 주요 단계로 구성된 견고한 워터마킹 프레임워크를 도입합니다.

A. 워터마킹 캐리어 선택 (노출 방지)

임의 선택 대신 PuzzleMark 는 "의심스러운" 것으로 감지될 가능성에 기반하여 코드 스니펫이 캐리어로 적합성을 평가합니다.

• 특징 추출: 추상 구문 트리 (AST) 에서 10 가지 복잡도 특징 (5 가지 구조적: 예, 사이클로매틱 복잡도, NLOC; 5 가지 의미론적: 예, 고유 함수 호출, 표현식 다양성) 을 추출합니다.
• 특징 투영: 주성분 분석 (PCA) 에서 영감을 받은 메커니즘을 사용하여 이러한 특징들을 주성분 방향으로 투영하여 적합도 점수를 생성합니다.
• 필터링: 적합도 점수가 낮은 (높은 복잡도/자연스러움 문제) 코드 스니펫은 필터링됩니다. 적합도 점수가 높은 (감지 위험이 낮은) 스니펫만 임베딩을 위한 후보로 선택됩니다.

B. 워터마킹 임베딩 ("퍼즐" 패턴)

PuzzleMark 는 전통적인 공발생 패턴을 동적으로 조각이 맞춰지는 "퍼즐"처럼 작동하는 새로운 연결 패턴으로 대체합니다.

• 메커니즘: 코드 내의 두 변수 이름을 연결하여 워터마킹을 임베딩합니다 (예: prefix + suffix $\rightarrow$ prefix_suffix).
• 두 가지 전략:
  1. 고정 트리거 전략: 사용자 정의 변수 이름 (예: key) 을 고정 접두사로 사용합니다. 접미사는 코드에서 적응적으로 선택되며, 타겟은 연결된 결과입니다.
  2. 범용 워터마킹 전략: 공격자가 고정된 트리거를 식별하는 것을 방지하기 위해 접두사도 적응적입니다 (예: 코드 내 첫 번째 변수). 이는 트리거를 동적으로 만들어 정규식이나 패턴 매칭을 통한 감지를 어렵게 합니다.
• 적응적 교란: 이 방법은 트리거 접두사가 이미 자연스럽게 존재하는 코드에 임베딩을 우선시하여 코드 교란을 최소화합니다. 접두사가 없는 경우, 임베딩 비율 임계값을 충족하기 위해 필요한 경우에만 이를 도입합니다.

C. 의심스러운 모델 검증

워터마킹된 데이터셋으로 훈련된 모델을 확인하기 위해 (블랙박스 설정):

• 입력 구성: 트리거 접미사를 의미 없는 토큰 (예: unknown_token) 으로 대체한 입력 세트와 그렇지 않은 입력 세트의 두 가지 입력 세트를 생성합니다.
• 통계적 테스트: 모델의 출력을 분석하여 특정 연결된 타겟 변수를 예측하는지 확인합니다. 트리거와 타겟 출력 간의 연관성의 통계적 유의성을 결정하기 위해 Fisher 의 정확 검정이 사용되며, 이를 통해 검증을 위한 $p$-값을 제공합니다.

3. 주요 기여

1. 적합도 평가: 노출 위험을 최소화하기 위해 코드 복잡도에 기반하여 워터마킹 캐리어를 평가하고 선택하기 위한 정량적 메커니즘을 최초로 도입했습니다.
2. 연결 패턴: 코드 데이터셋 워터마킹을 위해 공발생 패턴을 대체하는 연결 패턴을 최초로 제안하고 적용하여 감지에 대한 견고성을 크게 향상시켰습니다.
3. 이중 전략: 변수 이름 연결을 통해 고정 트리거 및 범용 워터마킹 전략을 모두 구현하여 설계의 단순성과 높은 비가시성 사이의 균형을 맞췄습니다.
4. 종합적 평가: 방법론의 효과성, 무해성, 비가시성 및 견고성을 입증한 광범위한 실험을 수행했습니다.

4. 실험 결과

저자들은 Python 및 Java 데이터셋 (CodeSearchNet) 에서 세 가지 NCCM(Qwen2.5, StarCoderBase, DeepSeek-Coder) 을 사용하여 PuzzleMark 를 평가했습니다.

• 효과성: 모든 모델과 언어에서 100% 검증 성공률과 0% 오탐지율을 달성했습니다.
• 무해성: 모델 성능에 미치는 영향은 무시할 수 있었습니다. BLEU 점수는 워터마킹된 모델과 베어 모델 간에 통계적으로 유의미한 차이가 없음을 보였습니다 ($p > 0.05$, Cohen's $d < 0.2$).
• 비가시성:
  • 인간: 평균 의심률 $\le 0.24$(CodeMark 와 유사).
  • 기계: 최신 감지기 (SS, AC, KillBadCode, DeCoMa) 에 비해 베이스라인을 크게 능가했습니다. DeCoMa 에 의한 평균 재현율은 $\le 30.41\%$로 하락했습니다 (베이스라인의 약 100% 대비).
• 견고성:
  • 제거 공격: 네 가지 다른 자동 도구에 의해 감지된 샘플을 제거한 후에도 검증 가능성 ($p < 0.05$) 을 유지했습니다.
  • 희석 공격: 워터마킹 임베딩 비율이 0.1% 로 희석되었을 때도 유효성을 유지했습니다 (범용 워터마킹의 경우 약간 더 높은 비율이 필요했습니다).
• 확장성: 프로젝트 수준의 IP 를 성공적으로 보호했으나, 신호 밀도가 부족하여 매우 작은 프로젝트 (<100 함수) 에서는 성능이 제한적이었습니다.

5. 의의

PuzzleMark 는 현재 코드 데이터셋 워터마킹 기술의 치명적인 취약점을 해결합니다. 정적 공발생 패턴에서 동적 연결로 전환하고 "은밀한" 캐리어를 엄격하게 선택함으로써 다음과 같은 워터마킹을 생성합니다:

• 감지하기 어려움: 인간 검사 및 고급 자동 감지 도구 모두를 회피합니다.
• 제거하기 어려움: 워터마킹이 적응적으로 분산되어 고주파수 이상치에 의존하지 않기 때문에 제거 공격에 저항합니다.
• 실용성: 상업용 AI 코딩 어시스턴트 훈련에 사용되는 고가치 코드 데이터셋의 지적 재산을 보호하기 위한 실현 가능한 솔루션을 제공합니다.

이 논문은 PuzzleMark 가 대규모 언어 모델 시대의 견고하고, 비가시적이며, 효과적인 데이터셋 워터마킹을 위한 새로운 기준을 설정한다고 결론지었습니다.