Robust and Secure Code Watermarking for Large Language Models via ML/Crypto Codesign

기술 요약: ML/Crypto 공동 설계를 통한 코드 LLM의 강건한 영지식 검증 가능한 워터마킹

문제 정의
대규모 언어 모델(LLM)에 의한 AI 생성 코드의 확산은 표절, 취약점 주입, 무단 상업적 이용을 포함한 중대한 지식 재산(IP) 문제를 제기합니다. 워터마킹은 LLM이 생성한 코드를 식별하기 위한 해결책으로 제안됩니다. 그러나 기존 방식들은 탐지 가능성(워터마크를 찾는 능력), 충실도(코드 기능 보존), 강건성(제거 저항성)이라는 세 가지 목표 사이의 결정적인 충돌 문제에 직면해 있습니다.

코드 워터마킹의 특정 병목 구간은 코드의 저엔트로피 특성입니다. 자연어와 달리 코드는 고품질의 시그니처를 담을 수 있는 공간이 제한적입니다. 현재의 검증 방식은 LLM 소유자가 법적 유효성을 입증하기 위해 제3자 중재자에게 비밀 시그니처를 공개해야 합니다. 이러한 공개는 보안 역설을 만듭니다. 일단 시그니처가 노출되면, 향후 생성될 결과물에 대해 위조를 방지하기 위해 시그니처를 다시 인코딩해야 합니다. 저엔트로피 코드에서 재인코딩은 종종 코드의 기능을 저하시키거나 워터마크의 회복력을 감소시켜, 워터마킹 체계의 재사용성을 제한합니다. 또한, 기존의 신경망 기반 방식들은 처음부터 학습된 얕은 네트워크에 의존하는 경우가 많아 특징 추출 능력이 제한적이며, 추론 기반 방식들은 구문을 깨뜨리는 방식으로 토큰을 조작하기도 합니다.

방법론: RoSeMary 프레임워크
본 논문은 이러한 과제들을 해결하기 위해 **ML/Crypto 공동 설계(co-design)**를 활용하는 RoSeMary 프레임워크를 소개합니다. 이는 두 가지 주요 구성 요소인 강력한 ML 기반 워터마킹 아키텍처와 맞춤형 영지식 증명(ZKP) 검증 프로토콜로 이루어져 있습니다.

1. ML 기반 워터마킹 아키텍처:

   • 백본(Backbone): RoSeMary는 코드의 의미론을 더 잘 이해하기 위해 수백만 개의 코드 스니펫으로 사전 학습된 시퀀스-투-시퀀스 모델인 CodeT5를 특징 추출을 위한 백본으로 활용합니다. 이는 처음부터 학습된 모델보다 사전 학습된 지식을 효과적으로 활용합니다.
   • 삽입(Insertion): 인코더는 원래 코드의 특징과 워터마크 메시지를 융합합니다. 두 개의 디코더($S_{d1}$ 및 $S_{d2}$)는 구문 변환(예: 루프 유형, 연산자 치환) 및 변수 이름 변경에 대한 확률을 예측합니다. 워터마크가 삽입된 코드는 가장 확률이 높은 변환을 적용하여 생성됩니다.
   • 적대적 학습(Adversarial Training): 강건성을 보장하기 위해, 시스템은 변환 확률 분포를 섭동(perturbation)시켜 학습 과정 중에 적대적 변형을 생성합니다. 추출 모듈은 표준 워터마크 코드와 이러한 적대적으로 변형된 버전 모두에서 메시지를 복구하도록 학습됩니다.
   • 학습 목표: 시스템은 다음 세 가지 손실(loss)을 최소화하도록 엔드-투-엔드로 학습됩니다:
     • 충실도 손실 ($L_f$): 워터마크가 삽입된 코드가 원래 코드와 동일하게 컴파일되고 실행되도록 보장합니다 (특징 근사 네트워크 $R_f$ 사용).
     • 탐지 가능성 손실 ($L_d$): 인코딩된 메시지와 추출된 메시지 사이의 오차를 최소화합니다.
     • 강건성 손실 ($L_r$): 인코딩된 메시지와 적대적 예시에서 추출된 메시지 사이의 오차를 최소화합니다.

2. 영지식 검증 (ZKP):

   • 목표: LLM 소유자가 자신의 비밀 시그니처를 중재자에게 공개하지 않고도 소유권을 법적으로 검증할 수 있도록 하여, 시그니처의 재사용성을 보존합니다.
   • 메커니즘: RoSeMary는 Halo2 zk-SNARK 시스템을 기반으로 하는 **비대화형 영지식 증명(NIZK)**을 채택합니다.
   • 프로세스:
     • LLM 소유자(증명자, Prover)는 특정 워터마크 코드가 자신의 개인 키와 일치하는 유효한 시그니처를 포함하고 있다는 증명을 생성하되, 시그니처 자체는 드러내지 않습니다.
     • 중재자(검증자, Verifier)는 공개 검증 키를 사용하여 해당 증명을 확인합니다.
   • 최적화: 신경망 추론에 ZKP를 실용적으로 적용하기 위해, 저자들은 네 가지 맞춤형 최적화를 구현했습니다:
     1. 다항식 근사(Polynomial Approximation): 비용이 많이 드는 범위 체크 룩업을 피하기 위해 ReLU 활성화 함수를 다항식($x^2 + x$)으로 대체합니다.
     2. 양자화(Quantization): 메모리 오버헤드를 줄이기 위해 파라미터에 Bfloat16을 사용합니다.
     3. 맞춤형 zkBER 회로: 추출된 메시지를 이진 시그니처에 결합하기 위해 비트 에러율(Bit Error Rate, BER)을 계산하는 전용 회로를 구현합니다.
     4. 합성성(Composability): 증명 크기와 검증 시간을 줄이기 위해 피드포워드(feed-forward) 회로와 BER 회로를 하나의 계산 그래프로 통합합니다.

주요 기여

• RoSeMary 프레임워크: 사전 학습된 CodeT5 백본을 사용하여 탐지 가능성, 충실도, 강건성을 공동 최적화하는 새로운 코드 LLM 워터마킹 시스템입니다.
• 기밀 검증: 맞춤형 ZKP를 코드 워터마킹에 최초로 적용하여, 시그니처를 공개하지 않고도 소유권 검증을 가능하게 함으로써 저엔트로피 코드에서의 재사용성 문제를 해결했습니다.
• 적대적 학습: 변수 이름 변경, 리팩토링 및 재-워터마킹 공격을 명시적으로 모델링하고 방어하는 엔드-투-엔드 학습 전략을 제공합니다.
• 시스템 레벨 공동 설계: 효율적인 증명 생성 및 검증을 달성하기 위해 특정 최적화(양자화, 다항식 근사)를 포함한 ML 및 Crypto 구성 요소의 통합을 이루었습니다.

실험 결과
평가는 HumanEval, MBPP (Python, C++, Java) 및 EvalPlus 벤치마크를 대상으로 수행되었습니다:

• 탐지 가능성 및 충실도: RoSeMary는 벤치마크 전반에서 AUROC 0.97을 달성하는 동시에 **통과율(Pass Rate) 약 95-97%**를 유지하며, 충실도 측면에서 추론 기반 베이스라인(KGW, SWEET)을, 탐지 가능성 측면에서 신경망 기반 베이스라인(SrcMarker)을 크게 앞질렀습니다.
• 강건성: 변수 이름 변경(최대 50%의 변수) 및 LLM 기반 리팩토링 공격 하에서도 RoSeMary는 0.73 이상의 AUROC를 유지하며 SrcMarker와 SWEET을 능가했습니다. 또한 재-워터마킹 공격에 대해서도 회복력을 보여주었습니다.
• ZKP 효율성:
  • 증명 생성: 약 7.15초 소요 (소유자의 일회성 비용).
  • 검증: 중재자에 의해 약 118.6 ms 소요.
  • 통신: 증명 크기는 17.12 KB이며, 검증 키는 577.3 KB입니다.
  • 확장성: 검증 시간은 프로그래밍 언어(Python, Java, C++) 및 워터마크 길이(4~16비트)에 관계없이 통계적으로 불변하지만, 디코더 너비에 따라 증가합니다.

의의 및 주장
본 논문은 RoSeMary가 실용적인 코드 워터마킹 시스템을 위한 균형 잡힌 솔루션이라고 주장합니다. ML과 Crypto 구성 요소를 공동 설계함으로써 다음을 달성했습니다:

1. 고품질 워터마크: 코드 기능을 보존하면서 높은 탐지율과 일반적인 공격에 대한 강건성을 확보합니다.
2. 시그니처 재사용성: 법적 검증 후에도 시그니처를 다시 인코딩할 필요가 없도록 하여, 시그니처 공간이 제한적인 저엔트로피 코드 환경에서 필수적인 기능을 제공합니다.
3. 프라이버시 보존 검증: 제3자 중재자가 독점적인 시그니처에 접근하지 않고도 법적으로 소유권을 검증할 수 있게 함으로써, IP 소유자의 영업 비밀을 보호합니다.

저자들은 ZKP 생성이 표준 추론보다 계산 부하가 크지만, 이는 결과물당 발생하는 일회성 비용이므로 전체 시스템은 효율적이라고 강조합니다. 이 프레임워크는 소프트웨어 개발 생명주기에서 LLM 생성 콘텐츠를 규제하고 지식 재산을 보호하기 위한 실행 가능한 도구로 제시됩니다.