기술 요약: SWaRL – 강화 학습을 통한 코드 워터마킹 보호

1. 문제 제기

코드 대형 언어 모델 (LLM) 의 급증은 소프트웨어 개발을 가속화했지만, 지적 재산권 (IP) 보호 및 코드 책임성에 관한 중대한 과제를 야기했습니다. 이러한 모델이 생성한 고품질 코드는 출처가 불분명해지도록 귀속 없이 재배포되거나 수정될 수 있습니다. 또한, 악의적인 행위자들이 이러한 모델을 악용하여 난독화되거나 취약한 코드를 생성할 수 있어 포렌식 분석을 복잡하게 만듭니다.

기존의 코드 워터마킹 접근법은 기능적 정확성과 워터마크 견고성 사이의 근본적인 트레이드오프에 직면해 있습니다:

• 추론 기반 방법(예: "녹색/적색" 토큰 목록)은 생성 중 토큰 확률을 조작합니다. 모델 업데이트가 필요 없다는 장점이 있지만, 종종 코드 충실도를 저하시켜 구문 오류나 기능적 실패를 초래합니다.
• 신경망 기반 방법은 서명을 임베드하기 위해 수동으로 제작된 변환 규칙 (예: 변수 이름 변경, 구문 재구성) 에 의존합니다. 기능 보존은 더 잘 유지하지만, 코드를 체계적으로 재구성하는 리팩토링 공격에 취약하며 새로운 구문 패턴으로의 일반화가 부족합니다.

수동 변환 규칙에 의존하거나 코드 품질을 희생하지 않으면서도 기능적으로 정확한 코드를 생성하고 검증 가능한 워터마크를 임베드하도록 코드 LLM 을 자동으로 정렬하는 프레임워크가 필요합니다.

2. 방법론: SWaRL

SWaRL 은 **강화 학습 (RL)**을 활용하여 코드 생성 모델 (Actor) 과 워터마크 탐지기를 공동 훈련시키는 견고하고 충실도를 보존하는 워터마킹 프레임워크입니다.

핵심 구성 요소

1. Actor 모델 (코드 LLM): 기능 단위 테스트를 통과하고 탐지 가능한 워터마크 서명을 임베드하는 코드를 생성하도록 미세 조정된 기반 LLM(예: Qwen2.5-Coder) 입니다.
2. 워터마크 탐지기 (보상 모델): 보상 신호로 작용하는 학습 가능한 신경망 (CodeBERT 기반) 입니다. Actor 가 생성한 워터마크 코드와 워터마크가 없는 참조 코드를 구분합니다.
3. 저랭크 적응 (LoRA): 계산 효율성과 모듈성을 보장하기 위해 SWaRL 은 모든 매개변수를 미세 조정하는 대신 Actor 의 선형 레이어에 작고 학습 가능한 저랭크 행렬을 주입하여 워터마킹 행동을 구현합니다.

최적화 프레임워크: GRPO

SWaRL 은 Actor 를 최적화하기 위해 경량 RL 알고리즘인 **그룹 상대 정책 최적화 (GRPO)**를 활용합니다. 과정은 다음과 같습니다:

• 샘플링: 주어진 프롬프트에 대해 Actor 는 $G$개의 후보 코드 출력을 생성합니다.
• 하이브리드 보상 계산: 각 후보 $\tau$는 복합 보상 함수 $R(\tau)$를 사용하여 점수가 매겨집니다:
  $$R(\tau) = \lambda_{wm} R_{wm}(\tau) + \lambda_{exec} R_{exec}(\tau) - \beta D_{KL}(\pi_\theta || \pi_{ref})$$
  • 워터마크 보상 ($R_{wm}$): 고정된 탐지기 모델 $D(\tau; \theta_d)$의 출력으로, 코드가 워터마크되었을 가능성을 추정합니다.
  • 실행 보상 ($R_{exec}$): 일련의 단위 테스트에 대한 코드의 통과율로, 기능적 정확성을 보장합니다.
  • KL 발산 페널티: 정책이 참조 모델과 가깝게 유지되도록 제한하여 분포 드리프트를 방지하고 안정적인 훈련을 보장합니다.
• 정책 업데이트: Actor 는 그룹 내 후보들의 상대적 이점을 기반으로 클리핑된 정책 경사 목적 함수를 사용하여 업데이트됩니다.
• 공동 훈련: 워터마크 탐지기는 정기적으로 잠금 해제되어 최근 Actor 출력과 참조 코드가 혼합된 데이터로 미세 조정됩니다. 이는 탐지기가 진화하는 생성 정책과 정렬되도록 보장하여 Actor 가 정적 탐지기를 "해킹"하는 것을 방지합니다.

배포

추론 시 LoRA 어댑터는 기반 모델과 병합됩니다. 시스템은 표준 코드 생성 API 로 작동하여 자연스럽고 실행 가능한 코드를 생성합니다. 승인된 당사자는 원래 모델에 접근하거나 재훈련할 필요 없이 학습된 탐지기를 사용하여 코드 조각의 출처를 확인할 수 있습니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. SWaRL 프레임워크: 수동으로 제작된 변환 규칙의 필요성을 제거하고, 기능적 코드에 임베드된 서명을 생성하도록 코드 LLM 을 자동으로 정렬하는 RL 기반 워터마킹 프레임워크의 도입.
2. 알고리즘 통합:
   • 기능적 정확성, 워터마크 탐지 가능성, 그리고 리팩토링 공격에 대한 견고성을 동시에 최적화하기 위해 GRPO 활용.
   • 기반 LLM 에 워터마킹 행동을 주입하기 위한 모듈식이고 경량인 메커니즘을 제공하기 위해 LoRA 통합.
3. 성능 우수성: SWaRL 이 기존 베이스라인 중 가장 높은 코드 생성 정확도를 유지하면서 최첨단 수준의 워터마크 탐지 가능성을 달성함을 입증. 이는 일관되게 워터마크가 없는 감독 미세 조정 (SFT) 베이스라인을 통과율에서 능가하며, 견고성 측면에서 이전 워터마킹 방법들을 능가합니다.

4. 실험 결과

실험은 HumanEval, MBPP 및 그 확장 변형 (HumanEval+, MBPP+) 에서 수행되었으며, SWaRL 을 No Watermark (Base+SFT), EXP-edit, WLLM, SWEET과 같은 베이스라인과 비교했습니다.

기능적 정확성

• SWaRL 은 모든 워터마킹 방법 중 모든 벤치마크에서 가장 높은 Pass@1 및 Pass@10 점수를 달성했습니다.
• 주목할 점은 SWaRL 이 여러 설정에서 워터마크가 없는 SFT 베이스라인을 능가했다는 것입니다 (예: HumanEval Pass@1 이 55.23% 에서 58.22% 로 향상). 이는 RL 목적이 구문 유효성을 위한 추가 정렬 단계로 작용함을 시사합니다.
• 반면, WLLM 및 SWEET 과 같은 통계적 방법은 기능적 정확성을 크게 저하시켰습니다 (예: WLLM 은 HumanEval Pass@1 을 30.82% 로 하락시킴).

워터마크 탐지 가능성

• SWaRL 은 강력한 AUROC 점수 (예: MBPP 에서 0.908) 를 달성하여 이전 방법들보다 충실도와 탐지 가능성 사이의 균형을 더 잘 유지했습니다.
• WLLM 과 SWEET 은 높은 AUROC 를 보였지만, 이는 코드 기능성 희생의 대가였습니다. EXP-edit 는 기능을 보존했지만 탐지 가능성이 약했습니다 (일부 데이터셋에서 무작위 추측 수준).

공격에 대한 견고성

• 리팩토링 공격: 외부 LLM(Qwen2.5-3B 및 DeepSeek-Coder-7B) 에 의해 코드가 리팩토링되었을 때, SWaRL 은 가장 낮은 AUROC 감소를 보였습니다.
  • 가장 강력한 공격 (MBPP 에 대한 DS 공격) 하에서 SWaRL 은 **2.21%**의 감소만 보였으며, WLLM 과 SWEET 은 14~17% 의 감소를 보였습니다.
• 변수 이름 변경: SWaRL 은 식별자의 50% 가 이름이 변경되었을 때도 높은 AUROC 를 유지한 반면, 토큰 수준 방법 (WLLM, SWEET) 은 성능이 크게 저하되었습니다.

효율성

• 생성 지연 시간: SWaRL 은 통계적 방법과 비교할 수 있는 최소한의 오버헤드 (0.039 초/토큰) 를 도입했습니다.
• 탐지 지연 시간: SWaRL 은 가장 빠른 탐지 시간 (0.0002 초/토큰) 을 달성하여 EXP-edit(0.588 초/토큰) 및 통계적 방법을 크게 능가했습니다.

5. 중요성 및 주장

본 논문은 SWaRL 을 AI 지원 프로그래밍에서의 귀속 및 소유권 검증을 위한 실용적이고 확장 가능한 솔루션으로 위치시킵니다. 그 중요성은 코드 유용성과 보안 사이의 전통적인 트레이드오프를 해결하는 데 있습니다:

• 충실도 보존: 구문을 깨는 추론 기반 방법과 달리, SWaRL 은 생성된 코드가 기능적으로 정확하고 단위 테스트를 통과하도록 보장합니다.
• 견고성: 정적 규칙에 의존하는 대신 RL 을 통해 워터마크 일관성 생성 행동을 학습함으로써, SWaRL 은 일반적으로 규칙 기반 또는 토큰 수준 워터마크를 무력화하는 체계적인 리팩토링 및 적대적 변환에 저항합니다.
• 효율성: LoRA 와 경량 탐지기의 사용은 프레임워크가 실질적인 추론 오버헤드 없이 실제 배포에 계산적으로 가능하도록 보장합니다.

저자들은 SWaRL 이 생성된 코드의 품질을 저하시키거나 사용자 워크플로우를 변경하지 않고도 신뢰할 수 있는 출처 추적 및 IP 보호를 가능하게 한다고 결론지었습니다.

6. 한계 및 향후 작업

본 논문은 특정 한계를 인정하고 향후 방향을 제시합니다:

• 이진 수준 워터마킹: 현재 구현은 소스 코드를 대상으로 하며, 컴파일된 이진 코드로 확장하는 것이 잠재적인 향후 확장 사항입니다.
• 저장소 수준 범위: 평가는 현재 함수 수준에서 이루어졌습니다. 저자들은 저장소 수준 워터마킹은 아직 탐구되지 않았으며, 이는 추가 연구가 필요한 더 큰 적대적 수정 공간을 제시한다고 지적합니다.