기술 요약: PromptMark

문제 정의

소프트웨어 개발 분야에서 대규모 언어 모델(LLM)의 확산은 AI가 생성한 소스 코드의 기원과 저작권을 검증할 수 있는 능력인 **코드 출처(code provenance)**에 대한 결정적인 필요성을 창출했습니다. 워터마킹은 디지털 콘텐츠의 표준 기술이지만, 이를 소스 코드에 적용하는 데는 다음과 같은 독특한 과제들이 존재합니다:

1. 구조적 경직성: 자연어와 달리 소스 코드는 구문적으로 엄격하여, 미세한 수정만으로도 컴파일이 깨지거나 프로그램 로직이 변경될 수 있습니다.
2. 블랙박스 제약: 대부분의 개발자는 모델 내부(로짓, 디코딩 전략)에 접근할 수 없는 API를 통해 상용 LLM과 상호작용합니다. 기존의 워터마킹 방식은 토큰 확률을 조작하기 위해 "화이트박스(white-box)" 접근 권한을 요구하는 경우가 많아, 실제 환경에 배포하기에는 비현실적입니다.
3. 균형 잡기: 효과적인 워터마킹은 코드의 기능적 정확성이나 가독성을 해치지 않으면서도 탐지 가능한 신호를 삽입할 수 있어야 합니다.

본 논문이 다루는 핵심 문제는, 모델 내부 정보에 대한 접근 없이도 소스 코드에 보이지 않으면서 통계적으로 탐지 가능한 신호를 삽입할 수 있는 블랙박스 기반 프롬프트 유도형(prompt-guided) 워터마킹 프레임워크를 설계하는 것입니다.

방법론: PromptMark

저자들은 LLM의 지시 이행(instruction-following) 능력을 활용하여 생성을 특정 패턴으로 유도하는 3단계 프레임워크인 PromptMark를 제안합니다.

1. 암호학적 그린 리스트(Green List) 구축

PromptMark는 모델의 로짓을 직접 조작하는 대신, 시스템 프롬프트를 통해 모델에 편향을 부여합니다.

• 그린 리스트/레드 리스트: 프레임워크는 "그린 리스트"(식별자/주석의 허용된 초기 문자)와 "레드 리스트"(금지된 문자)를 정의합니다.
• 빈도 기반 계층화: 자연스러움을 보장하기 위해, 그린 리스트는 인간이 작성한 코드(MBPP 및 HumanEval 데이터셋 사용)의 식별자 초기 문자 빈도 분포로부터 도출됩니다. 시스템은 후보 풀을 형성하기 위해 가장 빈도가 높은 상위-$K$개의 문자를 선택합니다($K \in [10, 12]$).
• 암호학적 유도: 예측 가능성을 방지하기 위해, 그린 리스트의 구체적인 크기와 구성은 128비트 비밀 키를 사용하여 SHA-256 해싱 및 피셔-예이츠(Fisher-Yates) 셔플링을 통해 결정론적으로 도출됩니다. 이는 보안을 유지하면서도 검증을 위한 재현성을 보장합니다.

2. 반복 피드백 루프

단일 프롬프트만으로는 기능적으로 정확하면서도 충분히 워터마크가 삽입된 코드를 얻기 어렵다는 점을 인식하여, PromptMark는 반복 프로세스를 채택합니다.

• 생성: LLM은 식별자와 주석에 그린 리스트 문자를 사용하도록 지시하는 시스템 프롬프트에 따라 코드를 생성합니다.
• 평가: 출력물은 두 가지 지표로 평가됩니다:
  • 기능적 정확성 ($c_i$): 유닛 테스트 실행(Pass/Fail)을 통해 결정됩니다.
  • 워터마크 충실도 ($p_i$): 그린 리스트 문자의 빈도가 예상되는 베이스라인과 얼마나 편차를 보이는지를 측정하는 통계적 p-값입니다.
• 피드백: 코드가 테스트를 통과하지 못하면 에러 로그가 다시 입력됩니다. 코드는 통과했지만 워터마크가 약한 경우, 그린 리스트 준수를 더 엄격하게 강제하도록 프롬프트가 업데이트됩니다. 이 루프는 두 기준이 모두 충족되거나 최대 반복 횟수에 도달할 때까지 계속됩니다.

3. 통계적 탐지

탐지는 단측 가설 검정(one-sided hypothesis test)으로 처리됩니다.

• 귀무 가설 ($H_0$): 코드는 키(key)에 대한 지식 없이 생성되었습니다 (그린 리스트 빈도 $\le$ 베이스라인).
• 대립 가설 ($H_1$): 코드는 워터마크가 삽입되었습니다 (그린 리스트 빈도 $>$ 베이스라인).
• 적응형 p-값: 탐지기는 짧은 코드($N < 30$)의 경우 정확한 이항 검정(exact binomial test)을, 긴 코드($N \ge 30$)의 경우 정규 근사(normal approximation)를 사용하는 적응형 p-값을 계산합니다. 코드는 기능적으로 정확하고 p-값이 유의 수준 미만인 경우에만 워터마크가 삽입된 것으로 간주됩니다.

주요 기여

1. 블랙박스 워터마킹 프레임워크: PromptMark는 프롬프트 엔지니어링만을 사용하여 소스 코드에 대한 신뢰할 수 있는 제로 비트(zero-bit) 워터마킹을 입증한 최초의 프레임워크이며, 모델 내부 정보의 필요성을 제거했습니다.
2. 반복 피드백 메커니즘: 본 논문은 워터마크 강도와 코드 정확성 사이의 균형을 동적으로 조절하는 자기 개선(self-refinement) 루프를 도입하여, 단일 패스 프롬프팅에서 나타나는 트레이드오프 문제를 해결했습니다.
3. 적응형 그린 리스트 전략 (AGL): 워터마크 토큰을 인간의 고빈도 식별자 초기 문자로부터 도출함으로써, 코드의 의미적 자연스러움을 보존하고 개발자에게 의해 탐지되거나 가독성을 떨어뜨리는 "강제된" 느낌을 피합니다.
4. 암호학적 보안: 비밀 키를 사용하여 그린 리스트를 결정론적으로 생성함으로써, 워터마크는 검증을 위해 재현 가능하면서도 키 없이는 예측할 수 없도록 보안을 유지합니다.

실험 결과

프레임워크는 Gemini 2.5 Flash 및 Claude Sonnet 4를 사용하여 MBPP 및 HumanEval 데이터셋에 대해 평가되었습니다.

• 효과성 (RQ1):

  • PromptMark는 강력한 탐지 성능을 보였으며, 구성에 따라 0.90에서 0.99 사이의 AUROC 점수를 기록했습니다.
  • Iterative-AGL(적응형 그린 리스트) 변형이 가장 우수한 성능을 보였으며, Gemini/MBPP에서 0.994, Claude/MBPP에서 0.987의 AUROC를 달성했습니다.
  • 낮은 오탐률(1%~5%)에서 진양성률(True Positive Rate)은 90% 이상이었으며, 유리한 설정에서는 95% 이상에 도달했습니다.
  • SWEET(화이트박스)와 같은 베이스라인 방법은 코드 정확성을 크게 저하시킨 반면, 반복 과정이 없는 인컨텍스트 워터마킹(ICW)은 낮은 탐지력(AUROC ~0.51)을 보였습니다.

• 코드 품질 (RQ2):

  • 기능적 정확성: PromptMark는 비 워터마크 베이스라인과 유사한 ~97% (HumanEval) 및 **~99% (MBPP)**의 Pass%를 달성하며 높은 수준을 유지했습니다.
  • 구조적 유사성: CodeBLEU 점수는 워터마크가 없는 코드와 일관되게 안정적이었으며, 이는 워터마킹 과정이 제어 흐름이나 데이터 의존성을 왜곡하지 않았음을 나타냅니다.

• 강건성(Robustness):

  • 워터마크는 주석 제거에 대해 탄력성을 보였습니다 (AUROC가 약 3.8%만 하락).
  • 그러나 자동 패러프레이징(변수 이름 변경)은 상당한 성능 저하를 일으켰습니다 (AUROC가 ~0.71로 하락). 이는 자연스러움과 공격적인 의미 보존형 공격에 대한 강건성 사이의 트레이드오프를 보여줍니다.

의의 및 주장

본 논문은 PromptMark가 소스 코드 워터마킹을 프롬프트 유도형 작업으로 성공적으로 재정의하여, 상용 블랙박스 LLM에서도 실행 가능하게 만들었다고 주장합니다.

• 실용성: 모델 내부 정보에 접근할 수 없는 환경에서 귀속(attribution)을 위한 실행 가능한 솔루션을 제공하여, 화이트박스 전용 연구가 남긴 공백을 메웁니다.
• 균형: 반복 피드백 메커니즘은 높은 워터마크 강도와 높은 코드 품질이 서로 배타적이지 않음을 증명합니다. 즉, 동적 정교화를 통해 두 가지를 모두 달형할 수 있습니다.
• 귀속: 현재 구현은 제로 비트 탐지(존재 여부)를 지원하지만, 저자들은 암호학적 키 분리를 통해 서로 다른 모델에 별도의 키를 할당함으로써 모델별 귀속이 가능할 수 있다고 언급합니다.

저자들은 이 접근 방식이 제로 비트 워터마킹의 토대를 마련했지만, 향후 블랙박스 환경에서의 멀티 비트 인코딩 가능 워터마크 개발과 멀티 채널 임베딩 전략을 통한 체계적인 이름 변경 공격에 대한 강건성 향상이 필요하다고 결론지었습니다.