기술 요약: 시스템 프롬프트는 행동적 지문을 남기는가?

문제 정의

LLM(대규모 언어 모델) 애플리케이션 플랫폼(예: GPT Store, Coze)의 확산은 시스템 프롬프트를 중요한 지적 재산(IP)으로 자리 잡게 했습니다. 모델 가중치는 복제하기 어렵지만, 시스템 프롬프트는 적대적 질의를 통해 0.8 이상의 성공률로 원문 그대로 추출될 수 있으며, 이를 어떤 플랫폼에서도 비용 없이 재배포할 수 있습니다. 기존의 방어 기제는 추출을 방지하는 데 집중되어 있으나, 일단 프롬프트가 도난당하면 소유자는 의심되는 배포본이 클론(복제본)인지 확인할 방법이 없습니다.

본 연구의 핵심 질문은 시스템 프면트가 추출, 패러프레이징(말 바꿔 쓰기), 그리고 교차 모델 전이(cross-model transfer) 과정에서도 살아남는 **사용 가능한 행동적 흔적(usable behavioral trace)**을 남기는가 하는 점입니다. 만약 그러한 흔적이 존재한다면, 이는 **블랙박스 행동 지문 생성(Black-Box Behavioral Fingerprinting, BBF)**을 가능하게 할 수 있습니다. BBF는 프롬프트 소유자가 자신의 원래 배포본으로부터 행동적 시그니처를 등록하고, 이후 의심되는 배포본이 무관한 베이스라인보다 해당 시그니처에 더 밀접하게 일치하는지 테스트하는 방법입니다. 이 과정에는 오직 블랙박스 API 접근 권한만 필요합니다.

방법론: 블랙박스 행동 지문 생성 (BBF)

BBF는 범용 문장 인코더와 코사인 유사도에만 의존하여, 임베딩 공간에서의 두 샘플 비교를 통해 클론 탐지를 실행합니다. 프로세스는 두 단계로 구성됩니다.

1. 등록(Registration): 방어자는 원래의 배포본(프롬프트 $P$)에 진단 질의 세트 $Q = \{q_1, \dots, q_K\}$를 보냅니다. 각 질의에 대해 $N$개의 확률적 출력 샘플을 수집하고, 이를 문장 인코더 $\phi$를 통해 임베딩한 후 행동적 중심점(behavioral centroid) $\hat{\mu}_k$로 집계합니다. 지문 $F$는 이러한 중심점들의 집합입니다.
2. 탐지(Detection): 방어자는 의심되는 배포본(프롬프트 $P^*$)에 동일한 질의를 보냅니다. 의심되는 중심점 $\hat{\mu}^*_k$를 계산합니다. 동일한 사실적 질문에 대해 서로 다른 프롬프트가 의미적으로 유사한 답변을 생성할 수 있다는 점을 제어하기 위해, 방어자는 동일한 광범의 도메인에서 가져온 무관한 프롬프트($P_u$)에 대한 중심점도 함께 계산합니다.
3. 결정 통계량(Decision Statistic): 탐지 신호는 "제어된 격차(controlled gap)" $\delta_k = s_{clone} - s_{unrel}$입니다. 여기서 $s$는 원본 중심점과 의심되는/클론 중심점 사이의 코사인 유사도를 나타냅니다. 양(+)의 격차는 의심되는 대상이 무관한 베이스라인보다 원본에 행동적으로 더 가깝다는 것을 나타냅니다.
4. 집계(Aggregation): 탐지는 $T$개의 질의에 대한 다수결 투표를 통해 수행됩니다. 이론적 분석(Proposition 1)에 따르면, 충분한 질의 예산(예: $T=25$)이 확보되면 탐지 확률은 지수적으로 수렴합니다.

진단 질의 최적화 (Diagnostic Query Optimization, DQO):
탐지력을 극대화하기 위해 본 논문은 비용이 들지 않는 질의 선택 규칙인 DQO를 제안합니다. DQO는 원본 프롬프트와 무관한 프롬프트가 매우 상이한 출력(낮은 베이스라인 유사도 $s_{unrel}$)을 생성하는 질의가 프롬프트 변화에 가장 민감하다는 가설을 바탕으로 합니다. DQO는 의심되는 클론에 접근할 필요 없이, 무관한 프롬프트와의 베이스라인 유사도가 가장 낮은 $T$개의 질의를 선택합니다.

실험 설정

본 연구는 다음을 포함하는 대규모 경험적 평가를 수행합니다:

• 모델: 4개 모델 제품군 (Claude, GPT, DeepSeek, Qwen).
• 벤치마크: 7개 도메인(예: MMLU, GSM8K, MNLI, MedQA)에 걸친 8개의 NLP 벤치마크, 총 2,000개의 진단 질의.
• 시나리오: $4 \times 4$ 교차 모델 조합과 8개 벤치마크를 모두 아우르는 총 128개 시나리오.
• 데이터: 288,000개의 생성된 응답 (250개 질의 $\times$ 3개 샘플 $\times$ 3개 프롬프트 유형 $\times$ 128개 시나리오).
• 임베딩 모델: all-MiniLM-L6-v2.

주요 결과

1. 행동적 지문의 존재성

연구 결과, 시스템 프롬프트의 선택이 출력 분산의 상당 부분을 설명한다는 것이 확인되었습니다. 일원 분산 분석(one-way ANOVA) 결과 평균 효과 크기 $\eta^2 = 0.244$ (Cohen의 기준에 따른 "큰" 효과)를 기록하였으며, 이는 프롬프트 선택이 출력 임베딩 분산의 약 24.4%를 설명함을 의미합니다. 128개 시나리오 중 118개에서 클론의 출력이 무관한 출력보다 원본에 더 가까웠습니다.

2. 탐지 성능

• 동일 모델 탐지: 평균 AUC 0.876으로 매우 신뢰할 수 있습니다.
• 교차 모델 탐지: 성능은 탐지기 모델의 정체성에 따라 제한됩니다.
  • Claude를 탐지기로 사용했을 때 가장 높은 교차 모델 **AUC(0.845)**를 달로했습니다.
  • Qwen을 탐지기로 사용했을 때 가장 낮은 **AUC(0.665)**를 기록했습니다.
  • 전체 평균 교차 모델 AUC는 0.725입니다.
• 질의 예산: 25개의 질의 예산이면 신뢰할 수 있는 탐지에 충분합니다 (시나리오 수준 확률 > 0.999).
• DQO 효능: DQO를 적용했을 때 교차 모델 AUC가 평균 +0.120 증가했습니다.

3. 강건성 및 실패 모드

• 패러프레이징(Paraphrasing): BBF는 비적응형 패러프레이징(유의어 교체, 구조적 재구성, 기능적 재작성)에 대해 강건합니다. 공격적인 L3 수준의 재작성 하에서도 AUC는 $\ge 0.889$를 유지했습니다.
• 불완전한 추출: 자동화된 불완전한 추출을 통해 파생된 클론은 수작업으로 작성된 패러프레이즈만큼이나 탐지가 잘 되었는데, 이는 추출 과정이 기능적 프레임을 보존하는 반면 수작업 재작성은 직교하는 스타일적 노이즈를 도입하기 때문으로 보입니다.
• 실패 모드: 128개 시나리오 중 11개가 실패했습니다 (AUC $\le 0.5$). 실패는 세 가지 패턴으로 군집화되었습니다:
  1. 짧은 출력: 스타일이 콘텐츠를 지배하는 매우 짧은 출력 작업(예: SST-2의 감성 분석).
  2. 데이터 아티팩트: CUAD 벤치마크는 프롬프트-질의 불일치를 유발하는 데이터 로딩 문제로 인해 실패했습니다.
  3. 스타일 불일치: 특정 모델 쌍(예: Qwen $\to$ GPT)에서 체계적인 스타일 불일치가 나타났습니다.
• 적응형 공격: 패러프레이징은 탐지를 피하는 데 실패했으나, 프롬프트에 **단일 문장의 격식 있는 톤 접두사(formal-tone prefix)**를 주입하자 짧고 구조화된 작업(MNLI AUC가 0.978에서 0.547로 하락)에서 탐지력이 무너졌습니다. 이는 **스타일 불변 탐지(style-invariant detection)**가 주요한 미해결 과제임을 시사합니다.

의의 및 주장

본 논문은 BBF를 발견 도구가 아닌 검증 도구로 규정하며, 기존의 지적 재산 집행 메커니즘을 보완하는 용도로 제안합니다. 본 연구의 주요 의의는 다음과 같습니다:

1. 실현 가능성: 시스템 프롬프트가 블랙박스 출력 내에 측정 가능하고 전이 가능한 행동적 지문을 남긴다는 것을 입증했습니다.
2. 접근성: 모델 가중치, 플랫폼 협력, 생성 과정의 수정 없이 오직 API 접근만으로 가능한 탐지 방법을 제공합니다.
3. 실용성: 고정된 저비용의 25개 질의 예산만으로도 대부분의 콘텐츠가 풍부한 시나리오에서 높은 신뢰도의 탐지가 가능하다는 것을 확립했습니다.

저자들은 BB while BBF가 표준적인 클로닝과 패러프레이징에는 효과적이지만, 출력의 톤이나 형식을 조작하는 적응형 공격자로부터 방어하기 위해서는 스타일 불변 탐지 문제를 해결해야 한다고 결론짓습니다. 본 연구는 프롬프트 클로닝의 법적 지위를 해결하려는 것이 아니라, 소유자가 도난 의심을 입증할 수 있는 기술적 프로토콜을 제공하는 데 목적이 있습니다.