기술 요약: Chain & Hash – LLM 지문 인식 기술

문제 정의

대규모 언어 모델(LLM)의 급격한 배포와 막대한 경제적 가치는 지식 재산(IP) 도난 및 오용에 대한 우려를 높였습니다. 현재의 취약점에는 모델 가중치를 유출할 수 있는 내부자 위협과 공용 API를 통한 모델의 재목적화가 포함됩니다. 기존의 소유권 증명 방식은 미세 조정(fine-tuning)이나 출력 스타일을 변경하는 메타 프롬프트 적용과 같은 적대적 조작에 대해 견고함이 부족합니다. 또한, 많은 접근 방식은 화이트박스 접근(내부 가중치)에 의존하는데, 이는 API 수준의 블랙박스 접근만 가능한 실제 검증 환경에서는 비현실적입니다. 본 논문은 공격자가 모델에 대한 전체 제어권과 알고리즘에 대한 지식을 보유한 실제적인 적대적 설정에서도 작동 가능한, 투명하고 효율적이며 지속적이고 견고하며 위조 불가능한 지문 인식 프레임워크의 필요성을 식별합니다.

방법론: Chain & Hash

저자들은 모델의 효용성을 해치지 않으면서 특정 프롬프트를 응답에 암호학적으로 결합하여 검증 가능한 소유권을 보장하도록 설계된 새로운 지문 인식 프레임워크인 "Chain & Hash"를 제안합니다. 이 프레임워크는 블랙박스 위협 모델 하에서 작동하며 네 가지 주요 구성 요소로 이루어집니다.

1. 질문 생성 (Question Generation)

시스템은 두 가지 상호 보완적인 전략을 사용하여 $Q$개의 지문 프롬프트 세트를 생성합니다.

• 무작위 질문 (Random Questions): 모델의 어휘 집합에서 토큰을 샘플링합니다 (예: 10개 토큰). 이는 기억력을 극대화하지만 입력 필터링에 취약할 수 있습니다.
• 자연어 질문 (Natural Questions): 특정 도메인에 특화되어 통계적으로는 드물지만 의미론적으로는 유효한 쿼리로, 대상 모델 자체에 의해 생성되어 적대적 필터링 위험을 줄입니다.

2. 암호학적 체인 구축 (Cryptographic Chain Construction)

위조 불가능성을 보장하기 위해, 이 방법은 해시 함수(예: SHA-256)를 사용하여 질문을 응답에 결합합니다.

• 메커니즘: 사전 정의된 256개의 응답 단위($R$) 세트가 설정됩니다. $k$개의 질문으로 구성된 체인의 경우, 전체 질문 세트 $Q$와 응답 세트 $R$의 해시는 각 질문 $q_i$에 대한 특정 응답 $r_j$를 결정합니다.
• 보안: 이 매핑은 결정론적이며 충돌 저항성을 가집니다. 질문을 하나라도 변경하면 해시 입력이 변경되어 체인 내 모든 질문에 필요한 응답이 바뀝니다. 공격자는 $k$개의 질문에 대해 올바른 인덱스를 맞출 확률이 $(1/256)^k$이므로, 모델을 미세 조정하지 않고서는 올바른 응답 시퀀스를 위조할 수 없습니다.

3. 지문 학습 및 견고성 (Fingerprint Training and Robustness)

모델은 일반적인 효용성을 유지하면서 이러한 암호학적으로 결합된 쌍을 기억하도록 미세 조정됩니다. 메타 프롬프트(예: "해적처럼 대답해") 및 미세 조정 위협에 대응하기 위해 학습 데이터셋은 다음을 포함합니다.

• 메타 프롬프트 다양화: 지문 질문에 GPT-4가 생성한 다양한 메타 프롬프트를 추가하여, 모델이 지문 쿼리에 대해 이러한 지시사항을 무시하도록 학습시킵니다.
• 무작위 패딩 (Random Padding): 지문 질문의 접두사와 접미사에 무작위 토큰 시퀀스를 추가하여 모델이 노이즈를 무시하도록 가르칩니다.
• 비지문 데이터 (Non-Fingerprint Data): 데이터셋에는 표준 QA 쌍과 재구성된 지문 주제가 포함되어 효용성을 보존하고 통계적 탐지를 방지합니다.
• 손실 함수 (Loss Function): 결합 손실 함수는 지문 샘플에 대한 교차 엔트로피 손실($L_{fp}$)과 비지문 데이터에 대한 원래 모델의 행동으로부터의 편차를 최소화하는 KL-발산 항($L_{KL}$) 사이의 균형을 맞춥니다.

4. 검증 프로토콜 (Verification Protocol)

소유권 검증은 블랙박스 쿼리를 통해 수행됩니다. 청구인은 질문 세트 $Q$, 응답 세트 $R$, 그리고 해시 함수 $H$를 제공합니다. 검증자는 질문 세트 $Q$의 질문들로 의심되는 모델 $M$에 쿼리를 보냅니다. 만약 모델의 출력이 충분한 수의 질문($\tau$ 임계값)에 대해 암호학적으로 결정된 응답 $r_j$로 시작한다면 소유권이 확립됩니다. 이 프로토콜은 시간적 우선순위에 의존합니다. 원 소유자는 가장 초기에 공개된 모델 버전에 지문을 입증함으로써 소유권을 증명할 수 있습니다.

주요 기여

1. Chain & Hash 기술: 질문을 응답에 결합하여 충돌을 방지하고, 화이트박스 접근 없이도 명확한 소유권 주장을 가능하게 하는 암호학적 방법입니다.
2. 메타 프롬프트에 대한 견고성: 무작위 패딩과 다양한 메타 프롬프트 구성을 포함하는 학습 전략을 통해, 적대자가 인스트럭션 튜닝이나 시스템 프롬프트를 통해 모델의 출력 스타일을 크게 변경하더라도 지문의 무결성을 유지합니다.
3. 블랙박스 적용 가능성: 이 프레임워크는 전적으로 API 상호작용을 통해 작동하므로, 내부 모델 가중치에 접근할 수 없는 실제 배포 시나리오에 적합합니다.
4. LoRA로의 확장: 이 방법은 저차원 적응(LoRA) 어댑터에도 효과적임이 입증되어, 매개변수 효율적 미세 조정 방법으로 IP 보호를 확장합니다.

결과 및 평가

본 프레임워크는 다섯 가지 필수 속성에 대해 여러 최첨단 모델(Llama-3-8B, Llama-3-8B-Instruct, Phi-3-mini-instruct, Llama-2-13B-Instruct)을 대상으로 평가되었습니다.

• 투명성 (Transparency): 지문 삽입은 표준 벤치마크(MMLU, HellaSwag, TruthfulQA 등)에서 무시할 만한 성능 저하를 보였으며, 대부분의 변화는 $\pm 1\%$ 이내이거나 인스트럭션 준수 작업에서 약간의 향상을 보였습니다.
• 효율성 (Efficiency): 매우 적은 횟수의 시도(종종 10개 질문 중 1~2개의 올바른 응답)만으로도 높은 신뢰도(99% 확률)로 소유권을 확립할 수 있습니다.
• 지속성 (Persistence): 7가지 적대적 메타 프롬프트(예: "해적처럼 응답하라", "ANSWER를 접두사로 붙여라")에 대해 테스트했을 때, 메타 프롬프트 다양화 학습을 거친 모델은 무작위 질문에 대해 99% 이상, 자연어 질문에 대해 약 82.8%의 지문 강도를 유지했습니다. 반면, 이 학습이 없는 모델은 특정 프롬프트 하에서 지문 강도가 0%로 떨어졌습니다.
• 견고성 (Robustness):
  • 미세 조정 (Fine-tuning): 지문은 헤비한 미세 조정(예: Alpaca 및 ChatDoc 데이터셋)을 통해서도 지속되었습니다. 무작위 질문은 검증을 위해 최대 25회의 시도가 필요했으나, 자연어 질문은 종종 1~2회의 시도만으로 충분했습니다.
  • 양자화 (Quantization): INT8 양자화를 적용했을 때 지문 강도의 저하는 미미했습니다(<0.5% 감소).
  • 적대적 패러프레이징 (Adversarial Paraphrasing): 입력과 출력이 GPT-4o에 의해 패러프레이징되더라도 지문은 여전히 탐지 가능했습니다(입력 패러프레이징 시 강도는 99%에서 79%로, 출력 패러프레이징 시에는 20%로 떨어졌으나, 이는 여전히 소유권 주장에 충분한 수준입니다).
• 위조 불가능성 (Unforgeability): 암호학적 결합은 미세 조정 없이 지문을 위조하는 것을 계산적으로 불가능하게 만듭니다. 또한 프레임워크는 교집합 기반의 체인 설계를 통해 다중 모델 공모(multi-model collusion)에 저항합니다.

의의 및 주장

본 논문은 Chain & Hash가 현대의 인스트럭션 튜닝 모델이 가진 특정 취약점을 해결하는 실질적이고 검증 가능한 LLM 지식 재산 보호 솔루션을 제공한다고 주장합니다. 화이트박스 접근에 의존하거나 스타일 전이 공격에 실패하는 기존 방식과 달리, Chain & Hash는 메타 프롬프트 조작 및 미세 조정과 같은 공격적인 적대적 조건에서도 생존하는 암호학적으로 안전하고 블랙박스로 검증 가능한 방법을 제공합니다. 저자들은 이 접근 방식이 신뢰할 수 있는 제3자를 필요로 하지 않으며, 보안을 강화하기 위해 기존의 지문 인식 방법 위에 계층화될 수 있음을 강조합니다. 본 연구는 지문 인식의 견고성을 평가하는 새로운 기준을 세우며, 특히 실제 운용 가능성을 보장하기 위해 메타 프롬프트와 미세 조정에 대한 테스트의 필요성을 강조합니다.