🤖 machine learning

RAFP: Identifying LLM Lineages via Rare-Region Fingerprints

이 논문은 미세 조정(fine-tuning) 및 양자화(quantization)와 같은 다양한 다운스트림 적응 과정에서도 지속되는 안정적인 희귀 영역 지문(rare-region fingerprints)을 활용하여 블랙박스 설정에서 기존 방식들보다 뛰어난 성능을 보이며 LLM 소유권을 견고하게 식별하는 비침습적 프레임워크인 RAFP를 소개한다.

원저자: Yun-Yun Tsai, Jia Hao Liang, Chuan Guo, Junfeng Yang, Laurens van der Maaten

게시일 2026-07-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yun-Yun Tsai, Jia Hao Liang, Chuan Guo, Junfeng Yang, Laurens van der Maaten

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 비밀스럽고 세계적으로 유명한 쿠키 레시피를 구웠다고 상상해 보세요. 누군가 당신의 반죽을 훔치고, 프로스팅을 아주 살짝만 수정해서 그것을 자신의 것처럼 팔아치울까 봐 걱정됩니다. 레시피 북을 보여주지 않고도 그 쿠키가 '당신의 것'임을 어떻게 증명할 수 있을까요?

이것이 바로 거대 언어 모델(LLM)이 직면한 문제입니다. LLM은 이야기, 코드, 농담을 쓰는 매우 똑똑한 AI 두뇌입니다. 기업들은 이들을 훈련시키기 위해 수백만 달러를 쓰지만, 일단 출시되고 나면 새로운 버전이나 약간 변형된 버전이 실제로 도용된 복제품인지 구별하기가 어렵습니다.

여기에 RAFP(Rare-Region Fingerprints, 희귀 영역 지문)가 있습니다. 컬럼비아 대학교와 메타(Meta)의 연구진이 제안한 이 새로운 방법은 RAFP를 AI의 뇌 속에 원작자만이 찾아낼 수 있는 보이지 않고 지울 수 없는 "쿠키 부스러기"를 남기는 방법이라고 생각하면 됩니다.

핵심 비결: 왜 "이상한" 질문이 효과적인가

대부분의 사람은 특정 질문에 완벽하게 답하도록 AI를 훈련시켜 모델을 보호하려고 합니다. 하지만 연구진은 이러한 논리에 결함이 있다는 것을 발견했습니다. 만약 누군가 AI가 특정 질문에 답하도록 훈련시킨 후, 그 AI를 미세 조정(파인튜닝)하면, 새로운 학습 데이터가 기존의 답변을 덮어써 버리기 때문에 AI가 그 특정 답변을 잊어버릴 수 있기 때문입니다.

RAFP 팀은 역설적인 사실을 깨달았습니다: AI 모델은 사실 이상하고 희귀한 질문에 답하는 데 서툽니다.

AI가 도서관의 거의 모든 책을 읽었다고 가정해 봅시다. AI는 "프랑스의 수도는 어디인가요?"(고밀도 질문)라는 질문에는 정확히 답할 수 있습니다. 하지만 가상의 단어나 기괴하고 터무니없는 문장(즉, "희귀 영역")에 대해 질문하면 AI는 머뭇거립니다. AI는 이런 이상한 것들에 대해 강한 의견을 가지고 있지 않은데, 왜냐하면 그런 것들을 접하는 일이 드물기 때문입니다.

여기서 마법 같은 트릭이 등장합니다: AI가 이러한 이상한 질문들에 별로 신경을 쓰지 않기 때문에, AI의 학습 데이터를 변경하더라도 이 질문들에 대한 답변은 변하지 않습니다.

누군가 새로운 데이터로 모델을 재학습시켜 "훔치려" 할 때, 그들은 문법을 고치거나 새로운 사실을 배우는 것과 같은 일반적인 작업에 집중합니다. 그들은 이상하고 희귀한 질문들이 새로운 학습 데이터에 나타나지 않기 때문에 이 질문들을 무시합니다. 따라서 이상한 질문에 대한 AI의 답변은 마치 흐르는 강물 속의 단단한 바위처럼 그대로 유지됩니다.

"지문"은 어떻게 만들어지는가

연구진은 AI의 코드를 해킹하거나 가중치(weights)를 수정할 필요가 없었습니다(이는 쿠키가 구워지는 동안 레시피를 다시 쓰려는 것과 같습니다). 대신 그들은 영리한 탐색 과정을 사용했습니다.

이상함 찾기: 컴퓨터 프로그램을 사용하여 자연적으로 발생할 가능성이 극도로 낮은 문장을 찾아냅니다. 이는 마치 로봇이 모르는 언어를 말하려고 애쓰는 듯한 문장을 찾는 것과 같습니다.
답변 고정: 이 이상한 문장에 대해 AI가 무엇이라고 답할지 묻습니다.
약속(Commitment): 소유자는 이 이상한 문장과 답변을 기록한 뒤, 모델이 출시되기 전에 디지털 금고(암호화 해시)에 안전하게 보관합니다.

나중에 만약 모델을 도용했다는 의심이 들면, 의심되는 모델에 그 이상한 질문을 던집니다. 만약 모델이 정확히 똑같은 이상한 답변을 내놓는다면 일치하는 것입니다! 만약 모델이 다른 답변을 하거나 정상적인 답변을 한다면, 그것은 완전히 다른 모델일 가능성이 높습니다.

실제로 효과가 있는가?

연구진은 네 가지 서로 다른 AI 모델 제품군(Llama 2, Llama 3, Mistral 포함)을 대상으로 테스트를 진행했습니다. 그들은 단순히 원본 모델만 테스트한 것이 아니라, 다음과 같은 방식으로 지문을 파괴하려고 시도했습니다:

재학습(Retraining): 모델에게 새로운 것을 가르침 (지도 미세 조정).
"성격" 변경: 모델이 말하는 방식 조정 (시스템 프롬프트 변경).
압축(Compression): 모델을 더 작고 빠르게 만듦 (양자화).
"온도" 변경: 모델을 더 무작위적이거나 더 진지하게 만듦.

결과:

효과성: 원본 모델 테스트에서 RAFP는 모델을 100% 정확하게 식별했습니다.
견고성: 모델이 심하게 수정된 후에도 RAFP는 93%에서 100% 사이의 높은 식별률을 유지했습니다.
비교: AI의 내부 설정을 변경하여 "워터마크"를 남기려는 다른 방식들은 훨씬 더 자주 실패했습니다. 일부 방식은 모델이 수정된 후 성공률이 **23%**까지 떨어졌습니다. 반면 RAFP는 강력하게 버텼습니다.

또한 이 논문은 이 방법이 "퍼플렉시티 필터(perplexity filter)"를 통과하는 법도 보여주었습니다. 즉, 이상한 질문을 걸러내도록 설계된 필터가 있더라도, "희귀한" 질문을 아주 약간 덜 이상하게 만들면 지문이 살아남는다는 것입니다.

RAFP가 할 수 없는 것

논문은 이 기술이 하지 못하는 것에 대해서도 명확히 밝히고 있습니다.

모든 종류의 공격을 막아내는 마법의 방패는 아닙니다. 만약 누군가 AI를 처음부터 완전히 새로 작성하거나, 이 희귀한 질문들을 구체적으로 겨냥하는 매우 고가의 방법을 사용한다면 지문이 사라질 수 있습니다.
소유자가 도용된 모델의 내부 코드에 접근할 필요가 없습니다. 이 방법은 "블랙박스" 환경, 즉 일반 사용자처럼 채팅창을 통해서만 모델과 대화할 수 있는 상황에서도 작동합니다.
모델의 성능을 변화시키지 않습니다. AI는 여전히 좋은 이야기를 쓰고 정상적인 질문에 답합니다. 지문은 단지 모델이 이상한 것을 처리하는 방식에서 나타나는 숨겨진 부수 효과일 뿐입니다.

결론

RAFP는 AI가 당신의 것이라는 것을 증명하는 가장 좋은 방법은, AI에게 비밀을 기억하도록 강요하는 것이 아니라, 아무도 신경 쓰지 않는 AI의 이상하고 잊혀진 구석을 찾는 것이라는 점을 시사합니다. 그 구석들은 일반적인 업데이트 과정에서 무시되기 때문에, 그곳에 남겨진 "서명"은 변하지 않고 유지되어 모델의 내구성이 강한 보이지 않는 신분증 역할을 하게 됩니다.

연구진은 여러 모델과 수정 사항을 바탕으로 한 실험을 통해 이러한 결과에 확신을 가지고 있지만, AI가 발전함에 따라 더 강력한 새로운 공격이 등장할 수 있다는 점도 언급했습니다. 하지만 현재로서는 이 "희귀 영역" 트릭은 모델 도둑을 현장에서 잡을 수 있는 매우 견고한 방법으로 보입니다.

기술 요약: RAFP - 희귀 영역 지문(Rare-Region Fingerprints)을 통한 LLM 계보 식별

1. 문제 정의

대규모 언어 모델(LLM)의 급격한 상용화는 모델 지식 재산(IP)을 보호하고 소유권을 검증하기 위한 강력한 메커니즘의 필요성을 심화시켰습니다. 핵심적인 취약점은 **모델 도난(model theft)**으로, 공격자가 독점 모델에 접근하여 제한된 라이선스 또는 온프레미스 배포 환경에서 라이선스 계약을 위반하며 모델을 재사용하는 경우입니다.

기존의 탐지 방법들은 다음과 같은 상당한 한계에 직면해 있습니다:

취약성(Fragility): 전통적인 유사성 기반 기술과 많은 지문 생성 방식은 지도 미세 조정(SFT), 저차원 적응(LoRA), 양자화(quantization), 프루닝(pruning)과 같은 일반적인 다운스트림 변형 하에서 실패합니다.
침습성(Invasiveness): 일부 접근 방식은 모델 가중치를 수정하는 과정(예: 토큰 편향 또는 백도어 삽입을 통한 워터마킹)을 요구하며, 이는 모델 성능을 저하시키거나 화이트박스(white-box) 접근 권한을 필요로 합니다.
블랙박스 접근 불가능성(Black-Box Inaccessibility): 많은 실제 시나리오에서는 의심되는 모델에 대한 API 접근만을 허용하므로, 파라미터에 대한 직접적인 검사가 불가능합니다. 현재의 방법들은 직접적인 파라미터 접근 없이 계보를 식별하는 데 어려움을 겪는 경우가 많습니다.

핵-과제는 가치 보존적 적응(value-preserving adaptations)을 거친 후에도 지속되는 비침습적이고, 블랙박스 방식이며, 강건한(robust) LLM 계보 식별 방법을 개발하는 것입니다.

2. 방법론: RAFP

저자들은 모델의 사전 학습된 분포 내의 **희귀 영역(rare regions)**에서 유도된 고유한 프롬프트-응답 쌍을 학습함으로써 LLM 계보를 식별하는 RAFP(Robust Adversarial Rare-region FingerPrints) 프레임워크를 제안합니다.

핵심 통찰

근본적인 가설은 다운스트림 미세 조정이 주로 고밀도(high-density) 언어 행동(학습 데이터의 공통 패턴)을 업데이트한다는 것입니다. 반대로, 저확률(희귀) 영역은 약한 최적화 신호를 받으며 미세 조정 과정에서 제한적인 그래디언트 정렬(gradient alignment)을 보입니다. 결과적으로, 희귀 프롬프트-응답 쌍의 행동 패턴은 일반적인 모델 적응 과정에서도 대체로 불변(invariant)하게 유지됩니다.

프레임워크 구성 요소

RAFP는 두 단계로 작동합니다:

A. 지문 생성 (Fingerprint Generation)

RAFP는 프롬프트 $x$ 와 응답 $y$ 의 쌍으로 지문을 구성합니다. 생성 과정은 비침습적(모델 가중치를 수정하지 않음)이며 다음 3단계 절차를 따릅니다:

프롬프트 초기화: 후보 프롬프트는 처음 $l$ 개의 토큰을 무작위로 샘플링하고 나머지 토큰에 대해 bottom- $k$ 샘플링을 사용하여 초기화됩니다. 이는 사전 학습된 모델 분포의 저확률 영역으로 탐색을 유도합니다.
응답 생성: 초기화된 프롬프트와 시스템 프롬프트가 주어졌을 때, 그리디 디코딩(greedy decoding, top-1 sampling)을 사용하여 응답 $y$ 를 생성합니다.
프롬프트 최적화: 프롬프트 $x$ 는 $\max_x \log p_{M_\theta}(y | h, x)$ 를 목적으로 하는 **그리디 코디네이트 그래디언트(Greedy Coordinate Gradient, GCG)**를 사용하여 $y$ 를 생성할 확률을 최대화하도록 최적화됩니다.

강건성을 위한 실질적 최적화:

멀티태스크 최적화: 자연스러운 변동성에도 안정성을 확보하기 위해, 여러 적응된 모델 변형 및 시스템 프롬프트에 걸쳐 지문을 공동으로 최적화합니다.
멀티 트라이얼 최적화: 취약한 지역 최적점(local optima)을 피하기 위해, 지문 후보가 여러 독립적인 실행(예: $n=20$ 회 시도)에 걸쳐 성공적으로 최적화되는 경우에만 수락됩니다.

B. 소유권 검증 (Ownership Verification)

프로토콜은 적대적 필터링을 방지하기 위해 탐지와 공개를 분리합니다:

약속(Commitment): 모델 배포 전, 모델 소유자는 지문 세트를 생성하고 그 암호화 해시(예: SHA-256)를 공개된 타임스탬프 플랫폼에 게시합니다.
검증(Verification): 의심되는 모델 $M_{\theta'}$ 이 주어지면, 소유자는 공개되지 않은 지문 프롬프트로 모델에 질의합니다. 만약 모델이 약속된 응답 $y$ 를 재현하면, 원래의 프롬프트-응답 쌍을 공개함으로써 소유권이 검증됩니다.
거부(Rejection): 시스템은 지문이 고유한지 확인하고 오탐(false positive)이 발생하지 않도록 관련 없는 다른 모델 계보에 대해서도 테스트를 수행합니다.

이론적 분석

논문은 미세 조정 후 희귀 영역 지문의 로그 가능도(log-likelihood) 변화( $\Delta$ )에 대한 이론적 경계(bound)를 제공합니다.

가정: 희귀 프롬프트는 다운스트림 미세 조정 분포에서 매우 작은 확률 질량( $\rho(\tau) \ll 1$ )을 차지하며, 그래디언트는 유계(bounded)입니다.
결과: 로그 가능도의 변화는 프롬프트의 희귀성과 그래디언트 집중도와 관련된 항들에 의해 제한됩니다. 구체적으로, 희귀 프롬프트는 미세 조정 데이터에서 드물게 나타나며, 이들의 그래디언트는 지배적인 고밀도 훈련 방향과 약한 정렬을 보이기 때문에, 지문 응답의 가능성은 아주 미세하게만 변화합니다.

3. 주요 기여

새로운 프레임워크: 희귀 영역 행동의 구조적 불변성에 의존하는, 비침습적이고 블랙박스 방식인 LLM 계보 식별법인 RAFP를 도입했습니다.
이론적 보장: 미세 조정 하에서 희귀 영역 지문의 가능도 변화가 유계임을 입증하는 공식적인 증명을 통해 방법론의 강건성을 설명했습니다.
포괄적 평가: 네 가지 LLM 제품군(Llama 2 7B/13B, Llama 3 8B, Mistral 7B)과 다양한 다운스트림 적응(SFT, LoRA, 양자화, 시스템 프롬프트 변형)에 대해 광범위한 실험을 수행했습니다.
보안 분석: 퍼플렉시티(perplexity) 기반 필터링 및 레이스 공격(race attacks)을 포함한 실제적인 공격에 대한 강건성을 입증했습니다.

4. 실험 결과

저자들은 RAFP를 IF-SFT, IF-Emb 및 GCG 기반 지문 생성과 같은 베이스라인과 비교 평가했습니다.

효과성: RAFP는 네 가지 기본 모델 모두에서 **100%의 진양성률(True Positive Rate, TPR)**을 달절하였으며, 이는 GCG 베이스라인을 능가하고 모델 효용을 저하시키지 않으면서 IF-SFT와 대등한 성능을 보였습니다.
강건성: 다운스트림 미세 조정(SFT 및 LoRA) 하에서 RAFP는 **92~~100%**의 TPR을 유지했습니다. 반면, IF-SFT와 IF-Emb는 상당한 성능 저하(10~~35% 하락)를 보였고, GCG 베이스라인은 23~63%로 떨어졌습니다.
고유성: 블랙박스 설정에서 RAFP는 관련 있는 모든 미세 조정 모델을 성공적으로 식별하는 동시에, 관련 없는 모델에 대해서는 **0%의 위양성률(False Positive Rate, FPR)**을 유지하여 계보 간을 효과적으로 구분했습니다.
절제 연구(Ablation Studies):
- 퍼플렉시티 필터링: 퍼플렉시티 정규화를 사용하여 최적화된 RAFP는 API 필터에 의한 거부율을 줄이면서도 높은 TPR을 유지했습니다.
  এটি
- 프롬프트 템플릿: RAFP는 다양한 프롬프트 템플릿(Vicuna, Alpaca, Zero-Shot)에 대해 최소한의 TPR 저하(10~30%)를 보이며 베이스라인보다 우수한 성능을 나타냈습니다.
- 하이퍼파라미터: RAFP는 추론 온도(0.1~0.7)에 관계없이 높은 TPR을 유지했으나, GCG-QA는 높은 온도에서 성능이 크게 저하되었습니다.

5. 의의 및 주장

본 논문은 RAFP가 강건성과 비침습성 사이의 트레이드오프 문제를 해결함으로써 LLM IP 보호 분야에서 중요한 진전을 이루었다고 주장합니다.

강건성: 일반적인 적응 과정에서 실패하는 기존 방법들과 달리, RAFP는 희귀 영역의 "불변성"을 활용하여 미세 조정, 양자화 및 프롬프트 엔지니어링을 견뎌냅니다.
비침습성: 모델 가중치를 수정하거나 출력 편향을 도입하지 않으므로 모델의 원래 효용을 보존합니다.
블랙박스 실행 가능성: API 접근만 가능한 시나리오에서도 소유권 검증을 가능하게 하며, 이는 실제 배포 환경에서 매우 중요한 요구사항입니다.
보안성: 약속(해시)과 공개(쿼리)의 분리는 검증 전에 공격자가 지문을 필터링하는 것을 방지합니다.

저자들은 RAFP가 증류(distillation)나 적대적 재매개변수화(adversarial re-parameterization)와 같은 강력한 적응에는 취약할 수 있으며, 블랙박스 쿼리가 API 비용 및 정교한 필터링 문제에 직면할 수 있음을 인정하며 한계점을 명시했습니다. 그러나 "경제적으로 실행 가능한" 변형의 범위 내에서, RAFP는 계보 추적을 위한 강력한 솔루션을 제공합니다.