[기술 요약] LLM의 고유 지문: 지속적 학습만으로는 모델 도용을 막을 수 없다!

1. 문제 정의 (Problem)

최근 거대언어모델(LLM)의 개발 비용이 기하급수적으로 증가함에 따라, 모델의 지적 재산권(IP) 보호와 무단 재사용 방지가 중요한 과제로 떠오르고 있습니다. 기존의 모델 보호 방식은 주로 다음과 같은 한계가 있습니다.

• 워터마킹(Watermarking)의 취약성: 모델의 출력(Output)에 특정 패턴을 심는 방식은 미세 조정(Fine-tuning)이나 추가 학습(Continued Training)을 통해 통계적 패턴이 변하면 쉽게 지워지거나 무력화됩니다. 또한, 다른 모델을 이용한 재구문(Paraphrasing) 공격에도 매우 취약합니다.
• 기존 핑거프린팅(Fingerprinting)의 한계: 모델의 파라미터에 특정 신호를 심는 방식 역시 모델 구조가 변경되거나(예: Dense $\to$ MoE) 대규모 추가 학습이 이루어지면 식별력을 잃는 경우가 많습니다.

따라서 본 논문은 **모델의 구조적 변화나 추가 학습에도 불구하고 변하지 않는 '고유한 흔적'**을 찾아내어 모델의 계보(Lineage)를 추적하는 문제를 다룹니다.

2. 방법론 (Methodology)

저자들은 외부에서 강제로 심은 신호가 아닌, 모델 학습 과정에서 자연스럽게 형성되는 파라미터의 내재적 통계 특성을 이용하는 방식을 제안합니다.

핵심 아이디어: 어텐션 파라미터의 표준편차 분포

모델의 어텐션 메커니즘 내 각 레이어에 존재하는 Query($Q$), Key($K$), Value($V$), Output($O$) 투영 행렬(Projection Matrices)의 표준편차(Standard Deviation) 분포를 분석합니다.

1. 특징 추출: 각 레이어 $l$에 대해 어텐션 행렬 $M$의 모든 요소에 대해 표준편차 $\sigma_M^l$를 계산합니다.
2. 정규화(Normalization): 모델의 규모(Scale)나 아키텍처가 다르더라도 비교가 가능하도록, 각 시퀀스의 평균을 0, 분산을 1로 만드는 정규화 과정을 거칩니다. 이는 선형 투영(Linear Projection)이나 차원 변경에도 강건(Robust)하게 만듭니다.
3. 계보 탐지(Lineage Detection):
   • 두 모델의 정규화된 표준편차 시퀀스 간의 **피어슨 상관계수(Pearson Correlation Coefficient)**를 계산합니다.
   • 레이어 수가 다른 모델을 비교할 때는 **선형 보간법(Linear Interpolation)**을 사용하여 시퀀스 길이를 맞춘 후 상관계수를 산출합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

① 모델 계보 탐지의 유효성 검증

다양한 모델 패밀리(Llama, Qwen 등)를 대상으로 실험한 결과, 각 모델 패밀리는 고유한 표준편차 패턴을 가짐을 확인했습니다. 또한, 이미 계보가 알려진 사례(예: Llama-3.1 $\to$ Nemotron, Qwen $\to$ OpenR1)를 통해 제안한 방법론이 미세 조정 후에도 매우 높은 정확도로 모델의 기원을 찾아냄을 입증했습니다.

② 화웨이(Huawei) Pangu Pro MoE 모델의 도용 의혹 제기 (핵심 발견)

본 논문의 가장 충격적인 결과는 화웨이가 최근 발표한 Pangu Pro MoE 모델에 대한 분석입니다.

• 분석 결과: Pangu Pro MoE 모델의 어텐션 및 FFN(Feed-Forward Network) 파라미터 분포가 Qwen-2.5 14B 모델과 거의 일치함을 발견했습니다.
• 상관계수: $Q, K, V, O$ 투영 행렬 전반에 걸쳐 매우 높은 상관계수(평균 약 0.927)를 보였습니다.
• 결론: 화웨이는 해당 모델을 처음부터 학습(Training from scratch)했다고 주장했으나, 분석 결과 Qwen-2.5 14B 모델을 업사이클링(Upcycling, Dense $\to$ MoE 변환) 기술을 통해 도용했을 가능성이 매우 높습니다. 이는 기술 보고서의 정보 조작 및 저작권 침해 가능성을 시사합니다.

③ 구조적 변화에 대한 강건성

모델이 Dense 구조에서 MoE(Mixture-of-Experts) 구조로 바뀌더라도, 어텐션 파라미터의 통계적 지문은 유지된다는 것을 입증했습니다. 이는 공격자가 모델 구조를 변경하여 추적을 피하려는 시도가 효과적이지 않음을 의미합니다.

4. 의의 (Significance)

1. 기술적 의의: 모델의 출력값이 아닌 내재적 파라미터 분포를 활용함으로써, 추가 학습이나 구조 변경에 극도로 강건한 새로운 모델 인증 프레임워크를 제시했습니다.
2. 윤리적/산업적 의의: AI 산업 내에서 발생하는 모델 표절, 저작권 침해, 그리고 기술 보고서의 허위 사실 유포(Information Fabrication)를 과학적으로 검증할 수 있는 도구를 제공합니다.
3. 정책적 시사점: 대규모 모델 개발 시 지적 재산권을 보호하기 위한 강력한 기술적 방어 수단이 필요함을 강조하며, 향후 AI 모델의 투명성과 책임성을 높이는 데 기여할 수 있습니다.

---

요약 한 줄 평: "이 논문은 모델의 파라미터 통계 분포가 지워지지 않는 '지문' 역할을 함을 증명하였으며, 이를 통해 화웨이 모델의 Qwen 도용 의혹을 과학적으로 폭로하였다."