기술 요약: 대규모 언어 모델을 위한 기능적 네트워크 지문 (Functional Network Fingerprint, FNF)

1. 문제 정의

대규모 언어 모델(LLM)의 개발에는 막대한 재정적, 시간적 비용이 소요되며, 이는 높은 상업적 가치를 창출함과 동시에 오픈 소스 모델의 무단 도용을 유발하는 동기가 됩니다. 핵심적인 과제는 개발자들이 기존 모델의 가중치를 복사한 뒤 미세 조정(fine-tuning), 난독화 또는 구조적 확장(이른바 "가중치 재포장")과 같은 표면적인 수정만을 가하여, 마치 자신들이 처음부터 직접 학습시킨 "독창적인" 모델인 것처럼 주장하는 경우입니다.

기존의 지문 인식 방법들은 다음과 같은 몇 가지 한계에 직면해 있습니다:

• 침습적 방법 (Invasive Methods): 워터마킹이나 백도어 트리거와 같은 기술은 모델의 성능을 저하시키며, 이미 출시된 모델에는 적용할 수 없습니다.
• 비침습적 방법 (Non-Invasive Methods): 출력 분석이나 가중치 유사성에 기반한 접근 방식은 견고성이 부족한 경우가 많습니다. 구체적으로, 직접적인 가중치 비교 방식은 단순한 파라미터 순열(permutation)에 취약하며, 정적 특징 표현(예: Centered Kernel Alignment)에 기반한 방식은 서로 다른 아키텍처, 은닉 차원, 또는 구조적 확장(예: 레이어 추가 또는 MLP 차원 확장)이 적용된 모델을 비교하는 데 어려움을 겪습니다.

따라서 모델의 효용성을 해치지 않으면서 다양한 아키텍처, 규모 및 난독화 기술에 걸쳐 모델의 계보(lineage)를 탐지할 수 있는, 학습이 필요 없고 샘플 효율적이며 견고한 방법이 필요합니다.

2. 방법론: 기능적 네트워크 지문 (Functional Network Fingerprint, FNF)

제안된 방법인 **기능적 네트워크 지문 (FNF)**은 신경과학의 기능적 뇌 네트워크(FBN)에서 영감을 얻었습니다. 이 방법은 LLM이 생물학적 신경 시스템의 계산적 유사체로서, 뉴런 그룹이 통합된 네트워크로서 일관되게 공동 활성화되는 안정적인 기능적 연결 패턴을 보인다는 전제하에 작동합니다.

핵심 개념: 기능적 활성화 일관성 (Functional Activation Consistency, FAC)

저자들은 동일한 학습 계보에서 파생된 모델들(아키텍처나 규모의 차이가 있더라도)은 공통된 "신경 해부학적 청사진(neuroanatomical blueprint)"을 공유한다고 가정합니다. 결과적으로, 이들은 동일한 입력 자극을 처리할 때 기능적 네트워크 내에서 매우 일관된 뉴런 활성화 패턴을 보입니다. 반면, 서로 다른 데이터나 목적을 가지고 독립적으로 학습된 모델들은 이러한 정렬(alignment)을 보이지 않습니다.

기술적 파이프라인

1. 신호 추출 (Signal Extraction): $N$개의 입력 시퀀스에 대해, 피해 모델(victim model)과 의심 모델(suscent model)의 특정 트랜스포머 블록 출력에서 뉴런 신호를 추출합니다.
2. 기능적 네트워크 식별 (CanICA): 이 방법은 기능적 네트워크를 식별하기 위해 신경과학의 표준 도구인 **정준 독립 성분 분석 (Canonical Independent Component Analysis, CanICA)**을 사용합니다.
   • 데이터는 2차 상관관계를 제거하기 위해 PCA를 사용하여 결합되고 백색화(whitening)됩니다.
   • FastICA를 적용하여 공간 맵 $A \in \mathbb{R}^{D \times K}$로 표현되는 독립적인 공간 성분(기능적 네트워크)을 복구합니다 (여기서 $K$는 대상 기능 네트워크의 수입니다).
3. 시계열 생성 (Time Course Generation): 식별된 각 기능적 네트워크(공간 맵)에 대해, 가장 두드러진 뉴런을 선택하기 위해 이진 마스크(binary mask)를 적용합니다. 입력 시퀀스 전반에 걸친 이 뉴런들의 평균 활성도를 계산하여 1D 기능적 시계열을 생성합니다.
4. 유사도 측정 (Similarity Measurement): 이 방법은 기능적 시계열 간의 **스피어먼 순위 상관계수 (Spearman rank correlation)**를 계산합니다.
   • 스피어먼 상관계수는 절대적인 값보다는 기능적 활성의 추세(순위 순서)의 일관성에 집중하기 위해 피어슨 상관계수 대신 선택되었으며, 이는 단조 변환(monotonic transformations)에 대해 견고하게 만듭니다.
   • 모든 입력 샘플과 네트워크 쌍에 대한 평균 일관성 점수를 계산하여 유사도 행렬을 생성합니다.

3. 주요 기여

• 새로운 지문 인식 패러다임: FNF는 정적인 가중치나 임베디드 신호가 아닌, LLM의 고유한 동적 기능 활성을 활용하는 학습 불필요(training-free), 비침습적 방법을 도입합니다.
• 난독화에 대한 견고성: FNF는 다음과 같은 일반적인 모델 수정에 대해서도 효과를 유지합니다:
  • 미세 조정 (Fine-tuning): 대규모 데이터셋에 대한 광범위한 미세 조정 후에도 유효합니다.
  • 가지치기 (Pruning): 구조적(깊이/너비) 및 비구조적 가지치기 모두에 대응합니다.
  • 파라미터 순열 및 스케일링 (Parameter Permutation & Scaling): 파라미터 차원을 변경하면서 기능적 논리는 보존하는 가중치 재배열 또는 스케일링 변환.
  • 가중치 재포장 (Weight Repackaging): 핵심 가중치는 상속하면서 아키텍처가 확장된(예: 레이어 추가, 은닉 차원 증가) 모델의 계보를 탐지합니다.
• 교차 아키텍처 호환성: 동일한 아키텍처를 요구하는 기존 방식과 달리, FNF는 서로 다른 은닉 레이어 차원 및 구조적 구성을 가진 모델들을 비교할 수 있습니다.
• 해석 가능성 (Interpretability): 활성화를 기능적 네트워크로 분해함으로써, 모델의 내부 기능적 조직에 대한 통찰을 제공합니다.

4. 실험 결과

저자들은 WikiText-2 데이터셋을 사용하여 다양한 모델 제품군(LLaMA, Qwen, ChatGLM, Mistral 등)에 대해 FNF를 평가하였으며, 이를 최첨단 베이스라인인 REEF(CKA를 사용하는 방식)와 비교하였습니다.

• 미세 조정: FNF는 사전 학습된 모델과 미세 조정된 변체(예: LLaMA2-7B vs. LLaMA2-7B-chat) 사이에서 수천억 개의 토큰으로 학습한 후에도 강력한 상관관계 점수(예: >0.9)를 유지했습니다.
• 학습 데이터 변체: 동일한 아키텍처를 가지지만 서로 다른 데이터로 처음부터 학습된 모델(예: OpenLLaMA vs. LLaMA2)은 낮은 상관관계를 보여, 공유된 계보가 없음을 정확히 나타냈습니다.
• 가지치기: FNF는 파라미터의 최대 50%까지 가지치기된 모델에서도 공통된 기원을 성공적으로 식별했습니다. 반면, REEF는 과도하게 가지치기된 모델(예: Wanda-sp pruning)에서 관계를 탐지하는 데 실패했습니다.
• 모델 병합 (Model Merging): FNF는 ICA의 선형 혼합 가정을 활용하여 병합된 LLM(예: Evollm-jp-7b)의 구성 모델을 효과적으로 식별했습니다.
• 가중치 재포장 및 교차 아키텍처:
  • FNF는 Mistral-11B(Mistral-7B의 확장 버전)와 Solar-10.7B(Mistral-7B에서 파생됨)가 공통의 기원을 공유함을 정확히 식별한 반면, 아키텍처 불일치로 인해 REEF(CKA)는 이를 식별하지 못했습니다.
  • 교차 제품군 비교(예: Qwen vs. GLM)에서 FNF는 낮은 점수를 산출하여 관련 없는 모델을 정확히 구분한 반면, CKA는 가짜로 높은 유사도 점수를 생성하는 경향이 있었습니다.

5. 의의 및 주장

본 논문은 FNF가 LLM의 지적 재산을 보호하기 위한 단순하고 비침습적이며 효과적인 도구를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• "가중치 재포장" 격차 해소: 이는 핵심 가중치를 유지하면서 탐지를 피하기 위해 모델을 수정하는 구조적 확장 공격에 대해 명시적으로 검증된 첫 번째 방법입니다.
• 효용성 보존: 사후 분석(post-hoc) 방법으로서, 모델의 원래 성능을 보존하며 재학습이나 워터마크 삽입을 요구하지 않습니다.
• 확장성 및 효율성: 검증을 위해 몇 개의 샘플만 필요하며 계산 효율적입니다.
• 해석 가능성: 신경과학과 AI를 연결하여, 단순한 지문 인식을 넘어 기능적 뇌 네트워크의 관점에서 LLM을 이해할 수 있는 프레임워크를 제공함으로써 모델 해석력을 증진시킬 잠재력이 있습니다.

저자들은 FNF를 통해 모델 소유자와 제삼자가 상당한 아키텍처 및 차원 차이가 존재하는 상황에서도 의심 모델이 피해 모델의 파생물인지 여부를 신뢰성 있게 판단할 수 있다고 결론짓습니다.