기술 요약: 이 모델을 누가 만들었는가? 가중치 공간의 스펙트럼 지문을 통한 LLM 계보 추적

문제 정의

복잡한 다단계 파이프라인(사전 학습, 미세 조정, 정렬)을 통해 개발된 오픈 웨이트 대규모 언어 모델(LLM)의 급격한 확산은 복잡한 계보 관계를 생성했습니다. 이러한 관계를 이해하는 것은 모델의 출처, 거버넌스 및 공급망 무결성 측면에서 매우 중요합니다. 그러나 모델 계보를 식별하기 위한 기존 방법들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 블랙박스 접근 방식(예: 프롬프트-응답 프로빙, 워터마킹)은 입력 데이터에 의존하며, 프롬프트 설계에 민ền하고, 내재적인 구조적 시그니처를 드러내지 못합니다.
• 화이트박스 접근 방식(예: 가중치 통계, 파라미터 분포 지문)은 복 복잡한 가중치 공간 정보를 단순한 요약 통계로 축소하는 경우가 많습니다. 본 논문에서 입증되었듯이, 이러한 방법들은 특히 "독립적 기원(independent-origin)" 모델과 "동일 시리즈(same-series)" 모델을 구분할 때, 서로 다른 기원이나 규모를 가진 모델들을 구별하는 데 자주 실패합니다.

핵 핵심 연구 질문은 다음과 같습니다: 어떤 가중치 공간 구조가 LLM 계보 식별을 위한 신뢰할 수 있는 지문 역할을 하는가? 저자들은 모델 파라미터에는 접근할 수 있지만 학습 데이터와 메타데이터는 알 수 없는 화이트박스 환경에서 이 문제를 조사합니다.

방법론: 통합 기하학적 지문 프레임워크

저자들은 계층적 계보 구분을 해결하기 위해 두 가지 상호 보완적인 관점에서 가중치 행렬을 분석하는 통합 기하학적 지문 프레임워크를 제안합니다. 이 프레임워크는 공유된 정보의 양이 증가하는 세 가지 체제(regime)를 정의합니다:

1. 독립적 기원 (S1): 공유된 초기화, 데이터 또는 파이프라인 없이 독립적으로 학습된 모델.
2. 동일 시리즈 (S2): 아키텍처와 학습 파이프라인은 공유하지만 파라미터 규모가 다른 모델.
3. 공유 베이스 (S3): 공통된 사전 학습 모델으로부터 파생되었으나 사후 학습(예: 서로 다른 데이터셋 또는 알고리즘)을 통해 분기된 모델.

방법론은 가중치 행렬 $W$를 특이값 분해(SVD)하여 두 가지 뚜렷한 신호를 추출합니다:

1. 스펙트럼 에너지 분석 (조립적/거친 수준의 구분)

독립적 기원 모델과 동일 시리즈 모델을 구분하기 위해, 저자들은 가중치 행렬의 스펙트럼 에너지(글로벌 크기 패턴)를 분석합니다.

• 메커니즘: 각 레이어와 컴포넌트 유형(예: Q, K, V, FFN)에 대해 제곱된 특이값의 합($\sum \sigma_i^2$)인 스펙트럼 트레이스 지문을 계산합니다.
• 지표: 레이어별 트레이스 지문 간의 피어슨 상관계수를 사용하여 유사도 점수를 계산하며, 깊이 차이를 처리하기 위해 선형 보간을 통해 정규화합니다.
• 기능: 이는 글로벌 구조적 패턴을 포착하여 모델 패밀리와 규모를 분리할 수 있게 합니다.

2. 서브스페이스 정렬 분석 (정밀한 수준의 구분)

"공유 베이스" 체제 내에서 밀접하게 관련된 모델(예: 데이터 규모나 사후 학습 알고리즘의 차이)을 구분하기 위해, 저자들은 방향성 기하학을 분석합니다.

• 메커니즘: 가중치 행렬에 대해 컴팩트 SVD를 수행하고, 상위-$k$ 좌특이 벡터($U_k$)를 추출하여 지배적 서브스페이스를 정의합니다.
• 지표: 교차 서브스페이스 행렬 $C = U_a^T U_b$를 계산하고 그 특이값들을 분석하며, 이는 서브스페이스 간 주각(principal angles)의 코사인 값에 해당합니다. 지표는 최악의 경우의 정렬(worst-case alignment)을 나타내는 가장 작은 특이값들을 집계하여 방향적 편차를 측정합니다.
• 기능: 이는 스펙트럼 크기만으로는 감지할 수 없는, 미세 조정 데이터 규모 및 특정 사후 학습 알고리즘에 의해 유도된 기하학적 변형과 서브스페이스 회전을 포착합니다.

주요 결과

저자들은 LLaMA, Qwen, Gemma 패밀리를 포함한 110개 이상의 다양한 오픈 웨이트 LLM 쌍을 대상으로 광범ık인 실험을 수행했습니다.

• 계층적 분리: 제안된 Trace 지표(스펙트럼 에너지)는 조립적 구분을 성공적으로 수행합니다. 이는 AWM(Accurate Weight Matrix) 및 PDF(Parameter Distribution Fingerprint)와 같은 베이스라인이 실패하는 작업, 즉 독립적 기원 모델과 동일 시리즈 모델을 명확히 구분합니다(S1 vs S2에 대해 AWM AUC = 0.256 vs Trace AUC = 0.850).
• 정밀한 민감도: 서브스페이스 정렬 지표는 공유 베이스 체제 내에서의 구분을 성공적으로 수행합니다.
  • 데이터 규모: 사후 학습 데이터 규모의 차이를 감지합니다. 예를 들어, 미세 조정 데이터의 비율이 증가함에 따라 유사도 점수가 감소합니다(예: 10% Alpaca-SFT의 경우 0.976에서 100% Alpaca-SFT의 경우 0.889로 감소).
  • 알고리즘 특이성: 서로 다른 사후 학습 전략(PPO, DPO, RAFT)에 대한 독특한 기하학적 시그니처를 드러냅니다. 예를 들어, RAFT는 FFN 컴포넌트에 더 강한 섭동을 유발하는 반면, PPO는 Q 프로젝션에서 주목할 만한 하락을 일으키고, DPO는 높은 유사성을 유지합니다.
• 베이스라인 비교: 기존 방법들(AWM, HuReF, PDF)은 모든 공유 베이스 쌍에 대해 1.0에 가까운 유사도 점수를 할당하여 데이터 규모나 알고리즘의 변화를 포착하지 못합니다. 제안된 프레임워크는 이러한 시나리오를 차별화하는 연속적인 신호를 제공합니다.

주요 기여

1. 문제 공식화: 공유 베이스 설정 내의 정밀한 구분에 초점을 맞추어, 세 가지 체제(독립적 기원, 동일 시리즈, 공유 베이스)에 걸친 계층적 LLM 계보 식별 문제를 정의했습니다.
2. 스펙트럼 에너지 통찰: 특이값에서 유도된 스펙트럼 에너지가 글로벌 크기 패턴을 포착하여, 독립적 기원과 동일 시리즈 모델 간의 신뢰할 수 있는 조립적 구분을 가능하게 함을 입증했습니다.
3. 서브스페이스 정렬 분석 도입: 데이터 규모 및 사후 학습 절차에 따라 밀접하게 관련된 공유 베이스 모델들을 구분할 수 있도록, 가중치 공간의 정밀한 변동을 포착하는 방향성 기하학 분석을 도입했습니다.
4. 실증적 검증: 110개 이상의 LLM 쌍에 대해 접근 방식을 검증하여, 체제 분리와 정밀한 구분에 있어 모두 견고함을 보여주었으며, 기존의 화이트박스 및 블랙박스 베이스라인보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 가중치 공간의 기하학이 입력 데이터나 학습 메타데이터에 대한 접근 없이도 강력하고 해석 가능한 계보 신호를 제공한다고 주장합니다.

• 출처 및 거버넌스: 이 방법은 모델의 출처 검증, 지적 재산 거버넌스, 공급망 투명성을 지원합니다. 규제 기관과 다운스트림 사용자는 독점적인 학습 데이터에 접근할 필요 없이 모델의 기원을 식별하고 관련 리스크를 평가할 수 있습니다.
• 상호 보완적 신호: 본 연구는 스펙트럼 에너지와 서브스페이스 정렬이 상호 보완적임을 확립합니다. 즉, 스펙트럼 에너지는 조립적 체제 분리를 담당하고, 방향성 기하학은 정밀한 차별화를 담당합니다.
• 수동적 및 화이트박스 방식: 이 접근 방식은 공개적으로 출시된 모델 가중치만을 사용하여 작동하며, 확장되는 오픈 웨이트 LLM 생태계를 감사하기 위한 수동적인 방법을 제공합니다.

저자들은 자신들의 발견이 가중치 공간의 내재적 구조적 시그니처 분석에 기반하고 있으며, 이는 현대 LLM 개발의 복잡한 파이프라인을 통해 모델이 어떻게 진화하는지 이해하기 위한 토대를 제공한다고 강조합니다.