기술 요약: 행렬 기반의 LLM 가중치 상동성 식별 및 재구성

1. 문제 정의

본 논문은 대규모 언어 모델(LLM) 간의 **가중치 상동성(weight homology)**을 탐지하는 과제를 다룹니다. 모델의 규모와 복잡성이 커짐에 따라, 모델 가중치의 무단 재사용, 복제 또는 "업사이클링"(예: 미세 조정, 프루닝, 지속적 사전 학습)에 대한 우려가 심화되고 있습니다. 핵심 문제는 두 모델 $A$와 $B$가 파라미터 $\theta_A$와 $\theta_B$를 가질 때, 오직 가중치의 통계적 특성만을 기반으로 두 모델이 가중치 계보를 공유하는지(즉, 하나가 다른 하나로부터 파생되었는지)를 결정하는 이진 분류 작업으로 정식화됩니다.

저자들은 상동성의 범위를 다음과 같은 다양한 진화 경로를 포함하도록 정의합니다:

• 미세 조정(Fine-tuning): SFT 및 RL 포함.
• 지속적 사전 학습(Continual Pretraining): 추가 데이터로 학습.
• 업사이클링(Upcycling): 더 작은 모델을 더 큰 모델으로 확장 (예: MoE).
• 프루닝(Pruning): 채널이나 뉴런을 제거하여 모델 크기를 축소.
• 변환(Transformations): 순열(permutation), 스케일링(scaling), 직교/유니터리 변환(orthogonal/unitary transformations) 포함.

결정적으로, 본 논문은 상동성(공유된 초기화/가중치)과 동질성(유사한 데이터로 인한 유사한 출력)을 구분합니다. 동일한 데이터로 서로 다른 랜덤 시드를 사용하여 학습된 두 모델은 상동성이 있는 것으로 간주되지 않습니다.

2. 방법론: MDIR

저자들은 모델 추론을 요구하지 않고 오직 모델 가중치만을 사용하는 화이트박스 방법인 **행렬 기반 식별 및 재구성(Matrix-Driven Identification and Reconstruction, MDIR)**을 제안합니다. MDIR은 행렬 분석, 극분해(polar decomposition), 그리고 대편차 이론(Large Deviation Theory, LDT)을 활용하여 세 가지 목표를 달성합니다:

1. 가중치 행렬 간의 직교 관계 식별.
2. 순열 및 스케일링 인자 탐지.
3. 탐지된 관계의 유의성에 대한 엄격한 통계적 p-값(p-value) 제공.

2.1 이론적 기초: 불변 변환(Invariant Transformations)

이 방법은 현대의 LLM이 과매개변수화(overparameterized)되어 있으며, 많은 서로 다른 파라미터 구성이 동일한 입출력 동작을 생성한다는 관찰에 근거합니다. 이러한 구성들은 불변 공간(invariant space) $M_{inv}(\theta)$를 형성합니다. 저자들은 모델의 기능을 보존하는 "완전 불변" 변환(예: 직교 회전, 순열, 스케일링)의 리 군(Lie group) $G$를 식별합니다.

이상적인 조건 하에서 학습 역학은 몫 공간(quotient space) $M_{arch}/G$ 내에 국한됩니다. 결과적으로, $G$-궤도(G-orbit)를 따르는 파라미터 성분(즉, "$G$-좌표")은 학습 과정 내내 일정하게 유지됩니다. 만약 두 모델이 상동적이라면, 이들의 상대적 변환 $g_1^{-1}g_2$는 그룹 $G$의 항등원 $e$에 가까워야 합니다. 반대로, 독립적으로 초기화된 모델들은 $G$ 전체에 걸쳐 무작별로 분포된 상대적 변환을 갖게 됩니다.

2.2 알고리즘 단계

MDIR 프로세스는 다음 단계들을 포함합니다:

1. 직교 관계 추정:
   두 가중치 행렬(예: 임베딩 $E$와 $E'$) 쌍에 대해, $\|E' - EU^T\|_F$를 최소화하는 직교 행렬 $U$를 찾는 최적화 문제를 해결합니다. 이는 $E'^T E$의 **극분해(polar decomposition)**에서 직교 인자를 찾는 것과 같습니다.

   • 토크나이저 차이 처리: 모델이 서로 다른 토크나이저를 사용하는 경우, 변환을 추정하기 위해 공통 어휘 토큰 집합 $C$로 비교 범위를 제한합니다.

2. 순열 식별:
   추정된 직교 행렬 $\tilde{U}$를 분석하여 순열과 같은 특정 구조적 패턴을 탐지합니다. 이 방법은 $\text{Tr}(P \tilde{U}^T)$를 최대화하는 순열 행렬 $P$를 찾기 위해 선형 할당 문제(Linear Sum Assignment Problem)(헝가리안 알고리즘 사용)를 해결합니다. 이 단계는 뉴런이나 채널이 재정렬되었는지 여부를 식별합니다.

3. 통계적 유의성 (p-값 추정):
   관찰된 정렬이 통계적으로 유의미한 것인지 아니면 우연한 일치인지 결정하기 위해, 저자들은 **대편차 이론(Large Deviation Theory, LDT)**을 적용합니다.

   • 귀무 가설: 가중치는 서로 관련이 없으며, 추정된 직교 행렬은 하르 측도(Haar measure)에 따라 직교군 $O(n)$ 상에서 균등하게 분포되어 있다.
   • 척도(Metric): 순열과 직교 행렬의 곱의 트레이스(trace), 즉 $\text{Tr}(P \tilde{U}^T)$가 검정 통계량 역할을 합니다.
   • 계산: LDT를 사용하면, 우연히 발견될 수 있는 만큼 높은 트레이스 값을 관찰할 확률은 트레이스의 제곱에 따라 지수적으로 감소합니다. p-값은 $p \le n! \cdot K \exp(-c^2/2)$로 추정되며, 여기서 $n$은 임베딩 차원이고 $c$는 관찰된 트레이스입니다. 이를 통해 매우 작은 p-값(예: $10^{-1000}$)을 생성하여 상동성에 대한 엄격한 통계적 증거를 제공할 수 있습니다.

4. 계층별 재구성:
   서로 다른 아키텍처(예: 다른 레이어 수)를 가진 모델의 경우, MDIR은 레이어를 순회하며 대응 관계 맵을 재구성하여 베이스 모델의 어떤 레이어가 파생 모델의 어떤 레이어에 해당하는지 식별합니다.

3. 주요 기여

• SOTA 성능: MDIR은 LeaFBench 벤치마크의 다양한 소스 모델에 대해 정확도(Accuracy)와 AUC(Area-Under-Curve) 모두에서 완벽한 점수(1.000)를 달성하며, Gradient, REEF, HuRef, PDF와 같은 기존 방법들을 능가합니다.
• 통계적 엄밀성: 임의의 임계값 보정이 필요한 유사도 점수를 출력하는 기존 방식과 달리, MDIR은 실제 통계적 p-값을 출력하여 휴리스틱한 임계값 튜닝의 필요성을 제거합니다.
• 추론 불필요 및 저자원: 이 방법은 모델 추론을 요구하지 않으며 단일 행렬 쌍만을 비교하므로, 저사양 기기에서도 실행이 가능합니다.
• 변환에 대한 강건성: 순열, 스케일링 및 직교 변환에 불변합니다. 모델이 다른 토크나이저를 사용하거나 프루닝 및 업사이클링을 거친 경우에도 효과적으로 작동합니다.
• 재구성 능력: MDIR은 특정 가중치 대응 맵을 재구성할 수 있습니다(예: 어떤 레이어가 프루닝되었는지 또는 뉴런이 어떻게 순열되었는지 식별). 이는 핑거프린팅 방식이 갖지 못한 해석 가능성을 제공합니다.

4. 실험 결과

본 논문은 Llama-3.1-8B, Llama-3.2-1B, Qwen2.5 변체 등 다양한 모델을 대상으로 MDIR을 평가합니다:

• 지시 미세 조정 및 지속적 사전 학습: Llama-3.1-8B와 Llama-3.2-1B, 그리고 Qwen2.5 변체 간의 상동성을 성공적으로 식별했습니다.
• 프루닝: Llama-3.2-1B와 3B가 Llama-3.1-8B의 프루닝된 버전임을 정확히 탐지하였으며, 특정 레이어 매핑(예: Llama-3.2-1B가 8B 모델의 특정 레이어를 유지하고 있음)을 재구성했습니다.
• 업사이클링: MoE 모델에서의 관계를 식별했습니다 (예: Qwen1.5-1.8B에서 파생된 Qwen1.5-MoE-A2.7B).
• 다른 토크나이저: 원래 가중치를 유지하면서 새로운 토크나이저(GPT-NeoX)로 모델을 재학습시킨 경우를 통해 효과를 입증했습니다. MDIR은 새로운 임베딩이 수렴함에 따라, 어휘집이 변경되었음에도 불구하고 상동성을 성공적으로 탐지했습니다.
• 적대적 강건성:
  • 노이즈 주입: MSR은 가우시안 노이즈 주입에 대해 강건함을 유지했습니다. 노이즈 수준이 모델의 기능적 성능(MMLU 정확도)을 붕괴시킬 정도임에도 불구하고 높은 탐지 신뢰도를 유지했습니다.
  • 독립적 모델: 독립적으로 개발된 모델(예: DeepSeek-V3와 Kimi-K2) 또는 동일한 데이터로 서로 다른 랜덤 시드를 사용하여 학습된 모델 간에는 상동성이 없음을 정확히 식별했습니다.

5. 의의 및 주장

저자들은 MDIR이 휴리스틱한 유사도 메트릭에서 통계적으로 엄격한 가설 검정으로 모델 감사의 패러다임을 전환하는 근본적인 변화를 나타낸다고 주장합니다.

• 극한의 p-값: 본 논문은 결과로 나온 p-값(예: $10^{-104}$)이 수치적 오류가 아니라, 대편차 이론에 의해 고차원 공간에서 이러한 가중치 정렬이 우연히 발생할 통계적 희박성을 정확하게 반영하는 결과임을 명시합니다.
• 책임성: 이 방법은 AI 개발의 투명성과 책임성을 높이는 도구를 제공하며, 지적 재산권 침해나 무단 모델 복제를 탐지하는 데 도움을 줄 수 있습니다.
• 한계점: 저자들은 MDIR이 쌍별(pairwise) 상동성 탐지에는 탁월하지만, 복잡한 계통학적(phylogenetic) 질문(예: 세 개 이상의 모델 사이의 정확한 진화 트리나 공통 조상을 결정하는 문제)은 아직 해결하지 못했음을 겸허히 인정합니다.

요약하자면, MDIR은 수학적으로 근거가 있고 추론이 필요 없는 프레임워크로서, 기존의 블랙박스 또는 유사도 기반 방법들이 놓치는 미세한 진화적 관계를 탐지할 수 있는 매우 정확한 LLM 가중치 출처 검증 도구입니다.