A mathematical framework for parameter recovery in large language models via a joint Euclidean mirror

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 내부 작동 원리가 불투명한 '블랙박스'이며, 모델의 성능을 비교하거나 특정 모델의 응답을 생성한 숨겨진 매개변수 (예: temperature, logit_bias, 학습 데이터 특성 등) 를 파악하는 것이 현대 머신러닝의 핵심 과제입니다.

• 기존 한계: 모델 가중치 (weights) 가 오픈소스가 아니거나 아키텍처가 다르기 때문에 가중치 기반 비교는 불가능합니다.
• 목표: 모델의 응답 (response) 분포를 분석하여, 다양한 튜닝 매개변수 값에 따른 응답 분포의 변화를 정량화하고, 이를 통해 알 수 없는 매개변수 값을 응답 데이터로부터 역추적 (parameter recovery) 하는 수학적 프레임워크를 구축하는 것입니다.

2. 방법론 (Methodology)

이 논문은 모델 매개변수 공간과 응답 분포 공간 사이의 기하학적 관계를 **'공동 유클리드 미러 (Joint Euclidean Mirror)'**라는 개념을 통해 모델링합니다.

가. 핵심 개념: 공동 유클리드 미러 (Joint Euclidean Mirror)

• 정의: 비유클리드 공간 (확률 분포의 공간) 에서의 거리 (dissimilarity) 를 저차원 유클리드 공간 ($\mathbb{R}^c$) 의 거리로 보존하는 연속 함수 $f: \mathcal{X} \to \mathbb{R}^c$를 의미합니다.
• 수식: 임의의 매개변수 $x, x'$에 대해 $\|f(x) - f(x')\| = D(F_x, F_{x'})$를 만족해야 합니다. 여기서 $D$는 분포 간의 거리 (예: Wasserstein 거리) 입니다.
• 의미: 이 미러가 존재하면, 고차원의 복잡한 분포 차이를 저차원 벡터로 표현할 수 있으며, 이를 통해 매개변수 공간의 기하학적 구조를 시각화하고 분석할 수 있습니다.

나. 추정 절차 (Algorithm 1: Mirror Estimation)

관측된 샘플로부터 미러 함수를 추정하는 3 단계 프로세스를 제안합니다.

1. 거리 행렬 추정: $m$개의 서로 다른 매개변수 조합 ($x_1, \dots, x_m$) 에 대해 각각 $n$개의 샘플을 수집하고, 이를 임베딩하여 경험적 분포 $\hat{F}_{x_i}$를 구합니다. 이후 분포 간의 거리 (주로 Wasserstein 거리) 를 계산하여 거리 행렬 $\hat{\Delta}$를 생성합니다.
2. CMDS (고전적 다차원 척도법) 적용: 추정된 거리 행렬 $\hat{\Delta}$에 CMDS 를 적용하여 각 매개변수 $x_i$에 대응하는 유클리드 공간의 점 $\hat{\Psi}$ (미러 값) 를 구합니다.
3. 표면 피팅 (Surface Fitting): 구해진 이산적인 점들 $\{(x_i, \hat{\Psi}_i)\}$을 기반으로 전체 매개변수 공간 $\mathcal{X}$에 대한 연속적인 미러 함수 $\hat{f}$를 복원합니다. 논문에서는 Delaunay 삼각분할을 이용한 선형 보간을 주로 제안합니다.

다. 매개변수 복원 (Algorithm 2: Parameter Recovery)

• 문제: 레이블이 없는 새로운 응답 샘플 $S_{x^*}$ (알 수 없는 매개변수 $x^*$에서 생성됨) 가 주어졌을 때, $x^*$를 추정합니다.
• 방식:
  1. 알려진 $m$개의 샘플과 새로운 $S_{x^*}$를 모두 포함하여 거리 행렬을 계산하고 CMDS 를 수행합니다.
  2. 알려진 $m$개 점들로부터 학습된 미러 함수 $\hat{f}$를 사용합니다.
  3. 새로운 샘플에 대응하는 CMDS 결과 $\hat{f}^*$와 가장 거리가 가까운 매개변수 $\hat{x}$를 찾는 최적화 문제를 풉니다:
     $$\hat{x} = \arg \min_{s \in \mathcal{X}} \| \hat{f}(s) - \hat{f}^* \|$$

3. 주요 기여 (Key Contributions)

1. 수학적 프레임워크 정립: LLM 응답 분포의 변화를 저차원 유클리드 기하학으로 매핑하는 '공동 유클리드 미러' 개념을 최초로 공식화했습니다.
2. 통계적 일관성 증명: 샘플 크기 ($n$) 와 관측된 매개변수 수 ($m$) 가 무한대로 증가할 때, 추정된 미러가 참의 미러에 수렴하고, 매개변수 복원 추정치가 일관성 (consistency) 을 가진다는 것을 엄밀하게 증명했습니다 (Theorem 1, 2, 3).
3. Wasserstein 거리 활용: 단순한 평균 차이뿐만 아니라 분포의 형태와 퍼짐을 모두 고려하는 Wasserstein 거리를 사용하여 LLM 응답의 무작위성 (temperature 등) 을 더 정교하게 포착했습니다.
4. 실증적 검증: 시뮬레이션 데이터와 실제 LLM (ChatGPT 등) 데이터를 이용한 실험을 통해 프레임워크의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 (가우시안 분포):
  • 알려진 매개변수 공간에서 생성된 데이터로 미러를 추정했을 때, 샘플 수 ($n$) 가 증가함에 따라 추정된 미러 표면이 참의 미러에 수렴함을 확인했습니다.
  • 매개변수 복원: 레이블이 제거된 데이터에 대해 알고리즘을 적용했을 때, $n$이 증가함에 따라 복원 정확도가 거의 100% 에 수렴하는 것을 보였습니다.
• LLM 적용 (실제 데이터):
  • 실험 설정: "R.A. Fisher 의 작업을 설명하라"는 프롬프트에 대해 Temperature (0.10.9) 와 프롬프트 내 Eugenics 가중치 (10%90%) 를 변수로 하여 LLM 응답을 생성했습니다.
  • 미러 구조: 추정된 미러는 온도 ($t$) 와 가중치 ($w$) 에 따라 응답 분포가 변화하는 방향이 서로 직교 (orthogonal) 하는 것을 보여주었습니다. 즉, 두 매개변수가 응답에 미치는 영향이 독립적인 방향으로 작용함을 발견했습니다.
  • 복원 성능: 레이블이 없는 LLM 응답을 미러 공간에 투영하여 원래의 Temperature 와 가중치 값을 추정하는 실험에서, 참 값과 추정 값 사이에 강한 선형 관계를 확인했습니다.

5. 의의 및 중요성 (Significance)

• 블랙박스 해석 가능성 제공: 모델 내부 가중치를 알 수 없더라도, 모델의 출력 (응답) 을 분석하여 모델의 설정 (튜닝 파라미터) 이나 학습 데이터의 민감한 특성 (예: 편향된 데이터 사용 여부) 을 추론할 수 있는 새로운 길을 열었습니다.
• 모델 비교 및 예측: 서로 다른 LLM 들의 응답 분포를 저차원 공간에 매핑하여 정량적으로 비교할 수 있으며, 새로운 매개변수 값에 대한 응답 분포를 예측하는 데 활용 가능합니다.
• 통계적 엄밀성: 기존 경험적 방법론에 그치지 않고, 점근적 수렴성과 통계적 일관성을 수학적으로 증명하여 신뢰할 수 있는 추론 도구로 자리매김했습니다.

이 논문은 LLM 의 행동을 이해하고 제어하는 데 있어 응답 기반의 통계적 추론 (Output-based Statistical Inference) 이 강력한 도구가 될 수 있음을 보여주는 획기적인 연구입니다.