Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 의 수가 급증함에 따라 서로 다른 모델들의 행동을 체계적으로 비교하고, 모델 간 거리를 정량화하여 모델 선택, 성능 예측, 증류 (distillation) 및 진화 분석 등을 수행할 수 있는 프레임워크가 필요해졌습니다.

기존의 연구 (Oyama et al., 2025b) 는 무조건부 확률 분포 (unconditional distribution) 기반의 로그-가능성 벡터를 사용하여 모델 맵을 구성했습니다. 이는 모델이 생성하는 텍스트의 전반적인 분포를 분석하는 데 유용하지만, 실제 LLM 의 주요 사용 사례인 대화, 질문 응답 등 조건부 생성 (conditional generation, $p(y|x)$) 상황을 직접적으로 반영하지 못한다는 한계가 있었습니다. 또한, 생성된 텍스트를 직접 사용하여 거리를 측정하는 방법 (Jiang et al., 2025) 은 생성 과정의 무작위성과 임베딩 표현의 변동성에 영향을 받을 수 있습니다.

따라서 본 논문은 프롬프트 (입력) 에 대한 응답 (출력) 의 조건부 확률 분포를 기반으로 언어 모델을 비교하고, 이를 통해 모델 간 거리를 해석 가능하게 만드는 새로운 프레임워크를 제안합니다.

2. 제안 방법론 (Methodology)

저자들은 사전에 정의된 프롬프트 - 응답 쌍의 집합 $D = \{(x_s, y_s)\}_{s=1}^N$을 기반으로 각 언어 모델을 벡터로 표현하는 두 가지 주요 방법을 제시합니다.

2.1 조건부 로그-가능성 벡터 (Conditional Log-Likelihood Vector)

각 모델 $p_i$를 $N$개의 프롬프트 - 응답 쌍에 대한 조건부 로그-가능성 값들의 벡터로 정의합니다.
$$\ell_i = (\log p_i(y_1|x_1), \dots, \log p_i(y_N|x_N))^\top$$
이 벡터의 평균을 빼어 중심화 (centered) 한 벡터 $\xi_i$를 사용합니다. 이 공간에서 두 모델 간의 유클리드 거리의 제곱은, 입력 분포에 대한 평균 조건부 **KL 발산 (Kullback-Leibler divergence)**을 근사한다는 이론적 근거를 제시합니다.
$$KL(p_i, p_j) \approx \frac{1}{2N} \| \xi_i - \xi_j \|^2$$
이는 모델 간의 거리가 확률 분포의 차이를 직접적으로 반영함을 의미합니다.

2.2 PMI 벡터 (Pointwise Mutual Information Vector)

조건부 로그-가능성 벡터에서 무조건부 로그-가능성 ($\log p_i(y)$) 을 뺀 값을 사용하여 PMI 벡터를 정의합니다.
$$\Delta \ell_i = (\log p_i(y_1|x_1) - \log p_i(y_1), \dots, \log p_i(y_N|x_N) - \log p_i(y_N))^\top$$
이는 프롬프트와 응답 간의 의존성 (association) 강도를 측정하며, 무조건부 분포의 영향을 제거하여 학습 데이터와의 관련성을 더 명확히 드러내는 특징을 가집니다.

2.3 프롬프트 시프트 (Prompt Shift) 및 가법적 결합성

프롬프트를 변형 (예: "Let's think step by step" 추가, 프롬프트 반복) 했을 때 모델의 위치가 어떻게 이동하는지 분석합니다.

• 시프트 벡터: $v_{cot} = \ell_{cot} - \ell_{base}$와 같이 정의합니다.
• 가법적 결합성 (Additive Compositionality): 여러 프롬프트 변형 (예: CoT 추가 + 프롬프트 반복) 을 동시에 적용했을 때의 시프트가 개별 변형 시프트의 합으로 근사된다는 것을 발견했습니다.
  $$v_{rep+cot} \approx v_{cot} + v_{rep}$$
  이는 프롬프트 조작의 효과를 예측하고, 복합적인 프롬프트 연산의 영향을 분석할 수 있는 기하학적 규칙성을 제공합니다.

3. 주요 실험 및 결과 (Results)

3.1 데이터 및 모델

• 데이터셋: Tulu3 (10,000 쌍) 및 Infinity-Instruct (10,000 쌍) 에서 추출된 프롬프트 - 응답 쌍 사용.
• 모델: Open LLM Leaderboard v2 에 등록된 552 개의 공개 언어 모델 (Llama, Qwen, Mistral, Gemma 등 다양한 아키텍처 및 크기 포함) 분석.

3.2 모델 맵의 구조적 의미

• 모델 속성 반영: t-SNE 를 통해 시각화된 맵에서 동일한 아키텍처 (예: Qwen, Llama 계열) 를 가진 모델들이 군집을 이루며, Open LLM Leaderboard 점수와도 공간적 상관관계가 있음을 확인했습니다.
• KL 발산 근사성 검증: 로그-가능성 벡터 기반 거리와 몬테카를로 시뮬레이션으로 계산한 실제 KL 발산 간의 상관관계가 매우 높음 (Spearman's $\rho = 0.940$) 을 확인하여 방법론의 타당성을 입증했습니다.

3.3 PMI 벡터의 효과

• PMI 기반 모델 맵은 조건부 로그-가능성 맵보다 학습 데이터와 평가 데이터셋 간의 일치 여부를 더 명확하게 반영했습니다.
• 예를 들어, Tulu3 데이터로 학습된 모델들은 Tulu3 데이터셋으로 구성된 PMI 맵에서 서로 가깝게 군집하는 반면, Infinity-Instruct 데이터로 학습된 모델들은 그렇지 않았습니다. 이는 무조건부 분포의 영향을 제거함으로써 모델의 학습 데이터 특성을 더 잘 포착함을 시사합니다.

3.4 프롬프트 시프트 분석

• 프롬프트 변형 (CoT 추가, 반복 등) 은 모델 맵 상에서 체계적인 위치 이동 (시프트) 을 유발합니다.
• 이러한 시프트는 가법적 결합성을 보이며, 개별 변형의 효과를 합산하여 복합 변형의 효과를 예측할 수 있음을 실험적으로 확인했습니다.

4. 주요 기여 (Key Contributions)

1. 조건부 분포 기반 모델 맵 프레임워크: 프롬프트 - 응답 쌍에 대한 조건부 로그-가능성 벡터를 사용하여 모델 간 거리가 조건부 확률 분포 간의 KL 발산을 근사하는 공유 공간을 제안했습니다.
2. 프롬프트 시프트 및 가법성 발견: 프롬프트 변형이 모델의 조건부 분포에 미치는 영향을 체계적으로 분석하고, 이러한 변화가 선형적으로 결합 (additive compositionality) 된다는 기하학적 규칙성을 발견하여 복합 프롬프트 연산의 효과 예측 가능성을 제시했습니다.
3. PMI 벡터 도입: 무조건부 분포의 영향을 제거한 PMI 벡터를 도입하여, 학습 데이터와 관련된 모델 간 차이를 더 명확하게 드러내는 맵을 구성할 수 있음을 보였습니다.

5. 의의 및 한계 (Significance & Limitations)

의의:

• 이 연구는 언어 모델 비교를 '조건부 확률 분포'의 관점에서 재정의하여, 기존 무조건부 맵 및 생성 기반 방법론과의 관계를 명확히 했습니다.
• 생성된 텍스트를 사용하지 않고도 모델의 조건부 행동을 정량적으로 비교할 수 있어, 생성 과정의 무작위성 문제를 우회합니다.
• 프롬프트 엔지니어링의 효과를 예측하고 분석하는 새로운 도구 (프롬프트 시프트 벡터) 를 제공합니다.

한계:

• 공개된 가중치를 가진 모델에 국한되어 있으며, 폐쇄형 모델에는 적용이 어렵습니다.
• 지시형 (instruction-style) 데이터셋에 주로 적용되었으며, 비지시형 텍스트, 다국어, 코드 생성 등 다른 영역으로의 일반화 여부는 불명확합니다.
• PMI 기반 분석의 효과가 모든 경우에 일관되게 나타나지는 않습니다.
• 시각화 (t-SNE, PCA) 는 고차원 공간의 기하학을 완전히 보존하지 못하므로 해석 시 주의가 필요합니다.
• KL 발산 근사 및 상호 정보량 (MI) 추정은 특정 가정 (모델 분포가 데이터 생성 분포에 충분히 근접함 등) 에 의존하므로, 이 가정이 깨질 경우 정확도가 떨어질 수 있습니다.

결론

본 논문은 로그-가능성 벡터를 활용하여 언어 모델의 조건부 행동을 시각화하고 정량화하는 강력한 프레임워크를 제시했습니다. 이를 통해 모델 간 유사성 분석, 학습 데이터 특성 파악, 그리고 프롬프트 변형에 따른 모델 행동 예측이 가능해졌으며, 향후 LLM 의 분석 및 평가 도구로서 중요한 기여를 할 것으로 기대됩니다.