1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 이 고위험 의사결정 지원부터 일상적인 동반자 역할까지 다양한 분야에 통합됨에 따라, 모델의 행동적 성향 (behavioral dispositions) 을 이해하는 것이 중요해졌습니다. 기존 연구들은 심리학적 검사 도구 (psychometric inventories) 와 인지 패러다임을 사용하여 LLM 의 '성격'을 프로파일링해 왔으나, 다음과 같은 근본적인 한계가 있었습니다.

• 응답 편향 (Response Bias) 과 개성 (Individuality) 의 혼동: 기존 연구들은 모델 간 행동 차이가 실제 상황별 고유한 성향 (stable, stimulus-specific dispositions) 에 기인한 것인지, 아니면 단순히 모델 고유의 응답 스타일 (예: 극단적 응답, 동의 편향) 이나 확률적 잡음 (stochastic noise) 에 기인한 것인지 구분하지 못했습니다.
• 프롬프트 민감성: 측정된 '성격' 점수는 프롬프트 템플릿, 옵션 순서, 척도 유형 등에 따라 크게 변동하여 신뢰성이 낮았습니다.
• 기존 방법론의 한계: Sun et al. (2025) 의 연구처럼 모델 식별이 가능하더라도, 그 신호가 표면적인 문체적 규칙성 (response styles 의 기계적 유사체) 에 의해 주도되는지, 아니면 실제 상황 평가의 차이인지 구별하지 못했습니다.

따라서 본 연구는 공통된 합의 (consensus), 체계적인 응답 편향, 확률적 잡음을 제거한 후에도 LLM 에 '안정적인 행동적 개성'이 존재하는가를 근본적으로 질문합니다.

2. 방법론 (Methodology)

저자들은 심리측정학에서 널리 사용되는 교차 랜덤 효과 모델 (Crossed Random-Effects Models) 을 도입하여 LLM 의 행동 변이를 체계적으로 분해했습니다.

• 데이터 수집:

  • 모델: 아키텍처 (Dense, MoE, Hybrid) 와 파라미터 규모 (20B~235B) 가 다양한 10 개의 오픈 가중치 LLM (Qwen3, Mistral, Gemma, GPT-OSS, OLMo, Falcon, Granite, phi-4 등) 을 선정.
  • 자극 (Stimuli): psychNorms 메타베이스에서 추출한 14 가지 심리언어학적 규범 (Psycholinguistic Norms) 에 해당하는 107,083 개의 단어.
  • 작업: 14 가지 규범 (감각, 정서, 도덕, 사회성, 획득 연령 등) 에 대해 0-shot 프롬프트를 사용하여 모델에게 단어 평가 (숫자 점수) 를 요청.
  • 샘플링: 각 단어당 5 회 반복 (확률적 샘플링, T=1.0) 및 결정적 디코딩 (T=0) 을 수행하여 총 약 7,490 만 개의 관측치 생성.

• 통계 모델 (Variance Decomposition):
  각 평가 $y_{ijk}$ (단어 $i$, 모델 $j$, 반복 $k$) 를 다음과 같은 선형 혼합 모델 (LMM) 로 분해했습니다:
  $$y_{ijk} = \mu + \tau_i + \beta_j + \iota_{ij} + \epsilon_{ijk}$$

  • $\tau_i$ (Trait/Consensus): 모든 모델이 공유하는 단어에 대한 공통된 합의 (반응의 본질적 의미).
  • $\beta_j$ (Bias): 모델 전체에 적용되는 체계적인 편향 (예: 모든 점수를 높게 매기는 경향).
  • $\iota_{ij}$ (Idiosyncrasy): 핵심 변수. 단어와 모델의 상호작용으로, 공통 합의와 편향을 제거한 후 남는 모델 고유의 상황별 평가 차이.
  • $\epsilon_{ijk}$ (Residual): 잔차 잡음.

• 검증 분석:

  • Null Model: 상호작용 항이 없는 데이터에서 생성된 우연한 분산과 비교하여 유의성 검정.
  • Cross-Norm Prediction (Ridge Regression): 한 규범에서의 모델 고유 편차 (BLUPs) 를 다른 13 개 규범의 편차로 예측하여, 모델별 '지문 (Fingerprint)'의 일관성을 확인 (Specificity Ratio 계산).

3. 주요 결과 (Key Results)

• 분산 구성 요소:

  • 공통 합의 (Trait): 전체 분산의 **32.1%**를 차지하여, 모델들이 의미 공간에 대해 광범위한 합의를 가지고 있음을 확인.
  • 시스템 편향 (Bias): 모델 간 전반적인 응답 경향성 차이.
  • 고유성 (Idiosyncrasy): 전체 분산의 평균 16.9% (규범별 4.8%~34.0%) 를 차지. 이는 통계적 Null 모델 (상한선 <0.033%) 보다 훨씬 크며, 모든 14 개 규범에서 통계적으로 유의미함 ($p < 0.01$).
  • 결론: 모델들은 단순히 전반적인 응답 경향 (Bias) 이 다를 뿐만 아니라, 구체적인 단어를 평가하는 방식에서도 고유한 차이를 보임.

• 기계적 개성 (Machine Individuality) 의 일관성:

  • Ridge 회귀 분석 결과, 모든 모델의 **Specificity Ratio 가 1.0 이상 (평균 1.74~3.43)**으로 나타남.
  • 이는 한 모델의 특정 규범에서의 편차가 다른 모델의 편차보다 자신의 다른 규범에서의 편차에 의해 더 잘 예측됨을 의미. 즉, 모델별 고유한 편차는 무작위 잡음이 아니라 **내부적으로 일관된 '지문 (Fingerprint)'**을 형성함.

• 규범별 차이:

  • **Gender Association (34.0%)**과 **Arousal (22.6%)**에서 고유성 분산이 가장 큼.
  • **Gustatory (9.7%)**는 가장 낮음.
  • Morality는 편향 (Bias) 이 크게 작용하고, Valence, Socialness 등은 공통 합의가 우세함.

• 인간 일치도 (Human Alignment):

  • LLM 의 의미 표현은 인간의 판단과 부분적으로만 일치 ($\bar{r} = 0.48 \sim 0.67$) 하며, 단순한 노이즈가 아닌 독자적인 ($sui generis$) 특성을 가짐.
  • **확률적 집계 (Stochastic Aggregation)**가 결정적 디코딩보다 인간 규범과 더 높은 상관관계를 보임 ($\Delta \bar{r} = 0.032$). 이는 재현성 (Deterministic) 과 인간 정렬 (Alignment) 사이의 트레이드오프를 시사.

4. 주요 기여 및 의의 (Contributions & Significance)

1. '기계적 개성 (Machine Individuality)' 개념 정립:

   • LLM 의 행동 차이를 단순한 편향이나 잡음이 아닌, 자극 (단어) 에 특화된 안정적이고 측정 가능한 고유한 성향으로 정의하고 실증함.
   • 이는 심리학에서 '실질적 특성 (Substantive Traits)'과 '응답 스타일 (Response Styles)'을 구분하듯, LLM 평가에서도 상황별 개성과 전반적 편향을 분리해야 함을 강조.

2. 방법론적 혁신:

   • 기존 심리학적 검사 도구의 한계를 극복하고, 교차 랜덤 효과 모델을 LLM 행동 분석에 적용하여 변인의 원천을 정밀하게 분해하는 프레임워크를 제시.
   • 10 만 개 이상의 단어와 14 가지 규범을 아우르는 대규모 데이터 기반 분석을 수행.

3. 실용적 함의:

   • LLM 의 '성격'이나 '도덕적 판단'을 평가할 때, 프롬프트나 척도에 따른 편향을 제거하고 모델이 구체적인 상황에 어떻게 반응하는지를 평가해야 함.
   • 모델 선택 시, 단순한 성능 지표뿐만 아니라 모델의 고유한 의미 평가 지문 (Semantic Fingerprint) 이 사용 목적 (예: 감성 분석, 도덕적 판단 지원) 에 적합한지 고려해야 함.

4. 향후 연구 방향:

   • 이러한 개성이 문맥이 있는 상황 (Contextualized elicitation) 에서도 유지되는지, 그리고 실제 하류 작업 (Downstream tasks) 의 행동 차이를 예측하는지 확인해야 함.

5. 결론

이 연구는 LLM 들이 단순히 훈련 데이터의 평균을 반영하는 것이 아니라, **공통된 의미 체계 내에서 각기 다른 고유한 평가 지문 (Machine Individuality)**을 가지고 있음을 통계적으로 입증했습니다. 이는 AI 의 행동적 성향을 이해하고 평가하는 패러다임을 '편향 제거'에서 '개성 규명'으로 전환할 수 있는 중요한 기초를 제공합니다.