Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

기술 요약: 대규모 언어 모델의 외견상 심리적 프로필은 상당 부분 측정 아티팩트(Measurement Artifact)이다

문제 제기
대규모 언어 모델(LLM)은 모델에 안정적인 행동 프로필을 부여하기 위해 인간을 위해 설계된 심리학적 도구들(예: 성격 검사, 위험 선호 과업)을 사용하여 점점 더 많이 평가되고 있다. 이러한 프로필은 모델의 사용성, 안전성 평가, 그리고 연구에서 인간 참가자의 대리인으로서 LLM을 사용하는 결정에 영향을 미친다. 그러나 최근의 연구 결과들은 LLM의 응답이 미세한 프롬프트 섭동(perturbation)에도 불안정하며, 이들로부터 도출된 요인 구조가 인간의 규범과 다르다는 점을 시사한다. 본 연구가 다루는 핵심 문제는 LLM의 외견상 심리적 프로필이 진정하고 안정적인 행동적 성향(특질)을 반영하는 것인지, 아니면 측정 과정 자체, 구체적으로는 도구가 의도하는 구성 개념보다는 체계적인 응답 편향(response bias)에 의해 유도된 결과인지를 규명하는 것이다.

방법론
저자들은 체계적 응답의 두 가지 구성 요소인 잠재적 특질($\theta$)과 방향성 응답 편향($b$)을 분리하기 위해 공식적인 사이코메트릭(psychometric) 프레임 framework를 채택한다. 연구는 응답자의 문항 답변이 척도의 중간값, 잠재적 특질, 방향성 편향 및 노이즈의 함수인 측정 모델을 활용한다.

• 데이터: 연구는 56개의 지시-튜닝된(instruction-tuned) LLM(오픈 소스 46개, 독점 모델 10개)과 대규모 인간 참조 표본($N=20,993$)을 분석한다.
• 도구: 두 가지 포괄적인 배터리가 실시되었다:
  1. IPIP-NEO-300: 300개 문항으로 구성된 Big Five 성격 검사(개방성, 성실성, 외향성, 우호성, 신경증).
  2. 위험 선호 배터리: Frey 등의 연구에 기반한 자기 보고 척도와 행동 과업(예: 기술로부터의 결정, 로또 등)을 아우르는 24개의 도구.
• 핵심 지표: 연구는 **응답 직교성(response orthogonality)**을 도입하여 활용하는데, 이는 특질과 응답 편향이 반대 방향으로 작용하는 문항(예: 정방향 키잉 vs 역방향 키잉 문항)의 비율로 정의된다.
• 분석:
  • 진단 테스트: 저자들은 정방향 키잉 문항과 역방향 키잉 문항의 평균 응답 간 상관관계를 분석한다. 측정 모델 하에서, 음의 상관관계는 특질의 지배를 나타내고, 양의 상관관계는 응답 편향의 지배를 나타낸다.
  • 분해(Decomposition): 각 모델에 대해 추정된 특질($\hat{\theta}$)과 편향($\hat{b}$) 성분을 분해한다.
  • 분산 분해: 편향과 특질에 기인하는 모델 간 분산의 비율을 계산한다.
  • 직교성 분석: 도구 내 역방향 키잉 문항의 비율과 외견상 내부 일치도(Cronbach's $\alpha$) 사이의 관계를 조사한다.

주요 결과

1. 편향이 모델 간 변이를 지배함:

   • 인간 표본의 경우, 정방향과 역방향 문항 평균 사이의 상관관계는 강한 음의 상관(예: 신경증의 경우 $\rho \approx -0.82$)을 보이며, 이는 변이가 기저의 특질에 의해 구동됨을 나타낸다.
   • LLM의 경우, 이 상관관계는 강한 양의 상관(예: 신경증의 경우 $\rho \approx +0.68$)을 보이며, 이는 변이가 방향성 응답 편향(내용과 상관없이 척도의 한쪽 끝이나 특정 라벨을 선택하려는 경향)에 의해 구동됨을 나타낸다.
   • 분산 분해 결과, LLM의 모델 간 변이 중 **81–90%**가 응답 편향에 기인하는 반면, 인간은 **9–16%**만이 기인하는 것으로 나타났다.

2. 역량은 편향을 감소시키나 제거하지는 못함:

   • 모델의 역량(파라미터 수)이 증가함에 따라 응답 편향은 약간 감소하며, 독점 모델이 오픈 웨이트 모델보다 편향이 낮게 나타난다.
   • 그러나 가장 뛰어난 성능을 가진 모델조차 평균적인 인간보다 유의미하게 높은 수준의 편향을 보인다. 즉, 스케일링을 통해 편향이 제거되지 않으며, 가장 유능한 모델조차 인간의 편향 범위 밖에 머물러 있다.

3. 외견상 신뢰도는 직교성의 아티팩트임:

   • LLM에서 외견상 내부 일치도(신뢰도)는 거의 전적으로 도구의 응답 직교성에 의해 예측된다.
   • 역방향 키잉 문항의 비율과 평균 문항 간 상관관계 사이에는 거의 결정론적인 음의 상관관계($r = -0.95$)가 존재한다.
   • 역방향 키잉 문항이 적거나 없는 도구는 높은 신뢰도(Cronbach's $\alpha$ 최대 0.96)를 보이는 반면, 완전히 직교하는 도구는 신뢰도가 거의 0이거나 음수가 된다. 이는 비직교 도구에서 나타나는 높은 신뢰도가 일관된 특질의 발현이 아니라 일관된 편향을 반영하는 것임을 시사한다.

4. 프로필의 불안정성과 제조 가능성:

   • 편향이 응답을 주도하기 때문에, LLM의 심리적 프로필은 정방향 또는 역방향 키잉 문항을 사용하느냐에 따라 급격히 변화한다.
   • 프로 모델은 문항 선택을 통해 "제조"될 수 있다. 정방향 전용 문항과 역방향 전용 문항으로부터 도출된 프로필 간의 차이는 LLM의 경우 매우 크지만(평균 절대 편향 $|\mu_b|$가 0.15에서 0.99 사이), 인간의 경우 미미하다($|\mu_b| \approx 0.09$).
   • 이러한 불안정성은 성격 검사보다 위험 선호 검사에서 더 두드러지게 나타난다.

의의 및 주장
본 논문은 LLM의 외견상 심리적 프로필이 모델의 내재적 속성이 아니라 측정 도구의 아티팩트라고 주장한다. 저자들의 주장은 다음과 같다:

• 현재의 평가는 결함이 있음: 표준적인 인간 심리 도구로 도출된 프로필은 응답 편향에 의해 크게 혼란을 겪는다. 왜냐하면 이러한 도구들은 완전한 응답 직교성을 갖추지 못한 경우가 많기 때문이다. 따라서 보고된 신뢰도 계수와 성격 점수는 안정적인 성향을 반영하지 않는다.
• 방법론적 교정이 필요함: LLM의 성향을 타당하게 평가하기 위해서는 완전한 직교 도구(균형 잡힌 정방향/역방향 키잉)를 사용하거나, 응답 편향을 명시적으로 모델링하고 분리하는 공식적인 사이코메트릭 프레임워크를 적용해야 한다.
• 연구에 대한 시사점: 이러한 발견은 응답 아티팩트를 교정하지 않고 LLM을 인간 참가자의 대리인으로 사용하는 연구의 타당성에 의문을 제기한다. 또한 행동 과업 역시 이러한 문제로부터 자유롭지 않으며, 오히려 자기 보고 방식보다 편향에 더 민감할 수 있음을 시사한다.
• LLM 행동의 본질: 본 연구는 관찰된 편향이 단순한 사후 학습 효과(예: 아첨(sycophancy)은 일방향적일 것이며, 사회적 바람직성(social desirability)은 특질 변이로 나타날 것임)로는 설명하기 어려운 별개의 현상이라고 상정한다. 이는 LLM이 인간과 같은 안정적인 성향을 결여하고 있거나, 혹은 현재의 도구들이 체화(embodiment)나 의지(volition)의 부재로 인해 LLM에 대해 유효하지 않을 수 있음을 시사한다.

저자들은 단순히 인간의 심리학 패러다임을 빌려오는 것만으로는 LLM을 특징짓기에 불충분하다고 결론지으며, 진정한 행동적 성향과 측정 아티팩트를 구분하기 위해 응답 직교성에 초점을 맞춘 전용 평가를 촉구한다.