Developmental trajectories of decision making and affective dynamics in large language models

기술 요약: 대규모 언어 모델의 의사결정 및 정동 역학의 발달 궤적

문제 제기
대규모 언어 모델(LLM)은 위험 평가 및 환자 소통과 같은 고위험 영역에서 임상 의사결정 지원 도구로 점점 더 많이 배치되고 있습니다. 그러나 기존의 평가는 특정 시점의 단일 모델 버전을 평가하는 정적인 관점을 채택합니다. 이러한 접근 방식은 연속적인 세대(예: GPT-3.5에서 GPT-4.1까지)가 창발적 행동 프로필을 나타내어 이전의 연구 결과들을 무용하게 만들 수 있는 LLM의 급격한 진화를 설명하지 못합니다. 본 논문은 의사결정 전략과 정동 역학(affective dynamics)이 모델 반복에 따라 어떻게 진화하는지, 그리고 이러한 "디지털 발달" 궤적이 인간의 인지와 어떻게 비교되는지에 대한 간극을 다룹니다. 구명적으로 저자들은 정렬(alignment) 절차(예: 인간 피드백을 통한 강화 학습, RLHF)가 모델을 더 인간다운 심리적 프로필로 유도하는지, 아니면 별개의 비인간적 특징을 생성하는지를 조사합니다.

연구 방법론
본 연구는 OpenAI 모델 제품군을 진화하는 계보로 취급하는 횡단적 설계를 채택했습니다. 저자들은 네 가지 서로 다른 버전인 GPT-3.5, GPT-4, GPT-4o, GPT-4.1을 평가했습니다. 이들은 747명의 건강한 인간 참가자 대조군과 벤치마킹되었습니다.

• 실험 패러다임: 연구진은 계산 정신의학을 위해 설계된 도박 과제를 변형하여 사용했습니다. 이 과제에서 에이전트들은 90회의 시행(trial) 동안 확실한 결과와 도박(이득/손실 확률 50%) 사이에서 선택을 합니다. 결정적으로, 에이전트들은 정동 역학을 포착하기 위해 2~3회 시행마다 순간적인 행복도 점수(0–100)를 제공합니다.
• 계산 모델링:
  • 선택(Choice): 시행별 선택은 접근-회피 전망 이론(Approach-Avoidance Prospect Theory) 모델을 사용하여 피팅되었습니다. 이 모델은 위험 선호도, 손실 회피($\lambda$), 파블로프식 접근($\beta_{gain}$) 및 회피($\beta_{loss}$) 편향, 그리고 역온도($\mu$, 결정 노이즈/일관성을 나타냄)를 추정합니다.
  • 정동(Affect): 행복도 점수는 사건의 누적된, 최근성 가중치가 적용된 이력을 사용하여 모델링되었습니다. 모델은 확실한 보상(CR), 기대 가치(EV), 보상 예측 오차(RPE)가 기분에 미치는 영향과 정동 쇠퇴 파라미터($\gamma$) 및 기저 기분($\beta_0$)을 추정합니다.
• 통계 분석: 파라미터는 최대 가능도 추정법(Maximum Likelihood Estimation)을 통해 추정되었습니다. 인간 집단(N=747)과 모델 시뮬레이션(각 버전당 N=30) 사이의 표본 크기 불균형을 해결하기 위해, 저자들은 유의성 검정을 위한 경험적 t-분포를 생성하고자 부트스트랩 재표집(1,000회 반복)을 사용했습니다.

주요 결과
분석 결과, LLM의 행동이 인간의 규범에 수렴하는 측면과 유의미하게 벗어나는 측면이 공존하는 복잡한 궤적이 드러났습니다.

• 의사결정:

  • 위험 감수: 최신 모델(GPT-4.1)은 더 높은 도박 비율을 보였으며, 이는 인간의 행동과 수렴하며 순수 기대 가치 극대화 에이전트(55%)의 비율에 근접했습니다.
  • 손실 회피: 결정적인 차이가 나타났습니다. 손실 회피는 버전이 거듭됨에 따라 단조 감소하였으며, GPT-3.5의 2.72에서 GPT-4.1의 0.57로 떨어졌습니다. 최신 모델은 전형적인 인간의 경향(이득보다 손실을 더 무겁게 고려함)과 대조되는 "손실 중립적" 또는 심지어 "손실 추구적" 프로필을 보였습니다.
  • 파블로프식 편향: 새로운 모델에서는 접근 동기가 증가하고 회피 동기는 감소하였으며, GPT-4.1은 인간 수준으로 수렴하였습니다.
  • 결정 노이즈: 역온도($\mu$)는 단조 증가하였는데, 이는 최신 모델이 인간보다 훨씬 더 결정론적이고 일관된 선택을 하며, 즉 결정 노이즈가 더 낮음을 의미합니다.

• 정동 역학:

  • 민감도: 확실한 보상(CR) 및 보상 예측 오차(RPE)에 대한 민감도는 후기 모델(GPT-4o/4.1)에서 안정성을 보였으나, RPE 민감도는 GPT-4에서 정점을 찍은 후 감소했습니다.
  • 정동 쇠퇴: 과거의 결과가 현재의 기분에 얼마나 오래 영향을 미치는지를 나타내는 쇠퇴 파라미터($\gamma$)는 새로운 모델에서 유의미하게 증가했습니다. GPT-4.1은 인간보다 과거 결과에 더 강하게 의존하는 모습을 보였는데, 이는 더 긴 "정서적 기억"을 가짐을 시사합니다.
  • 기저 기분: 모든 LLM 버전은 인간에 비해 유의미하게 높은 정동 기저치(긍정 편향)를 보였으며, 이는 세대를 거쳐 안정적으로 유지된 특성입니다.

핵심 기여

1. 발달적 관점: 본 논문은 LLM을 정적인 개체가 아닌 진화하는 발달 궤적으로 취급함으로써 "역사적으로 정보에 입각한 관점"을 도입합니다. 이는 네 가지 연속적인 세대에 걸쳐 위험 선호도와 정동 역학이 어떻게 진화하는지에 대한 최초의 체계적인 계열 내 분석을 제공합니다.
2. 계산 정신의학 프레임워크: 인간의 의사결정과 정동에 대해 검증된 계산 모델을 LLM에 적용함으로써, 본 연구는 표면적인 행동 지표를 넘어 잠재적인 심리적 구성 개념(예: 손실 회피, 파블로프식 편향, 정동 쇠퇴)을 정량화합니다.
3. "디지털 긍정성" 및 "손실 중립성"의 식별: 본 연구는 고급 모델에서 나타나는 구체적이고 체계적인 비인간적 특징을 식별했습니다. 즉, 만성적인 긍정 편향과 손실 회피의 거의 완전한 부재를 확인하였으며, 이는 정렬 절차가 인간다운 직관적 휴리스틱을 의도치 않게 제거할 수 있음을 시사합니다.

의의 및 주장
저자들은 이러한 발견이 "기계의 심리학"을 추적하며, AI 윤리 및 고위험 영역으로의 통합에 직접적인 함의를 갖는다고 주장합니다.

• 임상적 함의: 새로운 모델이 인간과 유사한 위험 감수 및 접근-회피 프로필로 수렴한다는 것은 이들이 협업적 의사결정에 더 적합할 수 있음을 시사합니다. 그러나 지속적인 긍정 편향과 손실 중립성은 의료 맥락에서 위험을 초래할 수 있습니다. 지나치게 낙관적인 어조나 손실 회피의 결여는 아첨하는 행동(sycophantic behavior), 불확실성의 과소평가, 또는 부정적인 정보를 전달해야 할 때 발생하는 심각한 의료 오류로 이어질 수 있습니다.
• 이론적 통찰: 결과는 정렬 절차(RLHF)가 모델을 인간과 유사한 합리성(환각/노이즈 감소 및 기대 가치 일관성 증가)으로 유도할 수는 있지만, 동시에 AI의 "정서적 스타일"을 변화시켜 인간보다 더 결정론적이고 직관적인 손실 회피 능력이 낮은 에이전트를 만든다는 것을 시사합니다.
• 주의 사항: 저자들은 본 설계가 횡단적이며 단일 모델 제품군에 국한되어 있다는 점을 강조합니다. 이들은 이러한 "발달" 패턴이 급격한 구조적 또는 훈련 방식의 변화를 겪는 미래의 모델에는 일반화되지 않을 수 있다고 경고하며, 관찰된 "심리학"은 행동적 대리물(proxy)이지 내부의 의식적 경험을 반영하는 것이 아님을 명시합니다.