Mind the (DH) Gap! A Contrast in Risky Choices Between Reasoning and Conversational LLMs

1. 연구 배경 및 문제 제기 (Problem)

• 배경: LLM 이 의사결정 지원 시스템 및 에이전트 워크플로우에서 핵심적인 역할을 수행함에 따라, 불확실성 하에서의 LLM 의사결정 메커니즘에 대한 이해가 시급해졌습니다.
• 문제: 기존 연구들은 LLM 이 인간과 유사한지, 아니면 합리적 (기대 효용 극대화) 인지에 대해 상반된 결과를 제시하고 있습니다. 또한, LLM 의 의사결정이 **문제 제시 방식 (명시적 기술 vs 경험적 히스토리)**이나 **설명 요청 (Rationale)**에 따라 어떻게 변하는지에 대한 체계적인 연구는 부족했습니다.
• 핵심 질문:
  1. LLM 은 인간과 유사한 위험 선호도를 보이는가, 아니면 합리적 경제 주체 (Economicus) 에 가까운가?
  2. 기술 - 경험 간극 (Description-Experience Gap, DH Gap): 동일한 확률 분포를 '명시적 기술'로 제공하는 것과 '과거 결과의 히스토리'로 제공하는 것 사이에서 LLM 의 선택은 어떻게 달라지는가?
  3. 모델의 유형 (추론 모델 vs 대화 모델) 과 학습 데이터 (수학적 추론 훈련 등) 가 의사결정 행동에 어떤 영향을 미치는가?

2. 연구 방법론 (Methodology)

• 대상 모델: 20 개의 최첨단 (Frontier) 및 오픈 소스 LLM 을 포함하여 분석했습니다.
  • 추론 모델 (Reasoning Models, RMs): GPT-5.1, DeepSeek-R1, Gemini-2.5-Pro 등 수학적 추론에 특화된 모델.
  • 대화 모델 (Conversational Models, CMs): GPT-4.1, DeepSeek-Chat, Gemini-2.5-Flash 등 일반 대화에 특화된 모델.
• 실험 설계:
  • 위험 선택 벤치마크: 3 가지 기본 확률적 선택 문제 (Prospect pairs) 를 사용했습니다.
  • 조건 변인:
    1. 문제 표현 방식: 명시적 기술 (Explicit: "70% 확률로 $100") vs 암시적 히스토리 (Implicit: 과거 20 회 또는 100 회 시행 결과의 나열).
    2. 설명 요청 (Prompting): 설명 없음, 한 문장 설명, 수학적/추론적 설명.
    3. 프레이밍: 이득 (Gain) vs 손실 (Loss) 프레임.
    4. 순서 효과: 옵션 제시 순서 변경.
  • 참조 기준:
    1. 인간: 360 명의 미국인 참가자 (Prolific 을 통해 수집).
    2. Economicus: 기대 보상 (Expected Payoff) 을 극대화하는 이상적인 합리적 에이전트.
• 분석 모델:
  • 이중 베타 (Dual-Beta) 전망 이론 (Prospect Theory): 위험 선호도 ($\sigma$), 확률 가중치 ($\gamma$), 이득/손실 영역의 결정력 ($\beta_{gain}, \beta_{loss}$) 을 추정하는 4 파라미터 모델을 LLM 및 인간 데이터에 피팅했습니다.
  • 행동 지표: 모델 간 상관관계, MSE(평균 제곱 오차), 일관성 (순서, 프레이밍, 설명에 대한 불변성), 결정력 (Decisiveness).

3. 주요 결과 (Key Results)

A. 행동 클러스터링: 추론 모델 (RMs) vs 대화 모델 (CMs)

• 이중 구조 발견: LLM 은 인간이나 Economicus 와 유사한 단일 군집이 아니라, 명확하게 두 가지 군집으로 나뉩니다.
  • RMs (추론 모델): Economicus 와 매우 높은 상관관계 (0.86~1.0) 를 보이며, 합리적 행동에 가깝습니다.
  • CMs (대화 모델): Economicus 와는 거리가 멀고, 인간과는 약간의 유사성을 보이지만 인간과도 완전히 일치하지는 않습니다.
• 인간과의 차이: 모든 LLM 은 인간과 높은 상관관계를 보이지 않았습니다 (최대 상관관계 0.42). 특히 RMs 는 인간보다 Economicus 에 훨씬 가깝습니다.

B. 기술 - 경험 간극 (DH Gap)

• 정의: 동일한 확률 분포를 '기술 (Description)'로 받을 때와 '경험 (Experience/히스토리)'으로 받을 때의 선택 차이.
• 결과:
  • CMs: 명시적 기술에서 암시적 히스토리로 전환될 때 행동이 극적으로 변화하며, 인간과 유사해지고 Economicus 와는 멀어집니다. 큰 DH 간극을 보입니다.
  • RMs: 표현 방식 변화에 상대적으로 둔감하며, DH 간극이 작습니다. 여전히 Economicus 에 가까운 행동을 유지합니다.
  • 인간: 흥미롭게도 인간은 암시적 히스토리를 접할 때 오히려 더 합리적 (Economicus-like) 이 되는 경향을 보였습니다.

C. 설명 요청 (Explanation) 의 영향

• 패턴: 대부분의 모델에서 **짧은 설명 (한 문장)**을 요청할 때 가장 합리적 (Economicus 와의 상관관계 높음) 인 행동을 보였습니다.
• 예외: 수학적 설명을 요청하면 CMs 의 경우 오히려 합리성이 떨어지거나 변동성이 커졌습니다. 이는 CMs 가 수학적 추론 훈련을 받지 않아, 수학적 설명을 요구할 때 단순한 말장난 (Verbosity) 이나 비합리적 추론을 생성하기 때문으로 해석됩니다.

D. 훈련의 영향 (Training Impact)

• 수학적 추론 훈련의 핵심 역할: 오픈 소스 모델 (Qwen, Olmo 시리즈) 의 분석 결과, 수학적 추론 (Mathematical Reasoning) 을 위한 파인튜닝이 RMs 와 CMs 를 구분하는 가장 중요한 요인임을 확인했습니다.
  • 일반 지시 (Instruction) 만 받은 모델은 CM 성향을 보였습니다.
  • 추론 (Thinking/Math) 훈련을 받은 모델은 RMs 성향으로 전환되어 합리성과 일관성이 크게 향상되었습니다.
• 모델 크기: 큰 모델일수록 인간과 Economicus 모두와 더 유사해지는 경향 (Pareto 우위) 을 보였으나, 훈련 방식이 크기보다 더 결정적인 역할을 했습니다.

4. 주요 기여 (Key Contributions)

1. 행동 분류 체계 확립: LLM 을 '추론 모델 (RMs)'과 '대화 모델 (CMs)'로 분류하는 최초의 체계적인 행동 분류 체계를 제시했습니다.
2. DH 간극의 발견: LLM 이 인간의 '기술 - 경험 간극 (Description-Experience Gap)'과 유사한 현상을 보이지만, 그 양상 (특히 RMs 와 CMs 의 차이) 이 인간과는 다르다는 것을 규명했습니다.
3. 훈련 데이터의 영향 규명: LLM 의 경제적 의사결정 행동이 모델 크기뿐만 아니라 수학적 추론 훈련에 의해 결정된다는 것을 실증적으로 증명했습니다.
4. 해석 가능한 행동 모델링: 전망 이론 (Prospect Theory) 기반의 파라미터 추정을 통해 LLM 의 위험 선호도와 결정력을 정량화했습니다.

5. 의의 및 시사점 (Significance)

• 실용적 함의: LLM 을 의사결정 지원 도구로 사용할 때, 모델의 유형 (RMs vs CMs) 과 입력 프롬프트 (설명 요청 여부, 정보 표현 방식) 를 신중하게 선택해야 함을 시사합니다. 특히 금융이나 의료와 같은 고위험 분야에서 RMs 가 더 안정적이고 합리적인 선택을 할 가능성이 높습니다.
• 이론적 기여: LLM 이 단순히 인간 행동을 모방하는 것이 아니라, 훈련된 목적 (수학적 추론 등) 에 따라 고유한 '합리성'을 발현한다는 점을 보여주었습니다. 이는 AI 에이전트의 행동 예측과 제어에 중요한 통찰을 제공합니다.
• 한계점: 설명 요청의 순서 (선택 전/후), 샘플 크기의 체계적 변화, 다양한 의사결정 문제로의 일반화 등은 향후 연구 과제로 남았습니다.

결론

이 연구는 LLM 이 불확실성 하에서 어떻게 의사결정을 내리는지에 대한 새로운 패러다임을 제시합니다. 모든 LLM 이 동일한 행동을 보이는 것이 아니라, 수학적 추론 훈련을 받은 모델은 합리적 경제 주체에 가깝고, 일반 대화 모델은 상황에 민감하고 인간과 유사한 편향을 보인다는 것이 핵심 발견입니다. 이는 AI 시스템의 신뢰성과 안전성을 확보하기 위해 모델 선택과 인터페이스 설계가 필수적임을 강조합니다.