Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

기술 요약: 주관적 기대 효용 극대화에 대한 민감도

문제 정의
불확실성 하에서의 의사결정 품질을 평가하는 것은 레이블이 된 결과(labeled outcomes)가 부족하거나, 비용이 많이 들거나, 운에 의해 혼동될 때 매우 어렵습니다. 전통적인 "레이블 기반" 평가는 정답인 선택지나 실현된 결과라는 외부 키(key)에 의존합니다. 그러나 이러한 키는 구축하기가 매우 까ло(예: 보험 분류 또는 새로운 도메인) 실질적으로 불가능할 수 있으며, 결정의 질을 측정하는 데 있어 근본적인 결함이 있습니다(결과는 결정 과정뿐만 아니라 우연에도 의존하기 때문입니다).

본 논문은 "일관성 기반" 평가 프레임워크를 제안합니다. 에이전트가 "옳은" 옵션을 선택했는지 묻는 대신, 에이전트의 선택가 명시된 합리성의 표준인 주관적 기대 효용(Subjective Expected Utility, SEU) 극대화와 일치하는지를 묻습니다. 목표는 이 "민감도(sensitivity)"를 에이전트의 신념 및 효용의 구체적인 내용, 그리고 그들이 실제로 마주하게 되는 결과로부터 분리하여, 에이전트의 선택이 SEU 순위를 얼마나 잘 추적하는지를 측정하는 것입니다.

방법론
본 논문은 SEU 값이 부여된 대안들에 적용된 **소프트맥스 선택 모델(softmax choice model)**을 중심으로 한 방법론적 파이프라인을 개발합니다.

1. 모델: 핵심 매개체는 대안 $r$을 선택할 확률이 $\exp(\alpha V(r))$에 비례한다는 Luce–McFadden 소프트맥스 규칙입니다. 여기서 $V(r)$은 대안의 기대 효용이며, $\alpha \ge 0$은 **민감도 파라미터(sensitivity parameter)**인 스칼라입니다.

   • $\alpha = 0$: 균등한 무작위 선택 (효용에 무감각함).
   • $\alpha \to \infty$: 결정론적 SEU 극대화 (완벽하게 민감함).
   • 중간 단계의 $\alpha$: 에이전트가 자신의 확신을 행동으로 옮기는 정도를 나타내는 단계적 척도.

2. 파라미터화:

   • 신념 ($\beta$): 주관적 확률은 특징 벡터(feature vectors)로부터 선형-소프트맥스 맵을 통해 생성됩니다.
   • 효용 ($\delta$): 효용은 아핀 부정성(affine indeterminacy)을 해결하기 위해 고정된 끝점($0$과$1$)을 가진 순차적 증분으로부터 구성됩니다.
   • 민감도 ($\alpha$): 관심 대상인 주요 양으로, 에이전트가 자신의 확신에 따라 행동하려는 성향을 나타냅니다.

3. 두 가지 모델:

   • 모델 $m_0$ (불확실한 선택만 포함): 에이전트가 주관적 확률를 가진 대안들 사이에서 선택합니다.
   • 모델 $m_1$ (위험한 선택이 확장된 모델): 에이전트가 객관적 확률(로또/복권)을 가진 대안들 사이에서도 선택합니다. 이를 통해 객의적 로또는 신념 파라미터 $\beta$에 의존하지 않으므로 효용($\delta$)을 "위험 요소 없이" 식별할 수 있게 됩니다.

4. 컴퓨터 검증: 저자들은 이 모델들을 Stan으로 구현하고 엄격한 베이지안 워크플로우를 통해 검증했습니다:

   • 사전 예측 점검(Prior Predictive Checks): 사전 분포가 타당한 범위의 행동을 허용하는지 확인합니다.
   • 파라미터 회복(Parameter Recovery): 알려진 파라미터로부터 데이터를 시뮬레이션하여 모델이 파라미터를 회복할 수 있는지 테스트합니다.
   • 시뮬레이션 기반 보정(Simulation-Based Calibration, SBC): 사후 분포가 보정되었는지 확인합니다(참값 파라미터의 순위가 균등함).

주요 기여 및 결과

1. 식별 가능성(Identifiability) vs. 추정 가능성(Estimability)의 간극
본 논문은 이론적 식별성과 현실적인 표본 크기에서의 실질적 추정성 사이의 결정적인 차이를 밝히는 공식적인 식별성 분석을 제공합니다.

• $\alpha$ (민감도)에 대하여: $\alpha$는 기대 효용 벡터 $\eta$(상수가 아닌 경우)로부터 식별 가능합니다. 실제로 $\alpha$는 다른 파라미터들이 제대로 식별되지 않을 때조차 높은 정밀도와 낮은 편향으로 회복됩니다.
• $\delta$ (효용)에 대하여: 불확실한 선택만 있는 모델($m_0$)에서 신념($\beta$)과 효용($\delta$)은 데이터에 의해 약하게 정보가 제공됩니다. 이들은 서로 상충하며 상관관계가 높은 넓은 사후 분포를 가집니다.
• 확장 모델($m_1$)의 한계: 위험한 선택을 추가하면 이론적으로 $\delta$를 식별할 수 있지만($\beta$-$\delta$ 결합을 깨뜨림으로써), 본 논문은 현실적인 표본 크기에서 이러한 이론적 식별성이 실질적인 이득을 거의 주지 못함을 발견했습니다. $\delta$의 신뢰 구간 폭 감소는 1% 미만이며, RMSE도 변하지 않았습니다.
• $\alpha$ 정밀도에 대하여: "더 나은" 데이터 유형(위험한 선택 vs. 불확실한 선택)이 정밀도를 높일 것이라는 직관과 달리, 연구 결과 유한 표본에서의 $\alpha$ 정밀도는 선택 유형이 아닌 데이터의 양에 의해 결정됨을 발견했습니다. 불확실한 선택의 수를 두 배로 늘리면 $\alpha$ 추정치가 크게 날카로워지는 반면, 동일한 수의 위험한 선택으로 교체하는 것은 감지 가능한 정밀도 이득을 제공하지 못했습니다.

2. 한계적 SBC(Marginal-SBC)의 경계
저자들은 중요한 진단적 통찰을 도입합니다: 한계적 SBC 통과가 합동 사후 분포(joint posterior)의 보정을 의미하지는 않습니다.

• 모든 파라미터($\alpha, \beta, \delta$)에 대해 표준 SBC 체크(순위 균등성)를 통과했습니다.
• 그러나 $(\beta, \delta)$의 합동 사후 분포는 여전히 약하게 수축되어 있고 높은 상관관계를 유지했습니다(약하게 정보가 제공됨).
• 결론: 모델은 개별적으로 완벽하게 보정될 수 있지만(각 파라미터가 독립적으로는 올바르게 보임), 합동 분포는 해결되지 않은 상태로 남을 수 있습니다. 한계적 SBC는 약한 합동 정보성을 진단하는 데 맹목적입니다.

3. LLM에 대한 예시적 적용
이 프레임워크는 보험 청구 분류 및 엘스버그 스타일의 항아리 도박이라는 두 가지 과업에 걸쳐 GPT-4o와 Claude 3.5 Sonnet의 의사결정 데이터를 사용하여 엔드 투 엔드로 적용되었습니다.

• 워크플로우: 파이프라인은 실제 LLM 선택에 대한 $\alpha$를 성공적으로 회복했으며, 진단을 통해 모델의 적절성(nuisance parameter인 $\beta, \delta$에 대한 약한 추론 제외)을 확인했습니다.
• 결과:
  • GPT-4o: 두 과업 모두에서 샘플링 온도(temperature)가 증가함에 따라 민감도($\alpha$)가 구조적이고 단조롭게 감소하는 모습을 보였습니다. 이 효과는 통계적으로 견고했습니다 ($P(\text{slope} < 0) \approx 0.99$).
  • Claude 3.5: 두 과업 모두에서 단조로운 패턴을 보이지 않았습니다.
  • 중요한 주의사항: 본 논문은 Claude의 패턴 부재가 **결론을 내릴 수 없는 무효(inconclusive null)**임을 명시합니다. 즉, 연구의 해상도(최소 탐지 가능 효과)가 GPT-4o 수준의 효과를 배제하기에는 불충분했다는 것입니다. 이 도구는 효과의 부재를 증명하기보다 효과를 지지하지 않는 데 그칩니다.
• 해석: 결과는 특정 조건 하에서 GPT-4o가 Claude보다 SEU에 더 민감하다는 설계 내 비교(within-design) 주장을 뒷받침하지만, 맥락과 무관하게 어떤 모델이 "더 합리적인가"에 대한 절대적인 주장은 지원하지 않습니다.

의의 및 범위
본 논문은 LLM 행동 과학이나 의사결정 이론에 대한 실질적인 돌파구라기보다는 방법론적 기여를 목적으로 합니다.

• 개념적: "SEU 극대화에 대한 민감도"를 신념, 효용, 결과와 구별되는, 측정 가능한 단계적 성향으로서 원칙적으로 설명합니다.
• 방법론적: 식별성 분석이 실험 설계에 필수적이지만 충분하지는 않음을 입증합니다. 유한 표본의 정밀도는 단순히 이론적 식별성이 아니라 데이터의 양과 설계의 구체성에 달려 있습니다. 또한, 합동 사후 분포의 기하학적 구조를 진단하는 데 있어 한계적 SBC의 한계를 명확히 합니다.
• 한계: 본 논문은 규범적 질문(예: SEU가 올바른 표준인가)을 판단하거나 모호성 회피(ambiguity aversion)를 테스트하는 것을 피합니다(모델은 모호성을 신념이나 노이즈로 흡수합니다). 이는 절대적인 의미의 "합리성"을 측정하려는 것이 아니라, 특정 설계 내에서 명시된 표준에 대한 부합도를 측정하는 것입니다.

요약하자면, 본 논문은 합리성 표준에 따라 의사결정자를 평가하기 위한 투명하고 재사용 가능한 프레임워크를 제공하며, 유한 표본의 한계와 해상도 제한을 명시적으로 보고하면서 측정 도구를 엄격하게 검증합니다.