기술 요약: 대규모 언어 모델을 이용한 경로 선택에서의 인간 편향 재현

문제 정의

인간의 의사결정, 특히 경로 선택에 있어서는 완전한 합리성 가설에서 자주 벗어나 체계적인 행동 편향을 보이는 경우가 많다. 누적 전망 이론(Cumulative Prospect Theory, CPT)은 이러한 편향을 모델링하는 지배적인 프레임워크로, 준거 의존성, 손실 회피, 비선형 확률 가중치와 같은 메커니즘을 포착한다. 그러나 시뮬레이션 및 에이전트 기반 모델링에서 CPT를 대규모로 적용하는 데에는 결정적인 병목 현상이 존재하는데, 바로 CPT 파라미터의 정확한 추정 문제이다.

전통적인 방법들은 이러한 파라미터를 보정하기 위해 설문조사와 통제된 실험에 의존한다. 이러한 방식은 특정 집단에 대해서는 효과적이지만, 일반화하기 어렵고, 다양한 직업군과 성격 유형에 따른 인간 의사결정의 다양성을 충분히 포착하지 못하며, 제한된 표본 크기와 높은 데이터 수집 비용이라는 제약을 가진다. 결과적으로, 값비싼 실제 데이터 수집에만 의존하지 않고도 다양한 행동 데이터를 생성하고 전망 이론적 파라미터를 추정할 수 있는 확장 가능한 방법론이 필요하다.

방법론

본 논문은 불확식성 하에서의 인간 경로 선택 행동을 시뮬레이션하기 위해 대규모 언어 모델(LLM)을 활용한 대규모 가상 행동 실험을 수행하는 프레임워크를 제안한다. 방법론은 다음 네 가지 핵심 구성 요소로 이루어진다.

1. LLM 기반 인간 에이전트 구축

본 연구는 비매개변수적 프롬프팅(nonparametric prompting) 방법을 사용하여 이질적인 인간 에이전트를 구축한다. 각 에이전트는 세 가지 모듈로 구성된 표준화된 프롬프트 아키텍처에 의해 정의된다:

• 프로필(Profile): 개인적 속성(직업, 성격, 위험 선호도, 이동 목적, 시간 압박), 행동 특성(이동 시간 변동성에 대한 민감도, 위험 허용도), 그리고 제약 조건을 정의한다. 본 연구는 인구통계학적 및 행동적 이질성을 포착하기 위해 10가지의 뚜렷한 에이전트 프로필(예: 은퇴 노동자, 공무원, 배달원, 학생)을 정의한다.
• 계획(Planning): 에이전트가 복잡한 과업을 분해하고, 예상 이동 시간 및 변동성을 바탕으로 경로를 평가하며, 할당된 정체성 및 심리적 선호도와 일치하는 옵션을 우선시하도록 유도한다.
• 행동(Action): 위험 회피형 에이전트는 안정성을 우선시하고 위험 추구형 에이전트는 시간 절약을 우선시하도록 결정 규칙을 강제한다. 출력은 통계 분석과의 호환성을 보장하기 위해 엄격하게 구조화된 JSON 형식으로 이루어진다.

2. 이동 환경 구축

환경은 구성(Configuration)(정적 과업 목표, 경로 옵션, 위험 유형)과 상태(State)(사고나 정체와 같은 돌발 상황의 동적 확률 및 그에 따른 이동 시간의 영향)로 정의된다. 본 연구는 이득(Gain)(기준 시간보다 일찍 도착함) 영역과 손실(Loss)(기준 시간보다 늦게 도착함) 영역을 모두 포함하는 시나리오를 설계하였으며, 경로들은 동일한 평균 이동 시간을 가지되 서로 다른 위험 분포를 제공하도록 설정하였다.

3. 실험 시뮬레이션

OpenAI의 GPT-5를 사용하여, 2개 경로 및 3개 경로 선택 시나리오를 포함한 11개의 뚜렷한 케이스에 대해 3,000명의 에이전트를 시뮬레이션한다. 행동의 다양성과 재현성 사이의 균형을 맞추기 위해 온도(temperature) 파라미터는 1로 설정한다. 각 시나리오는 견고성을 확보하기 위해 3회씩 실행된다.

4. 파라미터 추정 및 평가

• CPT 파라미터 추정: LLM이 생성한 선택 데이터를 CPT 공식에 적합시켜 민감도 파라미터($\alpha$는 이득, $\beta$는 손실)와 손실 회피 계수($\lambda$)를 추정한다. 준거점($x_0$)은 에이전트로부터 생성된 예상 이동 시간의 분포로부터 동적으로 추론된다.
• 검증: 추정된 파라미터는 새로운 시나리오에서의 경로 선택을 예측하는 데 사용된다. 결과는 다음 항목들과 비교된다:
  1. LLM 시뮬레이션 선택 결과.
  2. 실제 행동 실험에서 추정된 파라미터 (예: Xu et al., 2011; Zhang et al., 2018).
  3. 비이동(non-travel) 영역의 고전적 파라미터.
• 지표: 예측 정확도는 예측된 선택 확률과 관측된 선택 확률 사이의 잔차 제곱합을 사용하여 평가된다.

주요 결과

• 편향의 재현: LLM은 체계적인 인간의 편향을 성공적으로 재현했다. 이득 영역에서 에이전트들은 일반적으로 위험 회피 성향(안정적인 경로 선호)을 보였으나, 손실 영역에서는 위험 추구 성향(더 높은 변동성을 가지지만 조기 도착 가능성이 있는 경로 선호)으로 전환되었다.
• 파라미터 추정: LLM 시뮬레이션 데이터는 $\alpha = 0.4$, $\beta = 0.64$, $\lambda = 1.43$의 CPT 파라미터 추정치를 산출했다. 이 값들은 뚜렷한 한계 효용 체감과 상당한 손실 회피(에이전트가 동일한 이득보다 손실에 1.43배 더 민감함)를 나타낸다.
• 예측 정확도: LLM 시뮬레이션에서 추정된 파라미터는 3개 경로 시나리오에 적용되었을 때 가장 낮은 예측 오차(0.0036)를 보였으며, 이는 실제 행동 조사에서 도출된 파라미터(0.0042) 및 고전적 비이동 파라미터(0.0100)보다 우수한 성능을 보였다.
• 맥락 의존적 행동: 에이전트들은 미묘하고 맥락 의존적인 의사결정을 보여주었다. 예를 들어, 일반적으로 위험을 회피함에도 불구하고 특정 에이전트 유형(예: 배달원)은 대안이 확실한 손실(지연)을 보장할 때 더 위험한 경로로 전환했는데, 이는 LLM이 단순한 "위험 회피" 라벨에 고착되지 않고 복잡한 트레이드오프를 시뮬레이션할 수 있음을 입증한다.
• 견고성: 본 방법론은 동일한 준거점 하에서 이득과 손실이 정의된 경우를 포함하여, 다양한 준거점 및 시나리오 구성에 걸쳐 높은 예측 정확도를 유지했다.

의의 및 주장

본 논문은 자신의 주요 의의가 인간 의사결정 과정을 모델링하기 위한 확장 가능한 대안으로서 생성형 AI 모델의 능력을 입증했다는 점에 있다고 주장한다. 구체적으로는 다음과 같다:

1. 방법론적 타당성: CPT 파라미터를 명시적으로 지정하지 않고도, 행동 프로필을 인코딩하는 표준화된 프롬프팅을 통해 LLM이 비합리적인 인간의 선택 편향과 전망 이론적 효과를 재현할 수 있음을 검증했다.
2. 확장성: 본 접근법은 대규모의 이질적인 행동 데이터를 생성하기 위한 저비용의 확장 가능한 계산 패러다임을 제공하며, 이는 전통적인 에이전트 기반 모델링의 파라미터 추정 병목 현상을 해결한다.
3. 미래 연구를 위한 토대: 본 연구는 LLM 기반 에이전트가 개별적 차이와 집단 수준의 창발적 행동을 포착할 수 있는 차세대 대규모 에이전트 기반 시뮬레이션 및 AI 기반 행동 연구의 유망한 기초를 제공한다고 상정한다.

저자들은 LLM이 편향을 효과적으로 시뮬레이션하지만, 에이전트의 지각 및 추론을 실제 의사결정 과정과 더욱 일치시키기 위해서는 학습, 사회적 상호작용, 다중 모드 도구의 통합이 향후 과제로 남아있음을 언급하며 신중한 입장을 유지했다.