Calibrating Behavioral Parameters with Large Language Models

이 논문은 거대언어모델(LLM)을 행동 경제학적 파라미터를 측정하는 도구로 활용하여, 모델의 체계적인 편향을 프로필 기반 보정(calibration)을 통해 인간의 행동 벤치마크 수준으로 정밀하게 조정하고 이를 자산 가격 결정 모델에 적용해 실증적 타당성을 검증하는 프레임워크를 제시합니다.

핵심

1. 핵심 아이디어: AI는 '심리 실험용 조절 다이얼'이다

우리가 사람을 대상으로 심리 실험을 한다고 상상해 보세요. "손해를 보면 얼마나 괴로워하시나요?"라고 물어보면, 사람들은 대답을 잘 못하거나(자기 객관화 실패), 질문을 받을 때마다 기분이 달라져서(측정 오차) 정확한 수치를 얻기가 매우 어렵습니다.

이 논문의 저자들은 생각을 바꿨습니다. "사람을 직접 조사하는 대신, AI에게 특정 성격의 '가면(Profile)'을 씌워보자!"

예를 들어, AI에게 "너는 지금부터 손해 보는 걸 죽기보다 싫어하는 겁쟁이 투자자야"라는 가면을 씌우는 겁니다. 그러면 AI는 그 가면을 쓰고 아주 일관되게 행동합니다. 연구자들은 이 AI의 행동을 관찰해서 **"아, 이 정도 가면을 씌우니까 인간의 손실 회피 성향이 이 정도 수치로 나타나는구나!"**라고 역으로 계산해 내는 것이죠.

즉, AI를 **'심리적 특성을 마음대로 돌릴 수 있는 정밀한 조절 다이얼이 달린 실험 장치'**로 만든 것입니다.

---

2. 실험 결과: AI는 원래 '너무 바른 생활 사나이'였다

연구진이 확인해 보니, 아무런 가면을 쓰지 않은 기본 상태의 AI는 **'지나치게 이성적이고 바른 생활 사나이'**였습니다.

• 인간: "아, 저 주식 오를 것 같아! (근거 없이 추격 매수)"
• 기본 AI: "데이터를 분석했을 때, 현재 가격은 적정 가치입니다. 추격 매수는 비합리적입니다."

인간은 욕심도 부리고, 남들 따라 사고, 손해 보면 괴로워하며 실수하지만, AI는 기본적으로 교과서적인 정답만 말하려는 경향(Rationality Bias)이 있었습니다.

하지만 연구진이 **'욕심쟁이 가면', '겁쟁이 가면', '유행 추종자 가면'**을 씌우자, AI는 놀라울 정도로 인간과 비슷하게, 혹은 인간보다 더 강력하게 심리적 오류를 범하기 시작했습니다.

---

3. 이 실험이 왜 중요한가요? (경제적 가치)

"AI가 가짜 심리로 연기하는 게 무슨 의미가 있어?"라고 물으실 수 있습니다. 하지만 이 연구의 진짜 목적은 **'시뮬레이션'**에 있습니다.

연구진은 이렇게 만든 '심리 오류를 가진 AI들'을 가상의 주식 시장에 풀어놓았습니다.

• 이성적인 AI들만 있는 시장: 주가는 아주 평온하게 움직입니다. (변동성 없음)
• 심리 오류 가면을 쓴 AI들이 있는 시장: 주가가 갑자기 폭등했다가(모멘텀), 나중에 훅 떨어지는(반전) 등 실제 주식 시장에서 일어나는 복잡하고 역동적인 현상이 그대로 재현되었습니다.

이것은 우리가 AI를 이용해 "만약 사람들이 이런 심리를 가졌다면, 미래의 경제 위기는 어떻게 올까?"를 아주 정밀하고 안전하게 테스트할 수 있음을 의미합니다.

---

4. 요약하자면 (비유 마무리)

이 논문은 마치 **'심리 실험용 가상 현실(VR) 시뮬레이터'**를 개발한 것과 같습니다.

1. 기존 방식: 실제 사람을 데려와서 실험함 (비싸고, 변수가 많고, 통제가 안 됨).
2. 이 논문의 방식: AI라는 완벽한 가상 캐릭터를 만들고, 그 캐릭터에게 '탐욕', '공포', '편견'이라는 성격 스위치를 달아줌.
3. 결론: 이 스위치를 조절하며 가상 시장을 돌려보니, 실제 세상의 경제 움직임과 매우 흡사한 결과가 나옴. 따라서 AI는 미래 경제를 예측하고 실험하는 아주 강력한 '디지털 실험실'이 될 수 있음!

기술 요약

[기술 요약] 대규모 언어 모델(LLM)을 이용한 행동 경제학 파라미터의 교정(Calibration)

1. 문제 정의 (Problem Statement)

자산 가격 결정 모델(Asset Pricing Models)에서 손실 회피(Loss Aversion), 허딩(Herding), 외삽(Extrapolation)과 같은 **행동 파라미터(Behavioral Parameters)**는 시장의 변동성과 모멘텀을 설명하는 핵심 요소입니다. 그러나 기존의 측정 방식은 다음과 같은 한계가 있습니다.

• 실험실 실험: 표본의 선택 편향, 측정 오차, 확장성(Scalability) 부족 문제.
• 구조적 추정(Structural Estimation): 선호도, 신념, 제약 조건이 뒤섞여 있어 개별 파라미터를 분리하여 식별(Identification)하기 어려움.
• 설문 조사: 자기 보고식(Self-reported) 데이터의 낮은 신뢰도와 실제 행동 간의 낮은 상관관계.

본 논문은 이러한 파라미터들을 **"측정 가능한 객체"**로 다루기 위해, LLM을 단순한 경제적 행위자(Agent)가 아닌, 실험적으로 조절 가능한 **"교정된 측정 도구(Calibrated Measurement Instruments)"**로 활용하는 새로운 프레임워크를 제안합니다.

2. 연구 방법론 (Methodology)

2.1 핵심 개념: 프로필 기반 교정 (Profile-based Calibration)

연구진은 LLM에게 특정 행동 특성을 가진 '페르소나(Profile)'를 프롬프트로 부여하는 것을 **실험적 처치(Experimental Treatment)**로 간주합니다. 즉, 프롬프트(처치) $\rightarrow$ 잠재적 파라미터($\theta$) 변화 $\rightarrow$ 의사결정($d$)의 인과 관계를 이용합니다.

2.2 검증 프레임워크 (Validation Framework)

교정이 유효하기 위해 다음 네 가지 조건을 정의했습니다:

1. 단조성(Monotonicity): 프로필의 강도가 세질수록 파라미터 값도 일관되게 변해야 함.
2. 범위 커버리지(Range Coverage): 교정을 통해 도달 가능한 범위가 인간의 벤치마크(Human Benchmark)를 포함해야 함.
3. 안정성(Stability): 동일한 프로필에 대해 반복 측정 시 결과가 일정해야 함.
4. 일관성(Coherence): 서로 다른 실험에서 측정된 파라미터 간의 이론적 관계(예: 손실 회피와 처분 효과의 상관관계)가 유지되어야 함.

2.3 실험 설계

• 모델: GPT-4o, GPT-4o-mini, Claude-3.5-Haiku, Gemini-2.5-Pro.
• 데이터: 훈련 데이터에 포함되지 않도록 설계된 24,000개의 완전 합성(Fully Synthetic) 금융 시나리오.
• 대상 파라미터: 손실 회피($\lambda$), 처분 효과(DR), 과잉 확신($\kappa$), 허딩(w), 대표성 편향, 확률 가중치($\gamma$), 앵커링($\rho$), 외삽($\theta$) 등 8가지.

3. 주요 결과 (Key Results)

3.1 기본 모델의 합리성 편향 (Rationality Bias)

기본 상태(Rational Profile)의 LLM은 인간 벤치마크에 비해 체계적인 합리성 편향을 보였습니다. 즉, 인간보다 훨씬 더 합리적으로 행동하며, 손실 회피나 허딩 현상이 매우 약하게 나타났습니다. 이는 LLM의 학습 데이터가 편향을 '피해야 할 오류'로 규정하는 경향이 있기 때문으로 분석됩니다.

3.2 교정 성공 및 측정 범위 (Calibration Success)

프로필 기반 교정을 통해 다음과 같은 성과를 거두었습니다:

• 강력한 검증(Strong Validation): 손실 회피, 허딩, 외삽, 앵커링은 교정을 통해 인간의 벤치마크 수준에 도달하거나 이를 초과하는 안정적인 파라미터 값을 생성했습니다.
• 제한적 검증: 처분 효과(Disposition Effect)와 대표성 편향은 프로필에 반응은 하지만, 그 크기가 인간의 실제 수치에 비해 현저히 낮아(약 87% 부족) LLM이 감정적 애착이나 서사적 강렬함을 완전히 재현하지 못함을 보여주었습니다.

3.3 외부 타당성 검증 (External Validity)

교정된 파라미터(특히 외삽 파라미터 $\theta$)를 **에이전트 기반 자산 가격 결정 모델(ABM)**에 삽입한 결과, 교정된 에이전트들이 실제 시장에서 관찰되는 단기 모멘텀(Momentum)과 장기 반전(Reversal) 패턴을 생성함을 입증했습니다. 이는 LLM의 교정된 파라미터가 단순한 심리적 수치가 아니라 경제적 실질을 가진 데이터임을 의미합니다.

4. 연구의 의의 및 결론 (Significance & Conclusion)

4.1 학술적/기술적 기여

1. 측정 도구로서의 LLM: LLM을 인간을 흉내 내는 '시뮬레이터'가 아니라, 통제된 실험이 가능한 **'측정 인프라'**로 재정의했습니다.
2. 행동 파라미터의 실험적 조작: 기존에 관찰만 가능했던 잠재적 파라미터를 프롬프트를 통해 실험적으로 조작(Manipulation)할 수 있음을 보여주었습니다.
3. ABM과의 연결: 미시적 행동 파라미터가 어떻게 거시적 시장 현상(모멘텀 등)으로 전이되는지를 연결하는 방법론을 제시했습니다.

4.2 한계 및 경계 조건

본 연구는 LLM이 인지적/계산적(Cognitive/Computational) 측면의 편향(신념 업데이트, 휴리스틱 적용 등)은 잘 측정하지만, 정서적/사회적(Affective/Social) 측면(공포, 후회, 사회적 압박, 실제 금전적 이해관계)의 편향은 측정하는 데 한계가 있음을 명확히 규정했습니다.

결론적으로, 이 논문은 행동 재무학 연구에서 LLM을 활용하여 정밀하고 확장 가능한 실험 환경을 구축할 수 있는 체계적인 방법론을 제공합니다.