논문 요약: GPT 대화 에이전트를 통한 집단적 인간 선택 행동 및 편향 모방

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 인간과 유사한 대화를 생성할 수 있지만, **인지 편향 (Cognitive Bias)**을 단순히 재현하는 것을 넘어, 실제 인간이 처한 **맥락적 요인 (예: 인지 부하, 대화의 복잡성)**과 상호작용할 때 편향된 의사결정 행동을 얼마나 정확하게 모방하고 예측할 수 있는지에 대한 질문은 여전히 미해결 상태입니다.

기존 연구들은 LLM 이 인지 편향을 가지고 있는지, 혹은 단일 프롬프트 (single-shot) 환경에서 편향을 보이는지 확인하는 데 집중했습니다. 그러나 실제 인간 - 에이전트 상호작용은 대화의 흐름, 이전 대화의 복잡성 (인지 부하), 그리고 개인의 특성이 결합된 동적인 환경에서 발생합니다. 본 연구는 다음과 같은 핵심 문제를 제기합니다:

• LLM 은 대화 맥락에서 인간의 편향된 의사결정 행동을 얼마나 정확하게 시뮬레이션할 수 있는가?
• LLM 은 대화의 복잡성 (인지 부하) 과 같은 맥락적 요인이 편향 (특히 현상 유지 편향, Status Quo Bias) 에 미치는 영향을 인간과 유사하게 재현할 수 있는가?
• LLM 은 개별 사용자의 대화 기록 (디모그래픽 및 이전 대화) 을 기반으로 개별 수준의 행동을 예측할 수 있는가?

2. 연구 방법론 (Methodology)

2.1 인간 실험 (Human Experiment)

연구자들은 인간 참여자 (N=1,100) 를 대상으로 한 실험을 설계하여 인간 행동의 기준선 (Baseline) 을 확립했습니다.

• 실험 설계: 2(대화 복잡도: 단순 vs. 복잡) × 3(현상 유지 조건: 중립, 현상 유지 A, 현상 유지 B) 의 요인 설계.
• 대화 에이전트: GPT-4o Mini 를 기반으로 한 챗봇을 사용하여 대화형 의사결정 시나리오를 진행했습니다.
• 인지 부하 조작:
  • 단순 대화 (Simple Dialogue): 선호도를 묻는 간단한 이진 (Yes/No) 질문으로 구성.
  • 복잡한 대화 (Complex Dialogue): 여러 엔티티 간의 중첩된 참조 (nested referential structure) 와 산술 비교, 기억 과제를 포함하여 인지 부하를 유도.
• 의사결정 시나리오: Samuelson 과 Zeckhauser 의 고전적 연구를 기반으로 한 3 가지 시나리오 (예산 배분, 투자 포트폴리오, 대학 일자리 선택) 를 적용하여 **현상 유지 편향 (Status Quo Bias)**을 측정했습니다.
• 측정 지표: NASA-TLX(인지 부하 자기 보고), 기억 회상 과제, 반응 시간 등을 통해 조작의 유효성을 검증했습니다.

2.2 에이전트 실험 (Agent Experiments)

인간 실험의 동일한 절차를 LLM 에이전트를 통해 재현했습니다.

• 입력 데이터: 각 인간 참여자의 인구통계학적 정보 (Prolific 데이터) 와 의사결정 시나리오 이전의 전체 대화 기록 (Transcript) 을 LLM 에 제공했습니다.
• Human-Likeness 프롬프트 (HL) 수준: LLM 의 인간 유사성 지시를 3 단계로 변형하여 실험했습니다.
  • HL1: "연구 참여자입니다" (최소한의 역할 부여).
  • HL2: "일상생활에서 자연스럽게 답변하는 인간 참여자입니다" (자연스러운 행동 유도).
  • HL3: "인지 편향 (프레임, 현상 유지, 앵커링 등) 에 매우 취약한 인간처럼 행동하세요" (편향 명시적 지시).
• 모델: GPT-4.1, GPT-4.1-mini, GPT-5, GPT-5-mini 사용.
• 평가: LLM 의 예측이 실제 인간 참여자의 선택과 일치하는지 (개인 수준 예측 정확도) 와 집단 수준에서 편향 패턴 (효과 크기) 을 재현하는지 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 대화 맥락에서의 인간 편향 모방 평가: 기존 단일 프롬프트 평가를 넘어, 대화의 복잡성 (인지 부하) 이 편향에 미치는 상호작용을 포함한 LLM 의 모방 능력을 체계적으로 평가한 최초의 연구 중 하나입니다.
2. 인간 행동 기준선 확립: 챗봇을 통한 대화형 환경에서 현상 유지 편향이 어떻게 발현되는지에 대한 대규모 인간 데이터 (N=1,100) 를 확보하고, 인지 부하가 편향의 강도에 미치는 영향을 실증했습니다.
3. 프롬프트 민감성 분석: LLM 이 편향을 재현하는 방식이 프롬프트의 지시 수준 (Human-Likeness) 에 따라 어떻게 달라지는지, 그리고 어떤 프롬프트가 인간 행동과 가장 잘 정렬되는지 규명했습니다.
4. 개별 vs. 집단 수준 예측: LLM 이 개별 사용자의 특정 행동 패턴을 예측하는 능력과 집단적 편향 경향을 모방하는 능력 사이의 차이를 분석했습니다.

4. 주요 결과 (Results)

4.1 인간 실험 결과

• 현상 유지 편향 확인: 챗봇을 통한 대화 환경에서도 현상 유지 편향이 명확하게 관찰되었습니다 (예산 배분 및 대학 일자리 시나리오에서 통계적으로 유의미한 편향 발생).
• 인지 부하의 영향: 복잡한 대화 (높은 인지 부하) 를 거친 참여자들은 단순 대화 참여자보다 현상 유지 편향이 약간 더 강하게 나타났으나, 통계적으로 유의미한 상호작용 효과는 발견되지 않았습니다 (즉, 인지 부하가 편향을 결정적으로 변화시키지는 않음).
• 투자 시나리오: 투자 포트폴리오 시나리오에서는 현상 유지 편향이 관찰되지 않았습니다.

4.2 LLM 에이전트 실험 결과

• 개인 수준 예측 정확도: LLM 은 인구통계학적 정보와 대화 기록을 기반으로 인간 참여자의 개별 선택을 약 **68% (GPT-4.1, HL2 기준)**의 정확도로 예측했습니다. 그러나 프롬프트 교란 실험 (Human 응답을 랜덤 텍스트로 교체) 을 통해, LLM 이 개별 사용자의 미세한 대화 단서보다는 전반적인 시나리오 패턴에 더 의존하여 예측함을 발견했습니다.
• 집단 수준 편향 재현:
  • HL1 및 HL2 (자연스러운 지시): LLM 은 인간 실험에서 관찰된 편향 패턴을 높은 정밀도 (Precision = 1.0) 로 재현했습니다.
  • HL3 (편향 명시적 지시): LLM 은 편향을 과장하여 재현했습니다 (False Positive 발생). 인간에게 편향이 없었던 시나리오 (투자) 에서도 LLM 은 편향을 보였으며, 이는 "과적합 (Over-alignment)" 현상으로 해석됩니다.
• 모델 간 차이: GPT-4.1-mini가 인간 행동과 맥락적 상호작용 (대화 복잡도에 따른 편향 변화) 을 가장 잘 모방한 모델로 나타났습니다. 반면 GPT-5 계열 모델은 편향 패턴을 재현하는 데 있어 인간과 더 큰 괴리를 보였습니다.
• 맥락적 상호작용 모방: LLM 은 복잡한 대화 조건에서 인간과 유사하게 편향의 강도가 변하는 패턴을 재현하는 데 어려움을 겪었으나, HL3 조건에서는 오히려 과도하게 반응하는 경향을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 기반의 대화형 에이전트가 인간의 편향된 의사결정을 시뮬레이션하는 데 있어 잠재력이 있지만 한계도 있음을 시사합니다.

• 적응형 AI 시스템 설계: LLM 은 인간과 유사한 편향을 보일 수 있으므로, 이를 활용한 적응형 시스템은 사용자의 인지 부하 수준에 따라 대화 전략을 조정하거나 (예: 복잡한 상황에서는 단순화), 편향이 과도하게 작용할 수 있는 상황을 투명하게 제시함으로써 사용자를 보호할 수 있습니다.
• 시뮬레이션의 신뢰성: LLM 을 사회과학 실험이나 정책 시뮬레이션에 사용할 때, 단순히 편향을 재현하는 것뿐만 아니라 맥락적 요인과의 상호작용을 얼마나 정확하게 포착하는지가 중요합니다. 특히 "편향을 명시적으로 지시하는 프롬프트"는 오히려 인간과 다른 과장된 행동을 유발할 수 있으므로 주의가 필요합니다.
• 미래 연구 방향: LLM 이 개별 사용자의 고유한 행동 특성을 학습하고 예측하는 능력은 여전히 제한적이며, 더 다양한 인지 편향과 실제 세계의 복잡한 대화 맥락 (금융, 의료 등) 에서의 검증이 필요합니다.

요약하자면, 이 논문은 LLM 이 인간의 편향적 행동을 모방할 수 있음을 입증했으나, 그 모방의 정확도는 프롬프트 설계와 모델 아키텍처에 크게 의존하며, 개별 수준의 미세한 행동 예측보다는 집단적 경향성 재현에 더 적합함을 보여줍니다.