SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors

이 논문은 대규모 언어 모델 (LLM) 의 인간 행동 시뮬레이션 능력을 체계적으로 평가하기 위해 20 개의 다양한 데이터셋을 통합한 표준 벤치마크 'SimBench'를 도입하고, 현재 최첨단 모델이 의미 있지만 제한적인 정확도를 보이며 모델 크기와 지식 기반 추론 능력과 강한 상관관계를 가진다는 사실을 규명했습니다.

핵심

🤖 시뮬레이션의 거울: "SIMBENCH"로 보는 AI 의 인간 모방 능력

이 논문은 **"인공지능 (LLM) 이 정말로 인간을 잘 흉내 낼 수 있을까?"**라는 질문에 대한 답을 찾기 위해 진행된 거대한 실험 결과입니다. 연구자들은 이 실험을 위해 **'SIMBENCH'**라는 새로운 시험지를 만들었습니다.

이 내용을 마치 한 편의 드라마처럼, 쉬운 비유와 함께 설명해 드릴게요.

---

1. 왜 이 실험이 필요했을까? (배경)

지금까지 AI 가 인간을 흉내 내는 능력을 평가하는 방법은 마치 각자 다른 규칙으로 축구 경기를 하는 것과 같았습니다.

• A 팀은 "도덕적 선택" 문제로만 점수를 매겼고,
• B 팀은 "경제적 결정" 문제로만 평가했습니다.
• 결과: "누가 더 잘했는지"를 비교할 수 없었습니다.

연구자들은 **"이제부터는 모든 AI 를 같은 규칙, 같은 시험지로 평가하자!"**라고 외치며 SIMBENCH를 만들었습니다. 이는 전 세계 20 개 이상의 다양한 데이터 (도덕, 경제, 심리 등) 를 하나로 합쳐 만든 **최대 규모의 '인간 행동 모방 시험지'**입니다.

2. 시험지 내용: AI 는 어떤 문제를 풀었나?

이 시험지는 크게 두 가지 영역으로 나뉩니다.

• 🌍 전 세계인의 평균 (SimBenchPop): "미국인들은 이 문제에 대해 어떻게 생각할까?"처럼 전체적인 여론을 예측하는 문제입니다.
• 👥 특정 집단의 목소리 (SimBenchGrouped): "30 대 여성은?", "종교가 강한 사람들은?"처럼 구체적인 인구통계학적 그룹의 생각을 예측하는 문제입니다.

총 20 개의 다른 주제 (도덕적 딜레마, 유머 감각, 정치적 신조 등) 에서 1 천만 개가 넘는 질문을 AI 에게 던졌습니다.

3. 주요 발견: AI 의 실력은? (결과)

① "그럭저럭 잘하지만, 완벽하지는 않다"

가장 똑똑한 AI (Claude-3.7 등) 는 100 점 만점에 약 41 점을 받았습니다.

• 비유: AI 는 인간과 똑같은 생각을 하지는 못하지만, 완전히 무작위 (동전 던지기) 로 답하는 것보다는 훨씬 낫습니다. 하지만 여전히 "인간을 완벽하게 대체할 수 있는 수준"은 아닙니다.

② "크기가 중요하지만, 생각하는 시간을 늘려도 소용없다"

• 모델 크기: AI 의 두뇌 (파라미터) 가 클수록 점수가 올라갑니다. 하지만 그 상승세는 점점 느려집니다. (큰 배를 만들수록 빠르지만, 한계가 있음)
• 생각 시간: AI 에게 "천천히 생각해보라 (Chain-of-Thought)"고 지시해도 점수가 오르지 않았습니다. 오히려 인간은 때때로 직관적으로 답하는데, AI 는 너무 논리적으로만 생각하다가 인간답지 않은 답을 내놓는 경우가 많았습니다.

③ "착한 AI vs 다양한 AI" (가장 중요한 발견!)

이 논문에서 가장 놀라운 발견은 AI 의 '교육 방식'이 모방 능력에 악영향을 줄 수 있다는 것입니다.

• 상황: AI 는 보통 "착하게" 가르칩니다 (Instruction Tuning). 즉, 사회적 합의가 있는 질문에는 잘 맞춥니다.
• 문제: 하지만 **사람들 사이에서 의견이 갈리는 복잡한 질문 (고유한 신념, 유머, 정치적 견해 등)**에서는 오히려 점수가 떨어집니다.
• 비유: 마치 모든 학생을 똑같은 '정답'으로 가르친 선생님이, "여러분은 각자 다른 꿈을 가져도 됩니다"라고 말하는 다양한 학생들의 마음을 이해하지 못하는 상황과 같습니다. AI 가 너무 '착하게' 훈련될수록, 인간 사회의 다양하고 복잡한 의견을 제대로 흉내 내지 못합니다.

④ "특정 집단은 특히 어렵다"

AI 는 종교, 이념, 정치적 성향이 뚜렷한 집단의 생각을 예측하는 데 가장 어려움을 겪었습니다. 반면, 성별이나 나이에 따른 차이는 상대적으로 잘 파악했습니다.

4. 왜 이 결과가 중요한가?

이 연구는 AI 개발자들에게 중요한 경고와 방향을 제시합니다.

1. 단순한 크기 늘리기만으로는 부족하다: AI 를 더 크게 만드는 것만으로는 인간을 완벽하게 모방할 수 없습니다.
2. '다양성'을 보존하는 훈련이 필요하다: AI 를 '착하게' 만드는 과정에서 **인간 사회의 복잡한 다양성 (다양한 의견, 모호함)**을 지워버리지 않도록 해야 합니다.
3. 지식과 추론 능력이 핵심: AI 가 인간 행동을 잘 모방하려면, 단순히 대화만 잘하는 게 아니라 깊은 지식과 복잡한 추론 능력이 있어야 합니다.

🎯 한 줄 요약

"지금의 AI 는 인간을 흉내 내는 데 '그럭저럭' 잘하지만, 너무 '착하게' 훈련될수록 인간 사회의 복잡한 다양성을 놓치고 있습니다. 앞으로는 AI 가 '다양한 인간'을 더 잘 이해할 수 있도록, 새로운 교육 방식이 필요합니다."

이 논문은 AI 가 단순히 "정답을 맞추는 기계"가 아니라, **"인간 사회의 복잡한 마음을 이해하는 도구"**로 발전하기 위해 우리가 어떤 방향을 잡아야 하는지 보여주는 나침반과 같습니다.

기술 요약

SIMBENCH: 대규모 언어 모델의 인간 행동 시뮬레이션 능력 벤치마킹 (기술 요약)

이 문서는 ICLR 2026 에 발표된 논문 "SIMBENCH: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors"의 기술적 요약입니다. 이 연구는 대규모 언어 모델 (LLM) 이 인간 행동을 얼마나 정확하게 시뮬레이션할 수 있는지를 평가하기 위한 최초의 대규모 표준 벤치마크를 제안하고, 이를 통해 다양한 모델들의 성능과 한계를 체계적으로 분석합니다.

1. 문제 정의 (Problem)

• 배경: 사회과학 및 행동과학 분야에서 인간 실험과 설문조사는 필수적이지만 비용이 많이 들고 시간이 소요됩니다. LLM 은 이를 저비용으로 대체하거나 보완할 수 있는 잠재력을 가집니다.
• 현황: 기존 연구들은 특정 작업이나 소수의 모델에 국한된 맞춤형 평가 (bespoke tasks) 를 수행하여 결과가 파편화되어 있고 비교가 불가능했습니다.
• 핵심 문제: LLM 이 인간 행동을 얼마나 충실히 (faithfully) 반영하는지, 그리고 언제, 어떻게, 왜 시뮬레이션이 성공하거나 실패하는지에 대한 통합된 프레임워크와 표준화된 평가 체계가 부재했습니다.

2. 방법론 (Methodology)

2.1 데이터 큐레이션 및 구성

• SIMBENCH 구축: 사회 및 행동 과학 레포지토리 (Harvard Dataverse, ICPSR 등) 와 관련 문헌을 기반으로 20 개의 다양한 데이터셋을 통합했습니다.
• 데이터 특성:
  • 작업 다양성: 도덕적 딜레마, 경제 게임, 심리 평가, 사실적 문제 해결 등 인간 행동의 다양한 측면 (의사결정, 자기평가, 판단, 문제해결) 을 포함합니다.
  • 참가자 다양성: 6 대륙 130 개 이상의 국가에서 수집된 데이터를 포함하며, 서구권 (Anglosphere West) 데이터는 전체의 27.9% 에 불과하여 글로벌 대표성을 확보했습니다.
  • 선정 기준: 대규모 참가자 수, 재배포 가능한 라이선스, 단일 턴 질문, 객관식/서열 응답 형식, 영어 (또는 검증된 번역) 등을 엄격하게 적용했습니다.

2.2 벤치마크 통합 및 형식화

• 질문 정규화: 모든 데이터셋을 객관식 (Multiple-choice) 형식으로 통일하고, 토큰 확률 추출을 용이하게 하기 위해 표준화된 키 매핑을 적용했습니다.
• 응답 집계: 개별 응답을 그룹 수준 (Group-level) 의 확률 분포로 변환하여 LLM 이 특정 인구통계학적 집단의 응답 분포를 예측하는 능력을 평가합니다.
  • SimBenchPop: 전체 인구를 대상으로 한 기본 시나리오 (7,167 개 테스트 케이스).
  • SimBenchGrouped: 특정 인구통계학적 속성 (연령, 성별, 종교 등) 을 조건으로 한 세부 그룹 시나리오 (6,343 개 테스트 케이스).
• 평가 지표: **총 변동 거리 (Total Variation Distance, TVD)**를 기반으로 한 점수 $S$를 사용합니다.
  • $S = 100 \times (1 - \frac{TVD(P, Q)}{TVD(P, U)})$
  • 여기서 $P$는 인간 정답 분포, $Q$는 모델 예측 분포, $U$는 균일 분포 (무작위 추측) 입니다. 점수 100 은 완벽한 일치, 0 은 무작위 추측 수준을 의미합니다.

2.3 실험 설정

• 모델: 상업용 및 오픈 웨이트, 베이스 및 인스트럭션 튜닝 모델 등 총 45 개의 최신 LLM 을 평가했습니다 (0.5B ~ 405B 파라미터).
• 추출 방법:
  • 베이스 모델: 첫 번째 토큰의 로짓 (logits) 에서 직접 토큰 확률을 추출.
  • 인스트럭션 튜닝 모델: 최근 연구에 따라 "구술된 분포 (Verbalized distributions, 예: "옵션 A: 30%, 옵션 B: 70%")"를 프롬프트로 요청하여 JSON 형식으로 출력받음 (이 방법이 토큰 확률보다 훨씬 우월함이 검증됨).

3. 주요 결과 (Key Results)

3.1 일반 시뮬레이션 능력 (RQ1)

• 성능: 최상위 모델 (Claude-3.7-Sonnet) 의 점수는 40.80/100으로, 의미 있는 시뮬레이션 신호를 보이지만 여전히 인간 정답과 거리가 멀고 균일 분포에 더 가깝습니다.
• 모델 간 차이: 상위 모델과 하위 모델 간의 성능 차이는 통계적으로 유의미하며, 많은 모델이 균일 분포 (무작위) 보다 못한 점수 (음수) 를 기록했습니다.

3.2 모델 특성의 영향 (RQ2)

• 모델 크기: 파라미터 수 증가에 따라 시뮬레이션 능력이 **로그-선형 (log-linear)**으로 증가합니다.
• 추론 시간 계산 (Inference-time Compute): CoT(Chain-of-Thought) 프롬프팅이나 추론 예산 증가 (o4-mini, Claude 등) 는 시뮬레이션 성능을 유의미하게 향상시키지 못했습니다. 오히려 일부 모델에서는 성능이 하락했습니다. 이는 인간의 직관적/휴리스틱한 반응과 CoT 의 과도한 합리적 추론 간의 불일치 때문으로 추정됩니다.

3.3 작업 선택의 영향 (RQ3)

• 작업별 편차: 표준 설문 (OpinionQA 등) 에서는 상대적으로 잘 수행하지만, 위험 선택 (Choices13k) 이나 도덕적 딜레마 (MoralMachine) 와 같은 행동 선택 과제는 성능이 급격히 떨어집니다. 이는 LLM 의 "가치 - 행동 간극 (Value-Action Gap)"을 시사합니다.
• 비정형 태도: 마키아벨리즘, 음모론, 유머 평가 등 표준 정렬 (Alignment) 목표와 상충되는 태도를 측정하는 데이터셋에서는 성능이 극도로 낮거나 음수였습니다.

3.4 정렬 - 시뮬레이션 트레이드오프 (RQ4)

• 발견: 인스트럭션 튜닝은 저엔트로피 (합의가 높은) 질문에서는 성능을 향상시키지만, 고엔트로피 (다양한 의견이 존재하는) 질문에서는 성능을 저하시킵니다.
• 원인: 정렬 (RLHF) 은 모델이 단일 "최적" 모드 (Mode-seeking) 에 확률을 집중시키도록 유도하여, 인간 집단의 다중 모드적 (pluralistic) 인 다양성을 억제합니다.
• 인과 분석: 인스트럭션 튜닝의 효과는 긍정적 직접 효과 (명령 수행 능력 향상, +6.46 점) 와 부정적 간접 효과 (엔트로피 감소로 인한 다양성 상실, -1.74 점) 로 분해됩니다.

3.5 인구통계학적 그룹별 성능 (RQ5)

• 특정 그룹 시뮬레이션: 일반 인구 대비 특정 인구통계학적 그룹 (특히 종교/이념적 신념) 을 시뮬레이션할 때 성능이 크게 저하됩니다 ($\Delta S \approx -9.91$).
• 성별/연령: 성별이나 연령과 같은 기본 속성보다 종교나 정치적 성향과 같은 복잡한 속성에서 모델의 한계가 더 두드러집니다.

3.6 일반 능력과의 상관관계 (RQ6)

• 지식 기반 추론: 시뮬레이션 능력은 **지식 집약적 추론 (MMLU-Pro, GPQA)**과 가장 강하게 상관관계 ($r=0.939$) 가 있습니다.
• 약한 상관관계: 일반 대화 능력 (Chatbot Arena) 이나 좁은 수학 문제 해결 능력 (OTIS AIME) 과는 상관관계가 낮습니다. 이는 인간 행동 시뮬레이션이 단순한 대화나 계산이 아닌 복잡한 사회·행동적 맥락 이해에 기반함을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 최초의 대규모 표준 벤치마크: 20 개의 다양한 데이터셋과 45 개의 모델을 포괄하는 최초의 표준화된 LLM 인간 행동 시뮬레이션 벤치마크인 SIMBENCH를 공개했습니다.
2. 체계적 평가 프레임워크: 그룹 수준의 응답 분포 예측을 통해 LLM 의 시뮬레이션 충실도를 정량화하고, 모델 크기, 추론 시간, 정렬 전략 등의 영향을 체계적으로 분석했습니다.
3. 핵심 발견:
   • 현재 최상위 LLM 의 시뮬레이션 능력은 "의미 있지만 modest(보통)" 수준임을 확인.
   • 정렬 - 시뮬레이션 트레이드오프 발견: 인스트럭션 튜닝이 합의적인 질문에는 도움이 되지만, 의견이 분열된 질문에는 해가 됨.
   • 추론 시간의 한계: CoT 나 추론 예산 증가는 시뮬레이션 성능 향상에 도움이 되지 않음.
4. 개방형 인프라: 코드, 데이터, 웹사이트를 GitHub 및 HuggingFace 를 통해 공개하여 재현 가능한 연구를 촉진했습니다.

5. 의의 및 결론 (Significance)

• 사회과학 연구의 혁신: LLM 을 통한 인간 행동 시뮬레이션이 ad-hoc 한 연구를 넘어 측정 가능하고 체계적인 과학으로 발전할 수 있는 기반을 마련했습니다.
• 모델 개발 방향 제시: 단순히 정렬 (Alignment) 을 강화하는 것만으로는 충실한 시뮬레이션이 불가능하며, 분산 보존 (distribution-preserving) 기술이나 지식 기반 추론 능력을 결합한 하이브리드 접근법이 필요함을 시사합니다.
• 윤리적 주의: 현재 LLM 의 시뮬레이션 능력은 제한적이므로, 하류 작업 (정책 결정 등) 에서 인간을 대체하는 데 신중해야 하며, 특히 소수 또는 특정 인구집단의 행동을 왜곡할 위험이 있음을 경고합니다.

이 논문은 LLM 이 인간 사회를 얼마나 잘 이해하고 모방할 수 있는지에 대한 근본적인 질문을 던지며, 더 정확하고 공정한 AI 시뮬레이터 개발을 위한 중요한 이정표가 됩니다.