Distribution-First Population Simulation: Collapse, Calibration, and Recall in Non-WEIRD LLM Persona Modeling

당신이 버스 요금 인상과 같은 새로운 규칙에 대해 도시 전체의 사람들이 어떻게 반응할지 예측하려고 한다고 상상해 보십시오. 과거에 과학자들은 사람들에게 직접 의견을 물었을 것입니다. 하지만 오늘날, 거대 언어 모델(LLM)이라는 초지능형 컴퓨터 프로그램의 등장으로 연구자들은 더 기발한 시도를 하고 있습니다. 바로 컴퓨터에게 수천 명의 서로 다른 사람이 되어보라고 요청하는 것입니다. 그들은 컴퓨터에게 '페르소나'(직업, 연령, 성격이 포함된 가상의 정체성)를 부여하고, "당신이라면 어떻게 하겠습니까?"라고 묻습니다. 만약 당신이 1,000명의 가짜 사람을 대상으로 이 작업을 수행한다면, 당신은 '합성 인구(synthetic population)'를 얻게 됩니다. 이 디지털 군중이 실제 군중처럼 행동하여, 단 한 명의 인간도 인터뷰하지 않고도 사회를 이해할 수 있게 되기를 바라는 것입니다. 하지만 여기서 큰 질문이 생깁니다. 만약 당신이 컴퓨터에게 다양한 사람들을 흉내 내라고 요청한다면, 그것은 실제로 다양한 집단을 만들어낼까요, 아니면 모두가 똑같이 생각하는 거대하고 지루한 메아리 방(echo chamber)이 되어버릴까요?

이 논문은 바로 그 미스터리를 파헤칩니다. 연구진은 단순히 미국의 습성을 복제하는 것을 피하기 위해 터키의 데이터를 사용하여 두 가지 방식으로 군중을 시뮬레이션하는 방법을 테스트했습니다. 그들은 '독립적 에이전트(independent agent)' 방식(모든 가짜 사람이 각자 독립적으로 생각하는 방식)이 실제로 작동하는지, 아니면 고장 난 것인지 확인하고자 했습니다. 또한 문제를 해결할 더 나은 방법을 찾고자 했습니다. 그들이 발견한 것은 다소 충격적이었습니다. 인기 있는 방식인 수천 개의 독립적인 AI 에이전트를 실행하는 방법은 근본적으로 결함이 있다는 것입니다. 다양한 군중을 만드는 대신, AI 에이전트들은 마치 첫 번째 양을 따라 벼랑 끝으로 떨어지는 양 떼처럼, 모두가 하나의 답변으로 몰려듭니다. 그러나 이 논문은 더 저렴하고 영리한 해결책을 제시합니다. AI에게 한 명의 사람이 되라고 요청하는 대신, 통계학자가 되어 군중 전체의 행동을 한 번에 설명하라고 요청하는 것입니다. 이 방법은 훨씬 더 잘 작동하지만, 그 나름의 특이점도 가지고 있습니다.

위대한 AI 군중의 붕괴

연구진은 터키의 실제 인구 2,414명의 설문 데이터를 사용하여 테스트를 설정했습니다. 그들은 이 사람들의 '디지털 트윈'을 만들었습니다. 그런 다음, 이 디지털 사람들이 질문에 어떻게 답할지 알아보기 위해 두 가지 경로를 시도했습니다.

경로 B: 독립적 에이전트 (고장 난 방식)
이 방법에서 컴퓨터는 각각의 디지털 사람을 별개의 캐릭터로 취급합니다. 캐릭터 1에게 "당신의 생각은 무엇입니까?"라고 묻고, 그다음 캐릭터 2에게 "당신의 생각은 무엇입니까?"라고 묻는 식의 과정을 수천 번 반복합니다. 아이디어는 충분히 다양한 캐릭터가 있다면 그들의 답변이 자연스럽게 실제 삶과 일치하도록 퍼져 나갈 것이라는 점입니다.
하지만 결과는 재앙이었습니다. 의견의 분포를 보이는 대신, AI 에이전트들은 하나의 '기본값(default)' 답변으로 붕괴되었습니다. 1,000명의 사람에게 저녁 메뉴로 무엇을 원하는지 물었을 때, 피자, 타코, 샐라드 등 다양한 답변이 나오는 대신, 컴퓨터가 그것이 가장 '안전'하거나 '정답'이라고 생각하여 85%의 사람들이 갑자기 모두 똑같은 맛없는 샌드위치를 원하게 되는 상황과 같습니다.
수치는 극명했습니다:

• '붕괴'는 엄청났습니다. 실제 데이터에서는 답변이 분산되어 있었으나(엔트로피 1.46), AI 시뮬레이션에서는 답변이 너무 빽빽하게 뭉쳐서 다양성 점수가 0.77로 떨어졌습니다.
• 가장 인기 있는 옵션을 선택한 사람의 비율은 실제 세계의 36%에서 AI 세계의 69%로 급증했습니다.
• 이 현상은 네 가지 시나리오와 다섯 가지 컴퓨터 '시드(random starting points)' 전반에서 나타났으며, 이는 우연이 아니었습니다. AI 에이전트들이 실제 사람들이 가진 다양한 취향과 예산을 무시한 채, 너무나도 '정답'을 찾으려 애쓴 결과였습니다.

경로 A: 언어적 샘플링 (더 나은 방식)
연구진은 '언어적 샘플링(Verbalized Sampling, VS)'이라는 다른 기술을 시도했습니다. AI에게 한 명의 사람이 되라고 하는 대신, AI에게 여론 조사 전문가 역할을 맡겼습니다. 그들은 이렇게 말했습니다. "한 사람을 위한 답을 고르지 마세요. 대신, 전체 군중의 확률 분포를 알려주세요. 몇 퍼민트의 사람들이 옵션 A를 선택할까요? 옵션 B는요? 옵션 C는요?"
이 방법은 놀라운 효과를 보였습니다. 이 방법은 AI가 너무 지루해지는 '과소 분산(under-dispersion)' 문제를 해결했습니다. AI는 실제 인간 데이터와 훨씬 더 유사한 현실적인 답변 분포를 내놓기 시작했습니다.

• '충실도(fidelity)' 점수(AI가 현실에 얼마나 가까운지를 나타내는 척도)는 세 가지 유형의 AI 모델 전반에서 6~10포인트 상승했습니다.
• 하지만 함정이 있었습니다. '너무 지루함' 문제를 해결하려다 보니, AI가 반대로 너무 '혼란스러워지는' 쪽으로 치우쳤습니다. AI는 답변을 너무 넓게 퍼뜨려 실제보다 더 높은 다양성을 보이는 '과다 분산(over-dispersion)' 현상을 보였습니다. 이는 마치 똑같은 노래를 두 번 이상 틀지 않으려고 애쓰다가 결국 아무도 들어본 적 없는 노래를 틀어버리는 DJ와 같습니다.

설문 답변이 실제 행동이 되지 않을 때

연구진은 더 어려운 질문을 던졌습니다. 만약 우리가 설문 답변을 교정한다면, 그것이 AI가 현실 세계에서 좋은 결정을 내린다는 것을 의미할까요? 그들은 '교정된 설문(survey-calibrated)' AI 페르소나를 이스탄불에서 베를린으로 가는 항공권을 예약하는 과업에 투입했습니다. 그들은 AI가 자신의 가상 소득에 따라 저렴한 항공편을 선택할지, 아니면 편안한 항공편을 선택할지 확인하고자 했습니다.

결과는 성공과 실패의 혼재였습니다.

• 긍정적인 면: AI는 소득 수준을 따랐습니다. 저소득 페르소나는 대부분(100%) 가장 저렴한 옵션을 선택했고, 고소득 페르소나는 32%의 확률로 편안한 옵션을 선택했습니다. 성격 특성이 결정에 "스며들었다(leak)"는 것을 보여주었습니다.
• 부정적인 면: AI는 여전히 '가장 저렴한 기본값' 편향에 지배당하고 있었습니다. 소득에 관계없이 약 80%의 경우, AI는 그냥 가장 저렴한 것을 선택했습니다. 설문 데이터가 AI의 타고난 검소함(frugality)을 완전히 압도하지 못한 것입니다.
• 함정: 연구진은 또한 측정 방식에서의 교묘한 오류를 발견했습니다. 처음에 그들은 AI가 맥락(예: 비행 시간)을 인지하지 못한다고 생각했습니다(장거리 비행에서 추가 식사를 구매하지 않았기 때문). 하지만 그들은 자신들이 함정을 팠다는 것을 깨달았습니다. 장거리 비행은 또한 믿기 힘들 정도로 비쌌던 것입니다! AI가 눈이 먼 것이 아니라, 똑똑하게 돈을 아끼고 있었던 것이었습니다! 테스트 방식을 수정하자, AI는 맥락을 완벽하게 이해할 수 있음을 보여주었습니다.

기억인가 추론인가: "회상(Recall)" 문제

AI 연구에서 큰 우려는 다음과 같습니다: "AI가 실제로 생각하고 있는 것인가, 아니면 단순히 훈련 데이터의 답을 기억하고 있는 것인가?" 연구진은 이를 '기억 공격(memorization attack)'으로 테스트했습니다. 그들은 사람들의 가치관을 바탕으로 선거 결과를 예측하도록 했습니다.

• AI의 '언어적 샘플링' 방식은 국가 선거 결과를 거의 완벽하게 맞혔습니다(실제 결과와 0.051의 차이로 일치).
• 하지만 자세히 들여다보니, AI는 미래를 시뮬레이션하는 것이 아니라 과거를 기억하고 있었습니다. 선거 결과는 이미 알려진 과거의 사실이었습니다. AI는 추론한 것이 아니라 단순히 답을 '회상(recalled)'한 것이었습니다.
• 특정 집단이 어떻게 투표할지 예측하려고 했을 때, AI는 실패했습니다. AI는 두 정당의 차이를 구분하지 못했는데, AI의 '가치 공간(value space)' 안에서는 두 정당의 지지자들이 똑같이 보였기 때문입니다. 이는 AI가 거시적인 그림에는 능숙할지 몰라도, 개인의 세부 사항에는 어려움을 겪는다는 것을 시사합니다.

해결책: 배우가 아니라 통계학자가 되어라

그렇다면 결론은 무엇일까요? 이 논문은 수천 명의 독립적인 AI 에이전트를 실행하여 인구를 시뮬레이션하는 것은 잘못된 도구라고 주장합니다. 그것은 너무 비용이 많이 들며(많은 컴퓨터 자원을 소모함), 항상 지루한 단일 답변으로 붕괴됩니다.

대신, 저자들은 '분포 우선(Distribution-First)' 접근 방식을 제안합니다:

1. 한 번에 요청하기: '언어적 샘플링' 방법을 사용하여 AI에게 단 한 번의 호출로 전체 군중의 분포를 요청하십시오. 이것은 저렴하고 빠릅니다.
2. 일관되게 할당하기: 그런 다음, 그 분포와 개인 프로필을 바탕으로 개별 캐릭터에게 구체적인 답변을 할당하십시오.
3. 라우터 사용하기: 만약 특정 순간에 AI가 깊이 생각해야 한다면, '예산 인식 라우터(budget-aware router)'를 사용하여 언제 비싼 AI를 호출하고 언제 단순한 규칙을 사용할지 결정하십시오. 연구진은 이 라우터의 정직함을 측정하는 방법을 찾아냈으며, 0.805라는 좋은(하지만 완벽하지는 않은) 점수를 얻었습니다.

요약하자면, 군중을 시뮬레이션하고 싶다면 AI에게 1,000명의 서로 다른 사람이 되라고 요구하지 마십시오. 대신 AI에게 군중이 어떻게 행동하는지 알고 있는 똑똑한 통계학자가 되라고 요청하십시오. 그러면 그 지식이 당신의 시뮬레이션을 안내하게 될 것입니다. 이 방법은 더 저렴하고 정확하며, 디지털 군중 속의 모든 사람이 똑같이 생각하게 되는 함정을 피할 수 있습니다.