기술적 요약: 인구통계 기반 에이전트 시뮬레이션을 통한 한국어 LLM 정치적 편향 진단

1. 문제 제기

대규모 언어 모델 (LLM) 은 인간 정치 행동을 시뮬레이션하는 데 increasingly 활용되고 있지만, 선거 예측의 유용성을 훼손하는 체계적인 정치적 편향을 나타냅니다. 이전 연구 (예: Feng et al. [4]) 는 내재적 프로빙 (intrinsic probing) 을 사용하여 영어 LLM 에서의 진보적 - 좌파적 성향을 문서화했으나, 이러한 편향이 서로 다른 정치 구조를 가진 비영어권 유권자에게도 일반화되는지, 혹은 시뮬레이션과 현실 간의 차이를 유발하는 구체적인 메커니즘이 무엇인지는 여전히 불분명합니다.

한국의 정치 상황은 지속적인 지역주의 (경상도의 보수 강세 vs 전라도의 진보 강세), 거대한 중도 블록 (유권자의 약 48%), 잦은 정당명 변경, 그리고 세대 간 균열로 인해 시뮬레이션에 있어 독특한 도전 과제를 제시합니다. 기존 인구통계 기반 시뮬레이션 프레임워크는 주로 미국을 위해 개발되어 왔으며, LLM 이 비영어권 정치 역학을 어떻게 처리하는지에 대한 이해에는 공백이 존재합니다. 본 논문은 두 가지 핵심 질문에 답합니다: (i) 한국어 LLM 은 영어 모델과 동일한 방향성 편향 패턴을 보이는가? (ii) 시뮬레이션과 실제 선거 결과 간의 격차를 유발하는 구체적인 실패 메커니즘은 무엇인가?

2. 방법론: Dynamo-K 프레임워크

저자들은 진단 도구로 설계된 인구통계 기반 LLM 에이전트 시뮬레이션 프레임워크인 Dynamo-K를 소개합니다. 이 파이프라인은 여섯 개의 계층을 통해 작동합니다:

1. 인구통계 기반 (Census Grounding): 에이전트는 MDIS 2020 인구조사 2% 마이크로데이터 (794,342 건) 에서 가중치 비례 표본추출을 통해 합성되며, 연령, 성별, 지역, 교육, 혼인 상태를 아우르는 5,790 개의 비어 있지 않은 인구통계 셀을 포괄합니다.
2. 신념 주입 (Belief Seeding): 정치적 성향은 한국사회조사 (KGSS) 누적 데이터 (2003~2023) 에서 도출된 조건부 확률에 기반하여 할당되며, 인구통계학적 특성을 진보, 중도, 또는 보수 성향으로 매핑합니다.
3. 갤럽 보정 (Gallup Calibration): KGSS 의 방법론적 경향성 (모호한 응답자를 양극단으로 밀어붙이는 경향) 을 보정하기 위해, 보정 어댑터가 에이전트 성향을 갤럽 코리아의 장기 기준치 (보수 26%, 중도 48%, 진보 26%) 에 맞게 재분배합니다. 여기에는 '경계선' 에이전트의 재할당과 신념 점수의 미세 조정이 포함됩니다.
4. LLM 시뮬레이션 (ORC): 각 에이전트는 선거 시나리오를 받고 관찰 - 추론 - 결론 (ORC) 파이프라인을 통해 투표 결정을 추론합니다. 시스템 프롬프트는 에이전트의 페르소나를 명시적으로 인코딩하며, 여기에는 인구통계 정보와 편향을 완화하도록 설계된 행동 설명이 포함됩니다 (예: 중도 유권자에게 AI 가 아닌 프로파일링된 유권자로서 추론하도록 지시하고, 양 진영에 투표할 확률이 동등함을 강조).
5. 집계 (Aggregation): 결과는 국가 수준과 하위 국가 (17 개 광역시도) 수준에서 집계되며, 1,000 개의 재표본 (resamples) 에서 부트스트랩 신뢰구간이 생성됩니다.
6. 평가 (Evaluation): 성능은 6 개의 공인된 한국 선거 (2017~2025) 에 대해 평균 절대 오차 (MAE), 승자 예측 정확도, 그리고 Wasserstein 유사도를 사용하여 측정됩니다.

본 연구는 네 가지 독립적으로 훈련된 모델을 평가합니다: Qwen3-30B-A3B, EXAONE-4.0-32B, Llama-3.1-8B, 그리고 DeepSeek-R1-8B.

3. 주요 기여 및 발견

A. 체계적 실패 모드

저자들은 세 가지 재현 가능한 실패 모드와 하나의 모델 의존적 발견을 식별합니다:

1. 중도 에이전트 내의 진보 편향: 완화 조치 없이 중도 에이전트는 97% 의 확률로 진보 후보에게 투표합니다. 인구통계학적 조건부만으로도 이 수치는 82% 로 유지됩니다. 명시적 프롬프트 완화 (균형 잡힌 설명, AI 관점 배제 지시) 는 이를 59% 로 낮추어 전체 MAE 를 36.8%p 에서 7.1%p 로 크게 감소시킵니다. 이는 영어권 연구 결과와 일치하는 진보적 성향을 확인하지만, 거대한 중도 블록을 시뮬레이션할 때의 치명적인 영향을 부각시킵니다.
2. 제 3 당의 중요성 붕괴: LLM 은 생존 가능한 제 3 당 후보들 간에 표를 분배하는 데 어려움을 겪습니다. 2017 년 선거에서 시뮬레이션은 경쟁 구도를 축소하여 최종 승리자 (문재인) 를 71.3% 의 지지를 받는 것으로 예측한 반면, 중도 후보 (안철수) 는 실제 지지율 21.4% 에 비해 0.9% 로 과소평가했습니다.
   • 메커니즘 분해: 이 붕괴는 두 가지 구별된 메커니즘에 의해 주도됩니다: 중요성 실패 (Salience Failure) (EXAONE 와 같은 모델이 추론 텍스트에서 후보를 언급하지 못함) 와 결정 편향 (Decision Bias) (Qwen3 와 같은 모델은 후보를 언급하지만 그들에게 투표하지 못함).
   • 재구성 해결책: 시나리오 재구성 (후보 순서 변경, 공약 확장) 만으로 안철수 후보의 예측 지지율을 0.9% 에서 18.8% 로 회복시켜, 아키텍처 변경이나 재훈련 없이 MAE 를 62% 감소시켰습니다.
3. 지역 양극화 붕괴: 일반 선거에서 일관된 보수 편향으로 보이는 현상은 실제로는 보수 및 진보 강세 지역 모두에 대한 양방향 과소평가입니다. 오차는 중도 유권자가 우세한 경합 지역에 집중됩니다.
4. 상반된 성향 모델 편향: 2025 년 대통령 선거에서 Qwen3 는 +11.8%p 의 진보 편향을 보인 반면, EXAONE 은 −17.2%p 의 보수 편향을 보였습니다. 이는 방향성 편향이 크기가 유사한 모델들 사이에서도 모델에 따라 크게 의존적임을 보여줍니다.

B. 보정 및 검증

• OSLR 어댑터: 모델 의존적 편향을 해결하기 위해 저자들은 Orientation × Sido Logistic Reweighting (OSLR) 어댑터를 제안합니다. 이 학습된 재가중치 메커니즘은 훈련 및 테스트 시에 후보자 이름을 전혀 사용하지 않으며, 안정적인 특성 (정당 성향, 지역) 만을 의존합니다.
• 콜드 홀드아웃 테스트: OSLR 어댑터는 2022 년 지방선거 (완전히 홀드아웃됨) 에서 평가되었습니다. 모델 예측의 분열로 인해 승자를 완벽하게 예측하지는 못했으나, 단순 앙상블의 국가 MAE 를 2.29%p 에서 1.57%p 로 감소시켜, 학습된 재가중치 구조가 구조적으로 다른 선거에도 전이됨을 입증했습니다.
• 성능: 시스템은 세 번의 대통령 선거 (3/3) 에서 승자를 모두 정확히 예측했으며, 0.73%p 차이로 치열했던 2022 년 선거에서 최선의 경우 MAE 는 2.1%p 였습니다. 그러나 정당 대리 추상화를 사용한 일반 선거 승자 예측은 0/2 로 정확하지 않았으나, 2024 년 선거에 대한 선거구 수준의 개념 증명 (proof-of-concept) 은 결과를 정확히 반전시켰습니다.

C. 비용 및 확장성

이 파이프라인은 에이전트 5,000 명당 약 **$0.25**의 비용으로 운영되며, 전문 여론조사 ($50,000 이상) 보다 약 두 자릿수 정도 저렴합니다. 저자들은 이를 여론조사 대체품이 아닌 "대규모 진단 (diagnosis at scale)" 도구로 규정하며, 전통적 방법으로는 경제적 비현실적인 신속한 시나리오 탐색 (예: "만약에" 후보 탈퇴 시나리오) 과 민감도 분석을 가능하게 합니다.

4. 의의 및 주장

본 논문은 Dynamo-K가 집계된 정확도 요약 뒤에 숨겨져 있는 LLM 정치 행동의 구체적이고 재현 가능한 실패 모드를 표면화하는 진단 도구로 기능한다고 주장합니다.

• 진단 타당성: 이 프레임워크는 실패를 중요성 실패와 결정 편향과 같은 구체적인 메커니즘으로 국한하여 프롬프트 재구성이나 재가중치와 같은 표적 개입을 가능하게 합니다.
• 비영어권 일반화: 본 연구는 영어 LLM 에 대해 문서화된 "진보적 성향"이 한국 유권자 결정 시뮬레이션에서 어떻게 나타나는지에 대한 최초의 경험적 특성을 제공하며, 편향이 존재하지만 지역 정치 구조 (예: 거대한 중도 블록) 와 독특하게 상호작용함을 확인합니다.
• 한계: 저자들은 주장에 대해 겸손하며, 표본 크기 (6 개 선거) 가 강력한 통계적 결론을 내리기에는 작다고 지적합니다. 2020 년 데이터를 2017/2025 년 선거에 사용하는 인구통계 시점 불일치, 동적 신념 업데이트가 없는 정적 에이전트, 사회적 상호작용 효과의 부재 등을 한계로 인정합니다. 시스템은 여론조사를 대체하는 것이 아니라 신속한 분류 및 메커니즘 진단을 위한 보완적 도구임을 명시적으로 밝힙니다.

이 연구는 LLM 이 대통령 선거의 승자 예측에서 경쟁력 있는 정확도를 달성할 수 있지만, 일반 선거와 제 3 당 역학을 모델링하는 데에는 여전히 상당한 과제가 남아있으며, 선거구 수준의 모델링과 추가적인 교차언어 연구가 필요하다고 결론짓습니다.