Persona-driven Simulation of Voting Behavior in the European Parliament with Large Language Models

이 논문은 대규모 언어 모델 (LLM) 을 활용하여 유럽 의회 (European Parliament) 의 의원 (MEP) 개인별 투표 행동을 시뮬레이션하고 예측하는 방법을 제안합니다. 저자들은 LLM 이 기본적으로 진보적 좌파 성향을 보이지만, '페르소나 (Persona)' 프롬프팅을 통해 특정 정치인의 정체성을 부여하면 실제 투표 행동을 얼마나 정확하게 모사할 수 있는지 분석했습니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 정의

• LLM 의 정치적 편향: 기존 연구들은 LLM 이 기본적으로 진보적이고 좌파 중심의 정치적 성향을 띠고 있음을 보여줍니다.
• 페르소나 프롬프팅의 가능성: 특정 사회경제적 그룹이나 정체성을 부여하는 프롬프팅 (Persona Prompting) 을 통해 LLM 이 기본 모델과 다른 관점을 가질 수 있다는 연구들이 있었으나, 복잡한 정치 시스템 (유럽 의회) 에서 개인 정치인의 투표 행동을 얼마나 정확히 예측할 수 있는지는 명확하지 않았습니다.
• 유럽 의회의 복잡성: 유럽 의회 의원은 국가 정당과 유럽 정당 그룹 (Political Group) 의 이중 소속을 가지며, 때로는 그룹의 공식 입장과 다른 개인적 판단을 내립니다. 이러한 복잡한 의사결정 구조를 LLM 이 얼마나 잘 이해하고 시뮬레이션할 수 있는지 검증하는 것이 목표입니다.

2. 방법론 (Methodology)

• 데이터 수집:
  • 2024 년 유럽 의회의 47 개의 주요 표결 (Roll-call votes) 데이터를 수집했습니다. 총 710 명의 의원으로부터 27,770 개의 개별 투표 결정 (찬성, 반대, 기권) 을 확보했습니다.
  • 의원 정보는 영어 위키백과, 위키데이터, 유럽 의회 공식 웹사이트에서 추출하여 페르소나를 구성했습니다.
  • 제안된 정책 (Proposal) 에 대한 정보는 각 정책 그룹 대표의 연설문을 활용했습니다. 편향을 줄이기 위해 연설자 신원을 익명화하고, 찬성/반대 논쟁을 균형 있게 제시했습니다.
• 모델 선택:
  • 데이터 유출 (Data Leakage) 을 방지하기 위해 2024 년 1 월 16 일 이전의 학습 데이터를 가진 모델을 선택했습니다.
  • 주력 모델: Llama3-70B, Llama3-8B (서구권 모델) 및 Qwen2.5-72B, Qwen2.5-7B (중국산 모델).
• 프롬프트 구성:
  • 페르소나: 두 가지 전략 사용. 1) 인구통계학적/정치적 속성 (이름, 성별, 나이, 국적, 소속 정당, 유럽 정당 그룹 등) 을 나열한 속성 기반 프롬프트. 2) 위키백과 요약본을 활용한 긴 컨텍스트 프롬프트.
  • 추론 전략: 1) Reasoning (r): 먼저 투표 이유를 서술한 후 선택지를 고름. 2) No Reasoning (nr): 바로 선택지를 출력.
  • 출력 형식: FOR(찬성), AGAINST(반대), ABSTENTION(기권) 중 하나로 제한.

3. 주요 결과 (Results)

• 전체 성능:
  • 가장 우수한 모델인 Llama3-70B에 속성 기반 페르소나와 추론 (Reasoning) 전략을 적용했을 때, 가중치 F1 점수 0.793을 기록하여 개인 투표 예측을 성공적으로 수행했습니다.
  • 이는 단순 다수결 기준 (Majority Baseline, F1 0.666) 보다 월등히 높은 성능입니다.
• 모델 크기 및 전략의 영향:
  • 더 큰 모델 (70B/72B) 이 작은 모델 (8B/7B) 보다 성능이 좋았습니다.
  • 추론 (Reasoning) 전략은 전반적인 성능을 향상시켰으며, 특히 Qwen-7B 와 같은 작은 모델에서 '기권 (ABSTENTION)'과 '반대 (AGAINST)' 예측 능력을 크게 개선시켰습니다.
• 그룹별 예측 정확도:
  • 중도 좌파 및 진보적 그룹 (S&D, Renew, Greens/EFA) 의 투표는 매우 정확하게 예측되었습니다.
  • 정치적 극단 (좌익 GUE/NGL, 우익 ECR, ID) 에 위치한 그룹의 예측 정확도는 상대적으로 낮았습니다. 이는 LLM 의 기본 편향과 극단적 정치 성향 간의 괴리 때문입니다.
• 기권 (Abstention) 예측의 한계:
  • 모든 모델이 '기권'을 예측하는 데 어려움을 겪었습니다. 실제 기권은 전략적 결정이나 개인적 사정 등 복잡한 요인이 작용하지만, LLM 은 이를 충분히 반영하지 못했습니다.
• 속성 분석 (Ablation Study):
  • 국가 정당 (National Party) 정보가 가장 강력한 예측 변수였습니다. 이름만 입력했을 때보다 국가 정당 정보를 추가했을 때 성능이 크게 향상되었으며, 이는 현재 정치학 연구 (의원의 주된 충성 대상은 국가 정당임) 와 일치합니다.
  • 모델의 추론 과정에서 '국가 정당'이 가장 빈번하게 언급되었습니다.

4. 주요 기여 및 의의

• 페르소나 기반 정치 시뮬레이션의 새로운 기준 설정: 유럽 의회와 같은 다당제, 다층적 정치 구조에서 LLM 을 이용한 개인 투표 예측에 대한 첫 번째 체계적인 벤치마크를 제시했습니다.
• 편향 완화 및 제어 가능성 입증: LLM 의 내재된 정치적 편향을 페르소나 프롬프팅과 추론 과정을 통해 효과적으로 제어하여, 모델이 기본 성향과 다른 정치인의 입장을 모사할 수 있음을 보였습니다.
• 실용적 데이터 접근성: 방대한 과거 투표 데이터나 소셜 미디어 데이터 없이도, 공개된 의원 프로필과 정책 논의 내용만으로 높은 정확도의 예측이 가능함을 증명했습니다.
• 오픈 소스 제공: 연구에 사용된 페르소나 데이터셋과 코드 (GitHub) 를 공개하여 향후 정치 시뮬레이션 연구의 기반을 마련했습니다.

5. 한계점 및 윤리적 고려사항

• 기권 예측의 어려움: 전략적 기권이나 비합리적 요인을 반영하지 못해 기권 예측 정확도가 낮습니다.
• 편향된 데이터: 유럽 의회의 다양한 언어를 기계 번역으로 처리하는 과정에서 발생할 수 있는 편향이 존재합니다.
• 윤리적 리스크: LLM 이 실제 정치인을 사칭하여 허위 정보를 생성하거나, 특정 정치적 의제를 조작하는 데 악용될 수 있는 위험이 있습니다. 저자들은 이를 민주적 과정에 대한 위협으로 지적하며 윤리적 사용을 강조했습니다.

결론적으로, 이 연구는 LLM 이 페르소나 프롬프팅을 통해 복잡한 정치적 의사결정을 모사할 수 있는 강력한 도구임을 보여주었으며, 특히 국가 정당이 투표 행동을 결정하는 핵심 요소임을 재확인했습니다. 이는 향후 정치학 연구 및 정책 분석에 LLM 을 활용하는 새로운 방향을 제시합니다.