Elite Polarization in European Parliamentary Speeches: a Novel Measurement Approach Using Large Language Models

기술적 요약: 유럽 의회 연설에서의 엘리트 양극화

문제 제기
비교정치학은 오랫동안 정치 엘리트 간의 상호 감정적 적대감이 대중 수준의 불만족보다 민주주의를 더 빠르게 불안정하게 만들 수 있음을 인식해 왔습니다. 그러나 기존 측정 도구는 이러한 특정 현상을 직접 포착하지 못합니다. 현재 비교 측정치는 주로 대중의 정서적 양극화 (정당에 대한 대중의 감정) 나 엘리트의 이념적 거리 (정책 입장) 중 하나에 초점을 맞춥니다. 공식 담론 내에서 한 정치 행위자가 다른 행위자에게 표현하는 특정 감정인 지향적 상호 엘리트 평가에 관한 방법론적 격차가 존재합니다. 설문 조사 집계와 같은 전통적 방법은 빈도와 국가 범위에 제한을 받으며, 수동 코딩이나 사전 기반 자연어 처리 (NLP) 는 여러 언어와 수십 년에 걸친 수백만 개의 의회 발언을 분석하는 데 필요한 확장성, 교차 언어 능력, 그리고 문맥적 뉘앙스를 결여하고 있습니다.

방법론
본 논문은 의회 연설을 분석하기 위해 대규모 언어 모델 (LLM) 을 활용하는 새로운 측정 접근법인 엘리트 양극화 점수 (EPS) 를 제시합니다. 방법론은 다단계 파이프라인을 포함합니다:

1. 분석 단위 분해: 전체 연설에 단일 점수를 부여하는 전통적 감정 분석과 달리, 이 접근법은 분석 단위를 개별 언급으로 분해합니다. LLM 은 정치인이 다른 정치 행위자를 언급하는 모든 사례를 식별합니다.
2. 행위자 - 대상 - 감정 추출: 표준화된 프롬프트와 사고 연쇄 (Chain-of-Thought) 추론을 사용하여 LLM 은 다음을 추출합니다:
   • 화자와 대상 행위자.
   • 언급의 특정 문맥.
   • 대상 행위자에게 특히 향해진 감정 (그들의 상황 평가와 행위자 평가를 구분함).
   • 감정은 −5 (강하게 싫어함) 에서 +5 (강하게 좋아함) 까지 척도로 점수화됩니다.
3. 표준화 및 엔티티 링크: "총리", "오르반", "피데스"와 같은 이질적인 언급은 정당 쌍 (dyads) 으로 표준화됩니다. 이 과정은 결정론적 조회 스크립트와 LLM 지원 퍼지 매칭을 결합하여 주어진 국가 - 연도 컨텍스트 내에서 명명된 엔티티를 특정 정당을 해결합니다.
4. 집계: 시스템은 타당 정당의 평가에 대한 가중 평균을 계산합니다.
   • 정당 수준: 평가는 대상 정당이 언급된 빈도인 참조 비율 (reference share) 로 가중치가 부여됩니다.
   • 의회 수준: 정당 수준 점수는 득표율 가중치를 사용하여 집계됩니다.
   • 최종 점수는 부호가 반전되어 더 높은 값이 더 큰 부정성 (양극화) 을 나타내도록 합니다.
5. 검증 프로토콜: 저자들은 LLM 지원 퍼지 매칭을 통해 구축된 "슈퍼골드 (supergold)" 연합 표준을 사용합니다. 인간 코더와 AI 가 동일한 연설 샘플에 주석을 달며, 어느 쪽이든 식별한 유효 언급의 연합이 기준 진실 (ground truth) 로 작용합니다. 이는 인간이 놓친 유효 언급을 식별한 AI 를 처벌하지 않도록 합니다.

주요 기여

• 개념적 혁신: EPS 는 양극화 유형론에서 이전에 측정되지 않았던 사분면을 차지합니다: 연설 내 지향적 타당 평가에 기반한 엘리트 수준의 정서적 양극화입니다. 이는 이념적 거리, 일반적 감정, 무례함, 그리고 대중 정서적 양극화와 구별됩니다.
• 방법론적 확장성: 이 접근법은 작업별 훈련이나 미세 조정 없이 여러 언어 (헝가리어, 이탈리아어, 영어) 로 작동하는 사전 훈련된 LLM(특히 GPT-4o 및 오픈 가중치 대안) 을 활용합니다. 이를 통해 엘리트 양극화에 대한 최초의 실용적이고 다국어이며 종단적 패널이 가능해졌습니다.
• 기술적 검증: 이 연구는 LLM 이 인간 코더보다 높은 민감도 (일부 설정에서 인간 코더보다 더 많은 언급을 회수) 와 높은 감정 일치도 (10 점 척도에서 평균 절대 오차 0.85~1.48) 를 달성할 수 있음을 보여줍니다. 결정적으로, 모든 검증 샘플에서 거짓 발견률 (FDR) 이 0 이었으며, 이는 AI 가 식별한 모든 언급이 진정한 텍스트 앵커를 가지고 있음을 확인시켜 줍니다.

결과
이 방법론은 영국 (19872020), 헝가리 (20022023), 이탈리아 (2013~2022) 의 의회 코퍼스에 적용되었습니다.

• 헝가리: EPS 는 정권의 consolidation 과 정당 체계의 재구성을 포착합니다. 양극화는 집권권력 강화의 초기 단계 (20102011) 가 아니라 20182019 년에 정점을 찍었으며, 이는 측정치가 즉각적인 제도 장악보다는 야당의 반응과 시스템의 새로운 균형점을 더 잘 반영함을 시사합니다.
• 영국: 지수는 U 자형 추세를 보입니다 (1997 년 이후 감소, 2010 년 이후 증가). 이는 대중 정서적 양극화 및 이념적 양극화 지수와 경험적으로 구별됩니다. 특히 브렉시트 기간 동안 대중 및 이념적 긴장이 높았음에도 불구하고 엘리트 양극화는 급증하지 않았는데, 이는 의회 수사학이 제도적 규범에 의해 여전히 제약받고 있음을 나타냅니다.
• 이탈리아: 이 측정치는 연정 역학에 매우 민감합니다. 과거의 라이벌이 함께 정부에 진입할 때 (예: 드라기 통일 정부) 타당 부정성은 감소하고, 그들이 야당으로 복귀할 때 증가합니다.
• 검증: 이 접근법은 다양한 유형의 양극화를 성공적으로 구분합니다. 영국 사례에서 EPS 는 후속 연도에 대중 정서적 양극화와 낮은 상관관계를 보여, 이것이 구별되는 엘리트 수준의 현상을 측정함을 확인시켜 줍니다.

의의 및 주장
본 논문은 엘리트 양극화 점수가 엘리트 적대감의 원인과 결과에 대한 향후 연구를 위한 확장 가능하고 국가 간 기초를 제공한다고 주장합니다.

• 독특성: 이 측정치는 기존 지표와 개념적 및 경험적으로 구별되며, 미국 중심 데이터나 대중 설문에 의존하지 않고 민주주의 안정성을 연구할 새로운 렌즈를 제공합니다.
• 실현 가능성: 이 연구는 LLM 이 이전에 불가능했던 규모로 정교한 정치 텍스트 분석 (행위자 탐지 및 감정 귀속) 을 수행할 수 있음을 입증하여, 비싸고 수동적인 코딩이나 좁은 단일 국가 연구를 넘어설 수 있음을 보여줍니다.
• 미래 활용성: 저자들은 이 측정치가 엘리트 양극화를 종속 변수 (선거나 위기 등 이를 생성하는 요인 연구) 와 독립 변수 (민주주의 후퇴나 포퓰리즘 격상 등 이를 생성하는 요인 연구) 로 모두 다룰 수 있게 한다고 봅니다. 이 파이프라인은 ParlaMint 코퍼스를 통해 모든 29 개 EU 회원국으로 확장되도록 설계되었으며, 이는 잠재적으로 20 년간의 EU 전체 패널을 생성할 수 있습니다.