Graph-Augmented LLMs for Swiss MP Ideology Prediction

기술 요약: 스위스 국회의원 이념 예측을 위한 그래프 증강 LLM

문제 제기
국회의원 (MP) 의 이념적 입장을 근사하는 것은 정치학의 근본적인 과제이며, 전통적으로는 입법 행위, 연설, 투표 기록을 분석함으로써 달성되어 왔습니다. 대규모 언어 모델 (LLM) 은 텍스트 소스에서 이러한 입장을 추정하는 데 유망함을 보여주었지만, 기존 접근법은 두 가지 주요 한계를 겪고 있습니다:

1. 독립성 가정: 이들은 일반적으로 국회의원을 독립적인 텍스트 생성자로 취급하여, 의회 시스템의 풍부한 관계적 구조 (예: 공동 발의 네트워크, 위원회 소속, 정당 블록) 를 무시합니다.
2. 데이터 및 의존성 제약: LLM 기반 방법은 저데이터 환경에서 또는 여러 의회 세션에 걸친 장기 의존성이 필요할 때 종종 어려움을 겪습니다.

현재의 방법들은 관계 정보가 표현을 실질적으로 풍부하게 만든다는 증거가 있음에도 불구하고, 의회 내 행위자와 요소들의 복잡한 상호작용이 제공하는"더 넓고 정보적인 그림"을 활용하지 못합니다.

방법론: PG-RAG 프레임워크
저자들은 LLM 예측 파이프라인에 그래프 구조 지식을 통합하도록 설계된 PG-RAG(정치적 그래프 검색 증강 생성) 프레임워크를 제안합니다. 방법론은 세 단계로 진행됩니다:

1. 정치 지식 그래프 (KG) 구축:
   시스템은 입법 과정을 인코딩한 스위스 의회 공보에서 구축된 KG 를 활용합니다. 스키마에는 추구 (Pursuit, 입법 제안) 및 *연설 (Speech)*과 같은 엔티티가 포함되어 있으며, 시간적 의존성으로 연결되고 국회의원, 정당, 위원회에 대한 메타데이터로 풍부해집니다.

2. 서브그래프 추출:
   대상 국회의원에게 대해 시스템은 복잡성에 따라 순서가 정해진 세 가지 패러다임에 따라 KG 에서 특정 서브그래프를 추출합니다:

   • 연설 중심 (SP): 해당 의원과 연결된 모든 연설을 검색합니다. 이는 텍스트 기반선을 제공합니다.
   • 의원 중심 (MP): 정당 소속, 의회 그룹, 위원회 소속, 지역 대표성 등을 포함하는 제도적 관계를 포착하는 1-홉 서브그래프를 추출합니다.
   • 추구 중심 (PR): 해당 의원이 발의하거나 공동 발의한 입법 이니셔티브에 초점을 맞춘 2-홉 서브그래프를 추출합니다.

3. 맥락 인코딩 및 생성:
   추출된 서브그래프는 두 가지 전략을 사용하여 LLM 컨텍스트에 인코딩됩니다:

   • 요약 (S): 서브그래프 삼중항이 자연어 문장으로 직렬화되고 LLM(GPT-5) 에 의해 요약되어 국회의원의 정치적 맥락에 대한 구조화된 텍스트 표현을 생성합니다.
   • 원시-그래프 (R): 서브그래프는 요약 없이 명시적인 관계 유형과 속성을 보존하는 노드와 관계의 원시 집합 (Neo4j 의 JSON 형식) 으로 직접 제공됩니다.

이 프레임워크는 국회의원의 신원, 정당, 그룹 정보를 기반으로 이념 점수 (좌우 척도로 매핑됨) 를 예측하기 위해 이러한 조합 (예: MP-S, MP-R, SP-R) 을 표준 기준선과 비교 평가합니다.

실험 설정

• 데이터셋: 2015~2019 년 제 50 기 입법 기간을 다루는 스위스 국민의회 (하원) 의 데이터로, 225 명의 고유한 국회의원으로 구성됩니다.
• 기준 진실 (Ground Truth): 1,000 건의 기록된 투표의 무작위 샘플에서 도출된 이념 점수로, 2-파라미터 항목 반응 이론 (IRT) 모델을 사용하여 척도화되었습니다.
• 기준선:
  • 순수 (Naive): 전역 평균, 정당 평균, 정당 블록 평균.
  • LLM: 제로샷 및 퓨샷 설정에서 테스트된 GPT-5, Qwen3-8B, Qwen3-32B, 그리고 스위스 LLM 인 Apertus-8B.
• 지표: 평균 절대 오차 (MAE), 평균 제곱 오차 (MSE), 제곱근 평균 제곱 오차 (RMSE), 그리고 스피어만 순위 상관 계수 (RC).

주요 결과

• 성능 향상: 그래프에서 도출된 지식을 통합하면 예측 정확도가 크게 향상됩니다. 제로샷 설정에서 요약이 포함된 의원 중심 서브그래프 (MP-S) 는 GPT-5 기준선인 0.75 의 MAE 를 0.72 로 감소시켰습니다.
• 오차 감소: 그래프 증강 접근법은 MSE 를 크게 감소시켰습니다 (제로샷에서 MP-R 의 경우 1.06 에서 0.74 로). 이는 기준 진실과 크게 벗어난 예측을 수정할 수 있는 능력을 보여줍니다.
• 모델 크기 민감도: 그래프 증강의 이점은 규모가 작은 모델에서 더 두드러졌습니다. Qwen-8B 는 RAG 설정 전반에 걸쳐 16.4% 에서 22.4% 의 RMSE 개선을 보인 반면, GPT-5 는 8.7% 에서 16.5% 의 개선을 보였습니다. 이는 작은 모델이 외부 구조화된 안내에 더 크게 의존함을 시사합니다.
• 서브그래프 효과성: 의원 중심 서브그래프가 모든 시나리오에서 최상의 결과를 낳았습니다. 추구 중심 서브그래프는 성능이 더 낮았는데, 이는 LLM 이 효과적으로 활용하기 어려웠던 더 큰 크기와 복잡성 때문일 가능성이 높습니다.
• 정당별 도전: 모델이 전반적인 일관성을 개선했음에도 불구하고, 특히 **사회민주당 (SP)**에 대해서는 어려움을 겪었습니다. 모델은 SP 의원들을 그들의 투표 행위가 나타내는 것보다 더 우익으로 예측하는 경향이 있었으며, 다른 블록에 비해 정당 내 다양성을 효과적으로 포착하지 못했습니다.

의의 및 주장
이 논문은 그래프 증강 RAG 파이프라인을 통해 도메인 특화 관계 정보를 통합하는 것이 정치 행동 모델링을 향상시킨다고 주장합니다. 구체적으로:

1. 관계 데이터의 가치: 결과들은 원시 텍스트를 넘어 다양한 엔티티와 관계에 대한 정보를 인코딩하는 것이 예측 성능을 향상시킴을 강조하며, 특히 작은 모델에서 그렇습니다.
2. 텍스트를 넘어선 접근: 이 접근법은 의원 간 관계와 제도적 맥락을 포착함으로써 LLM 이 입법 행위를 정의하는 복잡한 웹을 더 잘 이해할 수 있음을 보여줍니다.
3. 향후 방향: 저자들은 겸손하게도 이 방법이 전반적인 성능을 개선하지만, 좌파 정당 (특히 사회민주당) 예측의 지속적인 어려움은 이질적인 의원 행동 때문인지 아니면 정치적 수사학에 대한 LLM 의 내재적 편향 때문인지에 대한 추가 조사가 필요함을 시사한다고 지적합니다.

이 연구는 이러한 방법을 더 넓은 데이터셋으로 확장하고 의회 시스템 내 특정 이념적 뉘앙스 모델링을 정교화하는 향후 연구의 기초를 마련합니다.