기술 요약: Polistemics – 정치 및 선거의 정보 중재자로서의 LLM 평가

문제 정의

대규모 언어 모델(LLM)이 전통적인 검색 엔진이나 투표 권고 애플리케이션(VAA)을 대체하거나 보완하며 시민들의 주요 정보 중재자로서 기능함에 따라, 이들이 정치 정보를 책임감 있게 중재하는지 평가하기 위한 표준화된 프레임워크가 부재한 상황이다. 기존의 평가들은 이 과업을 재생(reproduction)(모델이 정당의 입장을 올바르게 회상하는지 확인하는 것)으로 간주해 왔으나, 본 연구는 이를 중재(mediation)(불완전한 조건 하에서 모델이 정보를 어떻게 선택, 프레이밍, 전달하는지)의 관점에서 바라본다. 이러한 간과로 인해 결정적인 인식론적 차원들, 즉 모델이 부재하거나 모호하거나 모순된 정보를 어떻게 처리하는지, 그리고 근거 없는 확신이나 설득적 유도를 피함으로써 시민의 **인식론적 주체성(epistemic agency)**을 보존하는지 여부가 다뤄지지 못하고 있다.

방법론: POLISTEMICS 벤치마크

저자들은 선거 맥락에서 정치 정보의 중재자로서 LLM을 평가하기 위해 이론에 기반한 벤치마크인 POLISTEMICS를 도입한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다.

1. 이론적 프레임워크: 인식론적 겸손 (Epistemic Modesty)

본 평가는 시민의 인식론적 주체성 개념에서 도출된 인식론적 겸손이라는 규범적 표준에 근거한다. 이 프레임워크는 책임 있는 중재를 위해 요구되는 세 가지 핵심 행동 특성을 정의한다.

• 충실성 (Faithfulness): 제공된 문맥을 왜곡, 누락 또는 조작 없이 정확하게 재현함.
• 공정성 (Impartiality): 부적절한 가치 평가적 유도, 프레이밍 또는 규범적 판단 없이 정보를 전달함 (정치적 수사의 다원적 성격을 보존함).
• 인식론적 교정 (Epistemic Calibration): 증거의 한계에 부합하는 확신 수준을 표현함 (예: 증거가 없거나 모호할 때 자제하거나 불확실성을 알림).

2. 실험 설계

본 벤치마크는 실제 정보 검색의 복잡성을 시뮬레이션하는 통제된 실험을 통해 이러한 특성들을 구체화한다.

• 데이터 소스: 2025년 독일 연방의회 선거(7개 정당, 38개 성명)와 2025년 네덜란드 하원 선거(8개 정당, 30개 성명)의 공식 정당 입장 데이터를 사용하며, 이는 Wahl-O-Mat 및 StemWijzer에서 가져왔다.
• 정보 환경 (IEs): 모델의 강건성을 테스트하기 위해 다섯 가지 통제된 변형 문맥을 구축한다:
  • 베이스라인 (Baseline): 명확하고 단일한 출처의 증거.
  • 불확정적 조건 (Inconclusive Conditions): 부재 (Absent) (증거 없음), 모호 (Vague) (수사적 회피로 인해 입장이 불분명함), 모순 (Contradictory) (반대 정당으로부터의 상충하는 증거).
  • 간섭 조건 (Interfering Conditions): 노이즈 (Noisy) (증거가 방해 요소들 사이에 묻혀 있음), 역사실 (Counterfactual) (모델의 내부 사전 지식과 충돌하는 증로).
• 평가 대상 모델: 공공 챗봇을 구동하는 세 가지 최첨단 모델: Qwen3.6 Flash, GPT-5.4, Claude Sonnet 4.6.
• 평가 프로토콜: 세 개의 서로 다른 판정 모델(Gemini 3 Flash, DeepSeek V4, MiMo-V2.5)로 구성된 패널을 사용하는 LLM-as-Judge 프레임워크를 사용하여, 세 가지 루브릭에 걸친 13개 하위 질문(SQs)에 대해 출력을 점수화한다. 점수는 루브릭별 **준수 지수(Adherence Index)**와 최종 **인식론적 겸손 지수(EMI)**로 집계된다.

3. 절제 연구 (Ablation Studies)

편향의 원인을 격리하기 위해 저자들은 표적 절제 연구를 수행했다.

• 라벨 익명화 (Label Anonymization): 정당 이름을 일반적인 라벨로 교체하여, 격차가 정당의 정체성(사전 지식) 때문인지 아니면 증거 때문인지 테스트한다.
• 출력 언어 (Output Language): 증거는 모국어로 유지하되 영어 출력을 강제하여, 번역이 정치적 수사의 "정제(sanitization)"에 영향을 미치는지 테스트한다.

주요 결과

세 모델을 대상으로 한 2025년 독일 및 네덜란드 선거 평가 결과, 전체적인 점수는 높지만 특정 조건 하에서의 체계적인 실패를 은폐하고 있음이 드러났다.

1. 전반적인 성능

• Claude가 92.6%로 가장 높은 인식론적 겸손 지수를 기록했으며, GPT(91.2%)와 Qwen(87.1%)이 그 뒤를 이었다.
• 공정성이 98%로 가장 높은 점수를 받은 루브릭이었으며, 인식론적 교정이 87%로 가장 어려운 과제였다.
• 모델들은 간섭 조건(Noisy, Counterfactual)에서 천장 효과(near-ceiling) 수준의 성능을 보였으며, 이는 현재 모델들이 방해 요소나 상충하는 외부 증거에 대해 강건함을 시사한다.

2. 불확정적 환경에서의 실패 양상

불확정적 조건에서 유의미한 성능 저하가 발생했으며, 이는 뚜렷한 실패 양상을 보여준다.

• 증거 부재 (Absent Evidence): GPT는 완전히 자제함으로써 이상적인 인식론적 겸손을 보여주었다. 반면 Claude와 Q-wen은 누락된 증거를 인지하면서도, 많은 경우 정답과 일치하는 답변을 내놓기 위해 내부 파라미터 지식에 의존하여 답변을 생성함으로써 인식론적 경계를 위반했다.
• 모호한 증거 (Vague Evidence): 성능 저하는 주로 인식론적 교정(불확실성을 알리지 못함)과 충실성(입장을 날조함)의 실패로 인해 발생했다. 모델들은 증거가 결정 불가능함에도 불구하고 확신을 가지고 답변하는 경우가 많았다.
• 모순된 증거 (Contradictory Evidence): 모델들은 양측을 모두 대변하는 데 어려움을 겪었다. GPT와 Qwen은 종종 첫 번째 증거 조각에 전념함으로써 모순을 해결하려 했고, Claude는 두 입장을 모두 참조했으나 어느 쪽도 온전히 다루지 못했다.

3. 균등성 및 정당 사전 지식 (Party Priors)

• 정당 간 격차: 베이스라인 조건에서 모델들은 대체로 균등했다. 그러나 불확정적 조건에서는 특정 정당(예: 독일의 Die Linke, 네덜란드의 SP)에 대해 격차가 커졌다.
• 사전 지식의 역할: 절제 연구에 따르면 이러한 격차는 정당 사전 지식에 의해 주도된다. 정당 이름을 익명화했을 때 격차가 감소했다. 모델들은 훈련 데이터에 강력하게 나타나는 정당에 대해서는 내부 지식을 사용하여 공백을 메우는 경향이 있는 반면, 신생 정당이나 덜 알려진 정당(예: BSW, BBB)에 대해서는 어려움을 겪는 것으로 나타났다.
• 정제 (Sanitization): 반복되는 약점은 I4 정제 현상으로, 모델들(특히 GPT와 Qwen)이 정치적 언어의 강도와 독특함을 밋밋하게 만들어 중립적인 어조로 끌어당기는 현상이었다. 이 효과는 모델의 암묵적 "중립" 기준선에서 멀리 떨어진 수사를 사용하는 정당(예: AfD)에 대해 가장 두드러졌다.

의의 및 주장

본 논문은 POLISTEMICS가 정치 정보 중재자로서의 LLM을 검사하는 최초의 표준화되고 이론에 기반한 감사 도구라고 주장한다. 주요 기여는 다음과 같다:

1. 평가 패러다임의 전환: 단순한 입장 정확도(재생)를 넘어, 불완전한 정보 하에서의 (충실성, 공정성, 교정)이라는 중재 과정을 평가한다.
2. 체계적 위험 식별: 높은 총점 이면에 증거가 없거나, 모호하거나, 모순될 때 발생하는 국소적 실패가 숨겨져 있음을 입증한다. 이러한 시나리오에서 모델은 종-종 모호한 증거를 확정된 것으로 제시하여 시민의 인식론적 주체성을 해치는 "확신의 환상"을 만든다.
3. 사전 지식의 역할 강조: 모델의 행동이 순수하게 증거에 의한 것이 아니라 내부 정당 사전 지식과 훈련 데이터의 비중에 의해 형성되며, 이로 인해 서로 다른 정치적 행위자들에 대한 중재가 불균등하게 이루어짐을 보여준다.

저자들은 신뢰할 수 있는 중재가 가능함에도 불구하고(증거 부재 시 GPT의 자제 사례처럼), 현재 어떤 모델도 모든 정보 환경에서 이를 일관되게 수행하지 못한다고 결론짓는다. 이들은 민주적 정보 중재를 위해서는 단순히 정치적으로 공정할 뿐만 아니라, 불확실성 속에서도 증거에 충실하고 인식론적으로 교정된 모델이 필요하다고 주장한다. 본 논문은 LLM이 본질적으로 안전하지 않다고 주장하는 것이 아니라, 표준화된 감사가 없는 상태에서 이들을 시민 인프라에 배치하는 것이 공론의 질과 선거 의사결정에 위험을 초래할 수 있음을 경고한다.