Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies

기술 요약: Grokipedia 대 Wikipedia: 이데올로기에 따른 정치적 중립성에 대한 LLM 기반 감사

문제 제기
온라인 백과사전은 정치적 견해와 민주적 담론을 형성하는 중요한 공공 지식 기반 역할을 수행한다. Wikipedia는 "좌파적" 또는 "자유주의적" 편향이 있다는 비판을 받아온 반면, xAI는 2025년 말에 Grok 대규모 언어 모델(LLM)에 의해 완전히 생성된 대안적 백과사전인 Grokipedia를 출시하며 이를 더 중립적인 정보원으로 포지셔닝했다. 핵심 연구 질문은 LLM이 생성한 백과사전이 인간이 편집한 것보다 더 높은 중립성을 제공하는지, 아니면 단순히 다른 이데올로기적 편향을 내포하고 있는가 하는 점이다. 나아가, LLM 자체가 편향을 가질 수 있다는 점을 고려하여, 본 연구는 평가자의 선택이 중립성 평가에 어떤 영향을 미치는지 조사한다.

연구 방법론
저자들은 전문가가 코딩한 이데올로기 차원과 다양한 LLM 심사단에 기반한 대규모 감사 방법론을 제안한다. 과정은 세 가지 주요 단계로 구성된다:

1. 데이터셋 구축:

   • 대상: 연구는 177개국의 9,752명 정부 구성원을 식별하기 위해 WhoGov 데이터셋을 활용한다 (2016–2023).
   • 이데올로기적 근거: 순환 논리(LLM이 측정하려는 이데올로기를 스스로 정의하는 상황)를 피하기 위해, 저자들은 이 정치인들을 V-Party 데이터셋의 9가지 전문가 코딩 이데올로기 차원에 매핑한다. 이 차원에는 문화적 포용성, 이민 개방성, LGBT 평등, 세속적 입장, 여성 노동 평등, 반(反)클라이언트리즘, 정치적 다원주의, 반(反)포퓰리즘, 그리고 경제적 우파 성향이 포함된다.
   • 기사 수집: 저자들은 양쪽 소스 모두에 항목이 있고 최소 300단어 이상의 길이를 충족하며 내용의 관련성이 검증된 정치인 1,394쌍의 매칭된 기사 쌍(Wikipedia 대 Grokipedia)을 추출했다.

2. LLM 심사단:

   • 네 가지 서로 다른 LLM이 중립성을 평가하는 심사위원으로 채택되었다: Grok-4 (Grokipedia의 생성 모델), Claude-Opus-4.6 (정치적 공정성을 위해 훈련됨), DeepSeek-V4-Pro (비서구권 모델), 그리고 Mistral-Medium-3.5 (유럽 모델).
   • 프롬프팅: 심사위원들은 Wikipedia의 중립적 관점(NPOV) 원칙에서 영감을 얻은 공식적인 중립성 정의를 바탕으로, 5점 리커트 척도( "에 대해 강하게 편향됨"에서 "에 대해 강하게 유리함"까지)를 사용하여 기사를 평가하도록 요청받았다. 이 정의에는 관점을 비례적으로 제시하고, 판단적인 언어를 피하며, 사실과 의견을 구분하는 기준 등이 포함되었다.
   • 강건성: 강건성 테스트 결과, 프롬프트에서 특정 중립성 정의를 제거하더라도 평가 방향이 유의미하게 변하지 않음을 확인했다.

3. 분석:

   • 기술 통계: 투표 분포 및 심사자 간 신뢰도 분석.
   • 회귀 분석: 저자들은 이데올로기 차원이 중립성 평가에 미치는 영향을 추정하기 위해 최소제곱법(OLS) 회귀 분석을 사용했다.
     • 중립성 차이 모델: 이데올로기에 따른 두 백과사전 간의 중립성 평가 격차($\Delta Y$)를 추정한다.
     • 개별 소스 모델: 각 백과사전에 대한 별도의 회귀 분석을 통해 특정 이데올로기가 각 소스 내에서 인지된 편향과 어떻게 상관관를 갖는지 결정한다.

주요 기여

• 규모와 범위: 본 연구는 1,394쌍의 기사를 분석함으로써 지금까지 진행된 연구 중 Grokipedia와 Wikipedia를 비교한 가장 큰 규모의 연구이며, 도입부만이 아닌 기사 전체를 분석한다 (기존 연구는 6쌍 또는 395쌍을 분석함).
• 전문가 기반: LLM을 사용하여 이데올로기 점수를 생성했던 이전 연구들과 달리, 본 연구는 전문가가 코딩한 V-Party 데이터셋에 분석을 고정함으로써 이데올로기 범주가 LLM의 판단과 독립적임을 보장한다.
• 다중 심사 프 framework: 다양한 이데올로기적 경향(서구적, 비서구적, 좌향, 우향, 중도)이 입증된 4개의 LLM 패널을 도입하여 평가자 편향과 콘텐츠 편향을 분리한다.
• 버전 특이성: 본 연구는 Grokipedia 버전 0.2를 분석하며, 이전 연구에서 사용된 V0.1 버전과 비교하여 기사 길이와 내용의 유의미한 차이를 명시한다.

결과

• 전반적 편향: 네 명의 LLM 심사위원 모두 Grokipedia가 Wikipedia보다 더 많은 편향을 포함하고 있다고 평가했다. Grokipedia는 편향되었다고 평가된 기사의 비율이 더 높았다 (Wikipedia의 29.7% 대비 39%).
• 편향의 방향:
  • Grokipedia: 경제적 우파 정치인과 정치적 다원주의를 지지하는 정치인에게 유리하게 편향되었다고 평가되었다. 반대로, 사회적 자유주의 관점, 특히 LGBT 권리 및 여성 노동 권리와 관련된 정치인에게는 불리하게(덜 중립적으로) 평가되었다.
  • Wikipedia: 전반적으로 더 중립적인 것으로 평가되었으나, 사회적 자유주의 입장(LGBT 및 여성 권리)을 가진 정치인에게 유리한 편향을 보이는 경향이 있었다.
• 평가자 영향:
  • LLM 심사위원들은 엄격함 측면에서 상당한 차이를 보였다. DeepSeek가 가장 관대했으며(중립 평가 86.9%), Claude가 가장 엄격했다(중립 평가 25%).
  • 이러한 엄격함의 차이에도 불구하고, 심사위원들은 편향의 방향에 대해서는 대체로 일치된 의견을 보였다.
  • 핵심 발견: Grokipedia를 생성한 모델인 Grok조차도 Grokipedia가 Wikipedia보다 덜 중립적이라고 평가했다. 이는 이데올로기적 패턴이 평가자의 편향에 의한 인위적인 결과가 아니라 생성된 콘텐츠 자체에 내재되어 있음을 시사한다.

의의 및 주장
본 논문은 백과사전의 선택이 정치인의 전기적 사실뿐만 아니라 그들의 이데올로기적 프로필에 따라 인식을 어떻게 변화시키는지에 영향을 미친다고 주장한다. 연구 결과는 LLM 생성 백과사전이 본질적으로 더 중립적이라는 관념에 도전하며, 대신 경제적 우파 및 민주적 규범을 선호하는 한편 사회적 자유주의를 저해할 수 있는 체계적인 이데올로기 구조를 내포할 수 있음을 보여준다.

본 연구는 다음을 강조한다:

1. LLM 생성 콘텐츠는 편향으로부터 자유롭지 않다: Grokipedia는 Wikipedia와 다른 뚜렷한 이데올로기적 편향을 보인다.
2. 평가자의 다양성이 중요하다: 특정 이데올로기적 경향(Grok이나 DeepSeek와 같은)을 가진 단일 LLM 심사원에 의존할 경우 편향 격차의 크기를 과소평가할 수 있다.
3. 감사가 필수적이다: 정부와 기업이 지식 기반을 빠르게 생성할 수 있게 됨에 따라, 공공 정보 생태계의 무결성을 위해 그들의 이데올로기적 위치를 감사하는 방법론은 매우 중요하다.

저자들은 자신들의 중립성 측정 방식이 특정 운영 정의에 따라 조건적이라는 점과 LLM을 심사자로 사용하는 데 따르는 한계(예: 잠재적 정체성 편향)를 인정하며 신중한 태도를 유지한다. 저자들은 절대적 진리를 발견했다고 주장하는 것이 아니라, 이 두 백과사전이 정치적 인물을 묘사하는 방식에서 나타나는 체계적인 패턴을 식별했다고 주장한다.