Wikipedia and Grokipedia: A Comparison of Human and Generative Encyclopedias

문제 정의
대규모 언어 모델(LLM) 기반 시스템이 검색, 요약 및 자동 텍스트 생성에 점점 더 많이 사용되고 있지만, 백과사전적 콘텐츠를 매개하는 데 있어 이들의 구체적인 역할은 여전히 미개척 분야로 남아 있다. 기존 연구는 위키피디아를 편집 갈등, 양극화, 거버넌스에 초점을 맞춘 협업 지식 시스템으로서 광범적으로 조사해 왔다. 반면, 생성형 시스템에 대한 연구는 주로 환각, 편향성 및 사실적 정확성에 집중해 왔다. 생성형 시스템이 기존의 참조 지식 인프라와 어떻게 상호작용하는지에 대해서는 상당한 격차가 존재한다. 특히, 생성적 매개가 위키피디아와 같은 인간이 큐레이션한 출처로부터 내용을 추출할 때, 콘텐츠가 어떻게 선택되고, 재작성되며, 안정화되고, 프레임화되는지를 포함하여 백과사전적 콘텐츠의 구조적 조직을 어떻게 변화시키는지에 대해서는 명확히 밝혀지지 않았다. 본 연구는 위키피디아와 이를 기반으로 구축된 생성형 백과사전인 그로키피디아(Grokipedia)를 체계적으로 비교함으로써, 생성적 매개가 개별 출력물을 넘어 참조 콘텐츠를 어떻게 재구성하는지 규명하여 이 격차를 해소하고자 한다.

방법론
저자들은 미국 정치, 지정학, 음모론 관련 콘텐츠라는 세 가지 주제 영역에 걸쳐 위키피디아와 그로키피아 간의 체계적인 페이지 수준 비교를 수행하였다. 분석은 네 가지 보완적인 차원에 초점을 맞추었다:

1. 콘텐츠 선택 및 재작성: 연구는 그로키피디어 내 페이지 포함 여부를 위키피디아 페이지의 인기도(조회수), 참조 밀도, 편집 활동(편집 및 되돌리기)의 함수로 모델링하였다. 로지스틱 회귀 분석을 사용하여 위키피디아 페이지가 그로키피디어에 등장할 확률과, 포함된 페이지가 생성적으로 재작성될 확률을 결정하였다. 특징값들은 헤비 테일(heavy-tailed) 분포를 처리하기 위해 서수 레벨(낮음, 중간, 높음, 매우 높음)로 이산화되었다.
2. 편집 참여 및 복잡성: 편집 역학의 변화를 평가하기 위해, 저자들은 특정 기간(2025년 10월 말부터 11월까지) 동안 두 플랫폼의 편집 활동을 분석하였다(경제적 제품 분석에서 차용한 적합도-복잡성 프레임워크 적용). 이 모델에서 편집자는 '국가'로, 페이지는 '제품'으로 취급되어, 기여하는 편집자의 '적합도'(폭과 경험)를 바탕으로 페이지 복잡성을 추정할 수 있게 하였다.
3. 서사 구조: 추상 의미 표현(AMR)을 사용하여 기사 텍스트로부터 행위자-관계 네트워크를 추출함으로써 서사 조직을 재구성하였다. 엔티티(entities)는 노드 역할을 하며, 유향 에지(directed edges)는 할당된 극성(지지적, 갈등적, 중립적)을 가진 관계(행위자-대상)를 인코딩하였다. 이를 통해 두 소스 간의 전역적 서사 구조와 국소적 감성 균형(유출 및 유입)을 비교할 수 있었다.
4. 평가적 프레이밍: 기사의 "리드 섹션"(첫 번째 헤딩 전의 도입 텍스트)을 분석하여 두 가지 차원, 즉 찬양적 프레이밍(칭송/감탄)과 갈등/논쟁 프레이밍(분쟁)을 따라 프레이밍을 측정하였다. LLM(gemma3:4b)을 사용하여 리드 섹션 내 문장을 분류하고, 이러한 프레이밍을 보이는 텍스트의 비율에 대한 점수를 생성하였다.

주요 결과

• 비균등한 선택: 그로키피디어는 위키피디아를 균등하게 샘플링하지 않는다. 포함 여부는 페이지 인기도, 참조 밀도, 편집 활동과 양의 상관관계를 갖는다. 가시성이 높고 최근 편집 갈등이 있었던 페이지가 포함될 가능성이 더 높다.
• 재작성 패턴: 포함된 페이지들 중, 생성적 재작성의 확률은 참조 밀도 및 최근 편집 활동(편집 및 되돌리기)과 양의 상관관계가 있다. 반대로, 매우 인기 있는 페이지는 원문 그대로 재현될 가능성이 높다. 이는 그로키피디어가 불안정성과 불일치가 특징인 페이지에 더 빈번하게 개입함을 시사한다.
• 편집 역학: 두 플랫폼 모두 이벤트 중심의 편집 급증을 보이지만, 그로키피디어 편집자들은 위키피디아 편집을 유발한 특정 뉴스 이벤트보다는 더 넓고 지속적인 주제(예: 일론 머스크, 역사적 인물)에 활동을 집중했다. 적합도-복잡성 분석 결과, 두 플랫폼 간의 페이지 복잡성에는 약한 양의 상관관계가 나타났으며, 이는 동일한 주제에 대한 기여자 커뮤니티의 구성이 크게 다름을 나타낸다.
• 서사 안정성: 생성적 재작성에도 불구하고, 전역적 서사 구조는 대체로 일관되게 유지된다. 행위자-관계 네트워크는 두 소스 간에 유사한 수준의 상호성과 순환 구조를 보이며, 주요 엔티티의 순위 또한 일관되다.
• 프레이밍 변화: 전반적인 프레이밍은 상관관계가 있으나, 국소적인 변화가 발생한다. 그로키피디어는 특정 주요 주제, 특히 미국 정치(예: 도널드 트럼프, 마조리 테일러 그린) 및 음모론 관련 콘텐츠에서 더 많은 찬양적 프레이밍을 보이고 갈등에 대한 강조를 줄이는 경향이 있다.

주요 기여
본 논문은 고립된 사실 오류를 넘어 구조적 특성을 분석함으로써, 참조 백과사전과 생성형 백과사전 시스템에 대한 체계적인 실증적 비교를 제공한다. 연구는 생성형 시스템이 기존 참조 콘텐츠의 핵심 서사 조직을 보존하면서도 다음과 같은 측면을 유의미하게 변화시킨다는 것을 입증한다:

1. 선택: 고가시성 및 고갈등 페이지를 우선시함.
2. 재작성: 참조 밀도가 높고 편집 불안정성이 높은 페이지에 더 많이 개입함.
3. 프레이밍: 특정 행위자에 대해 찬양적이고 갈등 지향성이 낮은 언어로 국소적인 변화를 도입함.

의의
본 연구는 생성형 백과사전 시스템을 단순한 텍스트 생성기가 아니라, 기존 지식 인프라를 재구성하는 매개 계층으로 보아야 한다고 주장한다. 연구 결과는 정확성이나 이데올로기적 편향성에만 기반한 평가는 불충분하다는 것을 시사한다. 대신, 생성형 시스템의 영향은 콘텐츠 선택, 재작성을 통한 논쟁적 자료의 공고화, 그리고 제시 시점에서의 평가적 프레이밍 변화라는 관점을 통해 이해되어야 한다. 저자들은 백과사전적 지식의 구조적 뼈대는 보존되지만, 생성적 매개 계층이 콘텐츠가 선택되고, 안정화되며, 사용자에게 제시되는 방식을 근본적으로 변화시킨다고 결론짓는다.