WikiSTAR: A System for Shedding Light on the Hidden History of Scientific Wikipedia Articles

기술 요약: WIKISTAR — 과학 위키피디아 문서의 숨겨진 역사를 밝히는 시스템

문제 정의
위키피디아는 대중의 과학적 이해를 위한 주요 원천 역할을 하며, 공개적으로 접근 가능한 그 수정 이력은 과학적 지식이 어떻게 진화하는지에 대한 독특한 종단적 기록을 제공한다. 그러나 방대한 양의 일상적인 편집(예: 서식 변경, 문구 재구성)은 과학적으로 의미 있는 변화를 가린다. 이러한 유의미한 편집을 수동으로 분리하는 것은 매우 노동 집약적인 작업이며, 이로 인해 문서의 과학적 역사는 숨겨지고 접근하기 어려운 상태로 남게 된다. 기존 연구들은 일반적인 편집을 분류하거나 저자 간의 갈등을 시각화했지만, 이러한 방식은 페이지 전체 또는 토큰 수준에서 작동하며 변화의 구체적인 과학적 중요성에 초점을 맞추지 않는다. 따라서 과학적 개념이 어떻게 도입되고, 논쟁되며, 시간이 흐름에 따라 어떻게 정교해지는지를 밝히기 위해, 과학적 텍스트 변화를 세밀한 수준에서 자동으로 탐지, 정량화 및 맥락화할 수 있는 시스템이 필요하다.

방법론
저자들은 섹션 단위의 과학적 편집을 추출, 분류 및 시각화하도록 설계된 시스템인 WIKISTAR(Scientific Tracking of Article Revisions)를 제시한다. 방법론은 세 가지 주요 단계로 구성된다:

1. 섹션 식별 및 연결:

   • 시스템은 MediaWiki API를 통해 문서의 수정 버전을 검색하고, 정규 표현식 기반 파서를 사용하여 가공되지 않은 위키텍스트를 구성 섹션으로 파싱한다.
   • "섹션 편집 쌍"(현재 버전과 특정 섹션의 바로 이전 버전)을 생성하기 위해, 시스템은 수정 이력 전반에서 섹션을 매칭한다. 섹션은 고정되어 있지 않으므로(이름이 바뀌거나, 분할되거나, 병합될 수 있음), 시스템은 수정 이력을 역순으로 탐색하며 두 가지 유사도 척도인 제목 유사도(정규화된 레벤슈타인 거리)와 내용 유사도(임베딩 기반 코사인 유사도)를 계산한다. 섹션은 유사도 임계값을 초과하는 가장 최근의 후보와 매칭된다.

2. 과학적 편집 분류:

   • 핵심 과제는 과학적 편집 분류로 정의된다: 이는 10가지의 전문가 설계 기반 과학적 의미 있는 편집 유형(예: 새로운 과학적 정보, 기술 용어 추가, 과학적 내러티브의 변화, 학술적 참조 추가 등)과 비과학적 편집 레이블을 기준으로 섹션 편집 쌍에 레이블을 부여하는 것이다.
   • 시스템은 대규모 언어 모델(LLM)을 분류기로 활용한다. 저자들은 인간이 주석을 달은 벤치마크를 대상으로 GPT-5 변형 모델, LLaMA 3.3, Qwen3-Next를 포함한 7개의 모델을 평가했다.
   • 모델에게 먼저 편집이 과학적인지 판단하게 하고 흔한 정의 오류를 표시하도록 하는 등의 프롬프트 엔지니어링 개선은 성능을 크게 향상시켰다.

3. 대화형 시각화:

   • 분류된 데이터는 다양한 세밀도로 역사를 탐색할 수 있는 대화형 뷰를 통해 제공된다:
     • 역사 개요: 주요 과학적 주장 및 내러티브 변화에 대한 LLM 생성 연대기적 요약.
     • 시간에 따른 추세: 시간에 따른 편집 유형의 빈도를 보여주는 대화형 선 그래프로, 섹션별 필터링 및 특정 기간에 대한 텍스트 요약 생성이 가능하다.
     • 섹션 비교: 서로 다른 문서 섹션 간의 편집 유형 추세를 비교하는 히트맵.
     • 섹션 진화: 섹션의 생애 주기(출현, 이름 변경, 편집)를 보여주는 뷰.
     • 편집 표: 메타데이터가 포함된 필터링 가능한 모든 편집의 표.

주요 기여

1. WIKISTAR 시스템: 위키피디아 문서의 과학적 콘텐츠 진화를 추적하기 위한 새로운 시스템으로, 가공되지 않은 수정 로그와 실행 가능한 과학적 통찰 사이의 간극을 메운다.
2. 과학적 편집 분류 과제: 과학 위키피디아 전문가들이 설계한 10개 레이블 분류 체계에 기반하여 위키피디아 섹션을 위한 특정 분류 과제를 도입하였다.
3. WIKISTAR-BENCH: 세 가지 도메인(생물학, 컴퓨터 과학, 신경과학)에 걸쳐 1,387개의 섹션 단위 편집 쌍을 포함하는 최초의 인간 주석 데이터셋을 공개하였다. 이 데이터셋은 높은 검토자 간 일치도(평균 쌍 Cohen's $\kappa = 0.89$)를 보여준다.
4. 경험적 평가: 7개의 LLM을 분류기로 비교 분석하여, GPT-5-mini와 GPT-5.4가 최상위 성능(Macro-F1 점수 각각 0.83 및 0.82)을 기록함을 입증하였다.

결과

• 분류 성능: WIKISTAR-BENCH에서 가장 우수한 성능을 보인 모델(GPT-5-mini)은 Macro-F1 0.83, Micro-F1 0.86을 달성했다. 성능은 레이블 유형에 따라 차이를 보였다. 모델은 명시적인 텍스트 신호가 있는 객관적 레이블(예: Wikilink 추가 F1=0.89)에는 뛰어난 성능을 보였으나, 인간의 일치도 또한 낮은 해석적 레이브(예: 과학적 내러티브의 변화 F1=0.61)에는 어려움을 겪었다.
• 도메인 일관성: 성능이 생물학, 컴퓨터 과학, 신경과학 전반에서 안정적으로 유지되어, 분류 체계와 프롬프트가 특정 도메인에 과적합되지 않고 잘 일반화됨을 나타냈다.
• 사용자 연구: 세 명의 전문가(위키피디아 편집자/물리학자, 과학 저널리스트, 과학 철학자)를 대상으로 한 연구에서, 참가자들은 5점 리커트 척도로 시스템을 높게 평가했다(평균 점수 4.33–5.00). 참가자들은 WIKISTAR가 수동으로는 쉽게 발견할 수 없는 패턴을 드러내 주었으며, 새로운 연구 질문을 촉발하고, 데이터의 양 때문에 이전에는 불가능하다고 여겨졌던 분석을 가능하게 했다고 보고했다.

의의
본 논문은 WIKISTAR가 연구자, 저널리스트, 과학자들이 이전에는 불가능했던 규모로 위키피디아의 과학적 편집 이력을 접근 가능하게 만든다고 주장한다. 수정 이력의 수동적이고 노동 집약적인 정독에서 자동화된 섹션 단위 분석으로 전환함으로써, 이 시스템은 지식의 진화를 "풍부한 종단적 기록"으로서 연구할 수 있게 한다. 저자들은 WIKISTAR를 과학적 중요성을 위해 섹션 수준에서 작동하는 최초의 도구로 규정하며, 사용자가 과학적 개념이 어떻게 발전하는지, 어디에 주의가 집중되는지, 그리고 시간이 흐름에 따라 내러티브가 어떻게 변화하는지를 추적할 수 있게 한다. 벤치마크와 코드를 공개하는 목적은 온라인 백과사전에서의 과학적 재현에 관한 추가 연구를 촉진하는 데 있다.