The Most Important Laboratory for Social Scientific and Computing Research in History

기술 요약: "역사상 사회 과학 및 컴퓨팅 연구를 위한 가장 중요한 실험실"

문제 제기
본 논문은 위키피디아와 그 자매 프로젝트들을 둘러싼 학술 문헌의 급격한 확장을 규명할 필요성을 다룬다. 지난 20년 동안 위키피디아는 틈새 주제에서 사회 과학 및 컴퓨팅 분야의 핵심 연구 대상으로 진화했다. 저자들은 연구의 양이 방대함(출판 텍스트 내 170만 건 이상의 언급과 제목 내 6,000건의 언급)에도 불구하고, 이 "번창하는 학술 문헌"의 주요 주제, 발견 및 공백을 포착하는 종합적인 개요가 부족하다고 지적한다. 과제는 연구 결과물의 규모 자체가 너무 커져서 단일 연구자가 관련 출판물을 수동으로 모두 검토하는 것이 불가능해졌다는 점에 있다(단일 연도의 논문을 검색했을 때 봇 탐지 필터를 작동시킬 정도로 약 800개의 결과가 도출된 사례가 이를 뒷받침한다).

방법론
본 논문은 저자들의 새로운 경험적 연구라기보다 저자들의 종단적 경험에 기반한 서사적 검토 및 합성이다. 방법론은 2008년부터 위키마니아(Wikimania)에서 발표된 저자들(벤저민 마코 힐과 아론 쇼)의 연례 "위키미디어 학술 현황(State of Wikimedia Scholarship)" 발표에 의존한다.

• 데이터 수집: 저자들은 제목에 "Wikipedia"가 포함된 전년도 출판 논문들을 체계적으로 검토한다. 이들은 점차 다른 위키미디어 커뮤니티를 분석하는 논문들도 포함 범위를 넓히고 있다.
• 합성 과정: 매년의 검토를 위해, 저자들은 주요 경향이나 혁신을 포착하는 5~8개의 주제를 선정한다. 이들은 각 주제를 요약하고 각 주제에 대한 모범적인 논문들을 강조한다.
• 범위: 이 특정 에세이는 20년간의 검토 과정에서 얻은 통찰을 집약한 것으로, 저자들의 연례 발표, 오픈 콜라보레이션 국제 심포지엄(OpenSym) 조율, 웹 컨퍼런스(The Web Conference)의 워크숍, 그리고 월간 "위키미디어 연구 뉴스레터"를 바탕으로 한다.
• 한계: 저자들은 이 장이 "불완전"하며 종합적인 체계적 검토라기보다는 "짧은 투어"임을 명시하며, 다른 문헌 검토들이 존재하지만 자신들의 접근 방식은 연구 커뮤니티와의 직접적이고 지속적인 참여에 근거하고 있음을 인정한다.

주요 기여 및 주제
본 논문은 위키피디아 연구를 6가지 주요 영역으로 조직하며, 각 영역 내에서의 탐구 진화를 상세히 설명한다.

1. 데이터 소스로서의 위키피디아:

   • 이는 가장 널리 퍼진 형태의 연구로, 여기서 위키피디아는 연구의 대상이 아니라 다른 조사를 위한 "코퍼스(corpus)"로 사용된다.
   • 정보 검색(IR) 및 자연어 처리(NLP): 위키피디아는 메타데이터를 갖춘 방대한 다국어 인간 생성 데이터셋을 제공한다. 이는 정보 검색부터 언어 파싱 및 생성에 이르는 작업에 활용된다.
   • 파생 데이터셋: 연구는 위키피디아에서 데이터를 추출하는 도구와 데이터 위키(Wikidata)의 생성으로 확장되었으며, 이는 엔티티 간의 구조적 관계 층을 추가하여 계산적 처리를 위한 데이터셋의 유용성을 높였다.

2. 젠더 격차:

   • 초기 연구는 인구통계학적 불균형에 집중했으며, 초기 조사에서는 편집자의 약 80%가 남성임을 시사했다.
   • 진화: 후속 연구들은 편향을 해결하기 위해 샘플링 방법을 정교화하고 국가 대표 표본을 의뢰했다. 추정치는 다양하지만, 편집자 층이 압도적으로 남성 중심이라는 점은 일치된 견해다.
   • 콘텐츠 격차: 연구는 콘텐츠 범위를 조사하는 것으로 확장되었으며, 여성과 유색인종이 유사한 주목도를 가진 백인 남성보다 문서가 적을 가능성이 체계적으로 높다는 것을 발견했다.
   • 메커니즘: 최근 연구는 기여자 불평등을 콘텐츠 편향과 연결하여, 커뮤니티 규범과 집행 기준이 특정 집단을 어떻게 저해하고 기존의 사회적 계층화를 강화하는지 조사한다.

3. 콘텐츠 품질 및 무결성:

   • 벤치마킹: 2005년 위키피디아와 브리태니커 백과사전을 비교하여 오류율이 대등함을 밝힌 Nature 연구가 이 분야를 촉발했다. 이후 더 큰 규모의 연구들은 시간이 지남에 따라 위키피디아가 전통적인 백과사전을 능가하는 경우가 많음을 시사한다.
   • 다차원성: 품질 평가는 사실적 오류를 넘어 중립성, 포괄성, 문체로 이동했다.
   • 사회적 프로세스: 최근 연구는 이데올로기적 양극화와 문서 품질 사이의 관계(양극화된 편집자 그룹이 논쟁적인 주제에 대해 때때로 더 높은 품질을 생산한다는 점 등)와 같은 사회적 역학을 조사한다.

4. 위키피디아와 교육:

   • 초점의 변화: 초기 연구는 학생들이 정보를 찾는 첫 단계로 위키피디아에 의존하는 현상을 기록하고 이를 교육적 권위에 대한 위협으로 보았다.
   • 교육적 통합: 분야는 위키피디아 편집을 교과 과정에 통합하는 방향으로 이동했다. 위키 교육 재단(Wiki Education Foundation)은 이러한 전환을 지원하며, 현재 연구는 학생들이 커리큘럼의 일부로서 백과사전에 기여하는 성과를 기록하고 있다.

5. 시청자층(Viewership):

   • 2007년 이후 위키미디어 재단은 뷰 데이터를 공개하여 소비 패턴에 대한 연구를 가능하게 했다.
   • 응용: 뷰 데이터는 주의력 할당의 지표(예: 스노든 사건 이후의 '냉각 효과' 탐지), 실제 사건 예측(인플루엔자 유병률, 박스오피스 수익, 선거 결과), 그리고 "시대정신(zeitgeist)"을 포착하는 데 사용된다.
   • 생산-소비 역학: 연구는 뷰 데이터와 편집 데이터를 결합하여 독자가 어떻게 편집자로 전환되는지, 그리고 소비가 어떻게 생산을 이끄는지 모델링한다.

6. 조직 및 거버넌스:

   • 연구는 위키피디아를 "커뮤니티들의 커뮤니티"이자 대규모 분산형 자원봉사 조직으로 조사한다.
   • 발견: 연구들은 위키프로젝트(WikiProjects)의 협업 과정을 기록하며, 이들이 다른 협업 노력들과 유사한 조직적 과제에 직면해 있음을 보여준다.
   • 가정의 도전: 최근 연구는 위키피디아에 계층이 없다는 생각과 같은 "정형화된 사실(stylized facts)"에 도전하며, 공고한 리더십과 과두제적 경향에 대한 증거를 제시한다.
   • 비교 범위: 수백 개의 서로 다른 언어 판을 통해 협업 역학의 다양성을 연구하기 위해 영어 위키피디아를 넘어 확장하려는 움직임이 있다.

7. 세상 속의 위키피디아 (영향력):

   • 연구는 내부 프로세스를 넘어 위키피디아의 외부 영향력을 측정하는 단계로 나아갔다.
   • 실제 효과: 연구들은 법적 의견에 위키피디아가 통합되는 방식과 웹 전반에 걸쳐 위키피디아가 신디케이션되는 과정을 기록한다.
   • 실험적 개입: 학자들은 위키피디아를 "야생에서의(in the wild)" 실험 플랫폼으로 사용해 왔다. 예를 들어, 유럽 소도시들에 관한 문서를 개선하는 것이 관광객 유입을 증가시킨다는 점이 입증되었으며, 과학 연구에 관한 문서를 개선하는 것이 해당 연구에 대한 인용을 높이고 후속 연구의 언어를 형성한다는 점이 밝혀졌다.

결과 및 의의 주장
논문은 위키피디아가 인간-컴퓨터 상호작용, 지식 관리, 정보 시스템, 온라인 커뮤니케이션을 포함한 이질적인 학문 분야들을 연결하는 "공유된 연구 대상"이 되었다고 결론짓는다.

• 주류 통합: 위키피디아 연구는 더 이상 틈새 분야가 아니라 저자들이 아는 모든 사회적 및 계산적 연구 분야의 주류의 일부이다.
• 실험실 비유: 저자들은 위키피디아가 사회적 프로세스를 연구하기 위한 "실험실"인 동시에, 야생에서의 사회적 행동을 연구하기 위한 "실험 도구" 역할을 한다고 주장한다.
• 미래 방향: 논문은 위키피디아가 어떻게 자원봉사자를 동원하고 고품질의 자원을 유지하는지를 이해하는 것이 사회 생활의 다른 부분들을 조직하는 데 통찰을 제공한다고 주장한다. 또한 연구자들이 대규모 협업의 메커니즘을 더 잘 이해하기 위해 비교 연구, 영향력 평가, 교차 언어 분석을 포함하도록 범위를 넓힐 것을 촉구한다.

저자들은 자신의 검토가 불완전하며 분야가 계속 진화하고 있다는 점을 인정하며 겸허한 어조를 유지한다. 이들은 세계 최대의 자원봉사 노력을 연구함으로써 얻은 통찰이 향 least 향후 20년 동안 과학적 지식을 발전시킬 것이라고 단언한다.