The Benefit of Collective Intelligence in Community-Based Content Moderation is Limited by Overt Political Signalling

기술 요약: 집단 지성의 이점은 노골적인 정치적 신호 전달에 의해 제한된다

문제 제기
소셜 미디어 플랫폼은 오정보 및 오도하는 콘텐츠의 급격한 확산 문제로 인해 상당한 어려움을 겪고 있다. 전통적인 전문가 팩트 체크는 확장성이 부족하고, 자동화된 알고리즘은 학습 데이터의 편향 문제를 겪는 반면, 플랫폼들은 점차 커뮤니티 기반의 중재 시스템(예: X의 Community Notes, Meta의 Community Notes, TikTok의 Footnotes)을 채택해 왔다. 이러한 시스템은 사용자들이 맥락 정보를 담은 노트를 작성하고 그 유용성을 평가하는 방식에 의존하며, 이념적으로 다양한 평가자들로부터 긍정적인 평가를 받는 노트를 표시하는 것을 목표로 한다.

그러나 현재의 구현 방식은 결정적인 한계에 직면해 있다. 연구에 따르면, 개별적으로 작성된 노트를 타인이 평가하는 기존 설계는 평가자의 편향과 내집단 선호도에 매우 민감하다. 시뮬레이션 및 관찰 연구는 당파성이 평가에 큰 영향을 미치며, 사용자들이 반대 진영의 콘텐츠를 불균형적으로 신고하거나 자신과 같은 정당의 노트를 더 유용하다고 평가한다는 것을 보여준다. 또한, 이 과정은 종종 느리며, 게시물 발행과 노트 표시 사이에 상당한 시차가 발생한다. 개별적인 기여의 집합에서 명시적인 집단 지성(Collective Intelligence, CI)—즉, 사용자들이 노트를 작성하기 위해 직접 협업하는 방식—으로 전환하는 것이 품질을 개선할 수 있는지, 그리고 협업 그룹 내의 정치적 다양성과 정체성 신호 전달이 결과에 어떤 영향을 미치는지에 대한 핵심적인 이론적 공백이 존재한다.

연구 방법론
저자들은 스스로를 민주당원 또는 공화당원으로 식별하는 Prolific 모집 참가자 432명을 대상으로 통제된 온라인 실험을 수행하였다. 연구는 협업, 팀 구성, 그리고 정체성 신호 전달의 효과를 테스트하기 위해 2x3 요인 설계를 활용하였다:

1. 작업 흐름: 참가자들은 먼저 40개의 정치적으로 오도하는 게시물(민주당 및 공화당 계정 출처)에 대해 맥락을 제공하는 개별 노트를 작성하였다. 그 후, 참가자들은 채팅 인터페이스를 통해 소통하며 노트를 하나의 공동 버전으로 수정하도록 팀 단위로 짝지어졌다.
2. 양방향 팀 구성: 참가자들은 무작위로 짝지어져 세 가지 유형의 그룹을 형성하였다:
   • 민주당원–민주당원 (DD)
   • 공화당원–공화당원 (RR)
   • 민주당원–공화당원 (DR)
3. 처치 조건 (Treatment Conditions): 팀은 다음 두 가지 조건 중 하나에 무작위로 배정되었다:
   • 노골적(Overt): 파트너의 정치적 성향을 명시적으로 알림 (예: "민주당원 1"과 같은 닉네임).
   • 비노출(Covert): 정치적 성향을 공개하지 않음 (중립적인 닉네임).
4. 평가: 노의 품질을 평가하기 위해, 연구진은 1,610명의 추가 Prolific 참가자(민주당원 805명, 공화당원 805명)를 모집하여 개별 노트와 협업 노트의 유용성을 0–10 척도로 평가하게 하였다. 또한, 3명의 비미국인 전문가 박사 과정생 패널이 중립적인 평가를 제공하였다.
5. 지표: 연구는 협업 노트($H_{ab}$)와 원래 개별 노트들의 평균($H_a, H_b$) 사이의 유용성 변화($I$)를 민주당원 평가자($I_D$), 공화당원 평가자($I_R$), 그리고 전문가($I_E$)를 대상으로 측정하였다. 통계 분석에는 노트 길이와 링크 수를 통제한 매개변수 t-검정, 비매개변수 부트스트랩 리샘플링, 그리고 최소제곱 회귀분석(OLS)이 사용되었다.

주요 결과
본 연구는 저자들의 가설에 부합하는 세 가지 주요 결과를 도출하였다:

• H1: 협업은 품질을 개선한다. 협업하여 작성된 노트는 전문가들에 의해 개별적으로 작성된 노트보다 유의미하게 더 유용하다고 평가되었다 (평균 증가율 약 17%; $p < 0.01$). 크라우드소싱 평가에서는 효과 크기가 더 작았으나, 공화당원 평가자들에게서는 여전히 통계적으로 유의미했다.
• H2: 다양성의 비대칭적 영향. 정치적 다양성(DR 팀)의 이점은 균일하지 않았다. 공화당 게시물의 경우, 정치적으로 다양한 팀이 동질적인 공화당 팀보다 유의미하게 더 나은 노트를 생성하였다. 그러나 민주당 게시물의 경우, 팀 구성(DD, RR, 또는 DR)이 노트 품질의 개선에 유의미한 영향을 미치지 않았다. 이는 대상 콘텐츠의 출처에 따라 정치적 다양성이 기능하는 방식에 비대칭성이 존재함을 시사한다.
• H3: 노골적 신호 전달의 비용. 정치적 정체성이 노골적으로 공개되었을 때 협업의 이점은 크게 감소하였다. 비노출 조건에서는 협업 노트가 상당한 유용성 증가를 보였다. 반면, 노골적 조건에서는 이러한 이점이 거의 사라졌으며, 어떤 경우에는 협업 노트가 개별 노트보다 덜 유용하다는 평가를 받기도 했다. 이러한 부정적 효과는 전문가, 민주당원, 공화당원 평가 모두에서 지속되었다. 채팅 분석 결과, 노골적인 신호 전달은 당파적 정체성 현저성을 높이고, 의견 불일치와 양보 행동을 증가시켜 집단적 문제 해결을 저해하는 마찰을 유발하는 것으로 나타났다.

의의 및 주장
본 논문은 커뮤니티 기반의 콘텐츠 중재가 유망하지만, 그 효과는 협업적 상호작용의 구체적인 설계에 달려 있다고 주장한다. 저자들의 주장은 다음과 같다:

1. 협업은 맥락 노트의 품질을 개선하는 실행 가능한 메커니즘이지만, 이것만으로는 충분하지 않다. 상호작용 환경이 결정적이다.
2. 정치적 정체성 신호 전달은 집단 지성의 제약 요인으로 작용한다. 노트 작성 과정에서 정치적 성향을 명시하는 것은 당파적 마찰을 유발하여 협업의 인식론적 이점을 감소시킨다.
3. 설계적 시사점: 플랫폼은 다양한 관점에 대한 노출을 장려하는 설계(예: 추론된 견해가 다른 사용자 간의 알고리즘 매칭)를 고려하되, 정치적 정체성에 대해서는 익명성을 유지해야 한다. 이러한 접근 방식은 노골적인 정체성 단서와 관련된 고정관념과 불신을 유발하지 않으면서도 다양한 입력의 이점을 유지하는 것을 목표로 한다.

저자들은 본 연구의 실험 환경(구조화되고 인센티브가 부여된 동기적 환경)이 실제의 비동기적 자원봉사 중재와 다르다는 점을 인정하며 신중한 입장을 유지하고 있다. 또한, 참가자들이 항상 협업 전 개별적으로 노트를 작성했기 때문에 협업을 순서 효과(order effects)로부터 완전히 분리하지 못했다는 점도 언급하였다. 그럼에도 불구하고, 본 연구 결과는 협업의 구조와 사회적 단서의 관리가 참여자의 다양성 그 자체만큼이나 커뮤니티 기반 중재 시스템의 성공을 결정하는 데 중요하다는 점을 강조한다.