Auditing Differential Visibility of Political Content on TikTok
이 연구는 겉으로 드러나는 도달 범위의 격차가 의사반복(pseudoreplication)과 혼란 변수의 통계적 인위물임을 입증함으로써, 틱톡이 정치적 콘텐츠를 섀도우밴싱한다는 주장을 반박하며, 적절한 계정 수준에서 데이터를 분석했을 때 체계적인 억압의 증거는 발견되지 않았음을 밝혀냈다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
거대한 알고리즘의 미스터리
인터넷을 모든 사람이 자신의 의견을 외쳐대는 거대하고 북적이는 마을 광장이라고 상상해 보세요. 이 마을에는 "알고리즘"이라는 이름의 신비롭고 보이지 않는 시장이 있습니다. 이 시장은 누가 발언대에 서서 목소리를 낼 수 있는지, 그리고 누가 군중의 뒤편으로 밀려날지를 결정합니다. 수년 동안 사람들은 이 시장에게 비밀스러운 규칙이 있다고 속삭여 왔습니다. 만약 당신이 특정 정치적 주제에 대해 외친다면, 시장이 아무 말 없이 당신의 목소리를 조용히 지워버린다는 것입니다. 이것을 "섀도우 밴(shadow ban, 유령 차단)"이라고 부릅니다. 이는 당신의 목소리가 단순히 무시되는 것이 아니라, 적극적으로 숨겨지는 것을 의미하기 때문에 매우 무서운 개념입니다. 하지만 까다로운 점은, 시장이 결코 자신의 규칙 책을 보여주지 않는다는 것입니다. 그렇다면 우리는 시장이 편애를 하고 있는지 어떻게 알 수 있을까요? 과학자들은 각 외침을 얼마나 많은 사람이 듣는지 세는 방식으로 이를 알아내려 노력해 왔지만, 그들은 자신들을 속일 수도 있는 매우 혼란스러운 방식으로 숫자를 세고 있었습니다. 이 논문은 마치 탐정 이야기와 같습니다. 조사관들이 추측하는 것을 멈추고, 시장이 실제로 누군가를 숨기고 있는지, 아니면 마을이 보이는 것과 실제로는 다르게 느껴지는 것뿐인지 확인하기 위해 초정밀 자를 사용하여 측정하기로 결정한 이야기입니다.
탐정 작업: 외침을 세는 법
연구팀은 짧은 영상이 바이럴되는 앱인 틱톡(TikTok)에서 이 섀도우 밴 미스터리를 조사하기로 했습니다. 그들은 사람들이 끊임없이 논쟁하는 세 가지 뜨거운 주제를 선정했습니다: 미국의 이민 처리 방식, 도널드 트럼프 관련 보도, 그리고 이스라엘과 팔레스타인 간의 갈등입니다. 그들은 각 논쟁의 양측(찬성 측과 반대 측)을 모두 포함하도록 하여 67개의 서로 다른 계정 목록을 확보했습니다. 그런 다음 그들은 매우 구체적인 작업을 수행했습니다. 이 계정들을 한 달 동안 관찰하며, 매 시간마다 각 영상이 몇 회의 조회수, 좋아요, 공유를 얻었는지 확인했습니다. 그 결과 50만 개 이상의 데이터 포인트를 얻었으며, 이는 엄청나게 밀도 높은 숫자 더미였습니다.
그들이 처음에 데이터를 "옛날 방식"(많은 다른 연구가 사용하는 방식)으로 보았을 때, 결과는 결정적인 증거처럼 보였습니다. 그들은 영상이 노출되는 횟수에서 엄청난 차이를 발견했습니다. "반대" 측의 영상이 숨겨지고 있는 것처럼 보였는데, 조회수가 너무 낮게 떨어져서 수학적으로는 이것이 단순한 우연일 확률이 1조 분의 1 미만이라는 결과가 나왔습니다. 그것은 확정된 섀도우 밴처럼 보였습니다.
하지만 연구진은 다른 안경을 쓰고 데이터를 다시 보기로 했습니다. 그들은 "옛날 방식"이 **의사 반복(pseudoreplication)**이라는 큰 실수를 범하고 있다는 것을 깨달았습니다. 당신이 한 시간 동안 1,000회의 조회수를 기록하는 영상을 가지고 있다고 상상해 보세요. 한 시간 후에 다시 확인하면 1,002회가 되어 있을 것입니다. 다시 확인하면 1,004회가 됩니다. "옛날 방식"은 이 모든 시간당 업데이트를 각각 새로운 독립적인 사건으로 계산했습니다. 이는 마치 한 사람이 100분 동안 그 자리에 서 있었다는 이유만으로 군중 속의 같은 사람을 100번이나 세는 것과 같았습니다. 연구진이 동일한 '영상-시간'을 반복해서 세는 대신, 계정을 실제 측정 단위로 바라보기 시작하자 마법은 사라졌습니다. 조회수의 거대한 격차는 완전히 사라졌습니다. 수학적으로 "찬성" 측과 "반대" 측은 거의 정확히 같은 수의 사람들에게 노출되고 있었습니다. 효과 크기(effect size)는 사실상 제로였습니다.
진짜 놀라운 사실: 누가 더 열광하는가?
그렇다면 "섀도우 밴"이 실재하지 않는다면, 무슨 일이 일어나고 있는 걸까요? 연구진은 더 흥end로운 패턴을 발견했습니다. 도달 범위(영상이 얼마나 많은 사람에게 노출되었는가)는 양측이 동일했지만, 참여도(사람들이 어떻게 반응했는가)는 매우 달랐습니다. "반대적" 콘텐츠(반-트럼프 및 친-팔레스타인 영상)는 다른 쪽보다 조회수당 좋아요, 공유, 저장 수가 훨씬 더 많았습니다.
파티를 상상해 보세요. 두 그룹의 사람들이 파티에서 소리를 지르고 있고, DJ(알고리즘)가 두 그룹 모두에게 같은 볼륨으로 소리 지를 수 있게 허용한다면, 두 그룹 모두 똑같이 들리게 됩니다. 하지만 연구진은 "반대적" 그룹의 친구들이 훨씬 더 격렬하게 춤을 추고, 더 크게 박수를 치며, 음악을 다른 사람들과 더 많이 공유한다는 것을 발견했습니다. "기득권" 그룹의 목소리도 들리고 있었지만, 그들의 친구들은 그냥 가만히 서 있었던 것입니다. 이는 사람들이 느끼는 "섀도우 밴"이 사실은 억압된 벌칙이 아니라, 매우 몰입하고 열정적인 청중의 신호일 수 있음을 시사합니다.
이 미스터리가 의미하는 바
이 논문은 이러한 주제에 대한 대규모의 체계적인 섀도우 밴이 있다는 생각은 잘못된 수학에 의해 만들어진 신화일 가능성이 높다고 결론짓습니다. 사람들이 보는 "격차"는 대부분 다음 두 가지로 인해 발생하는 환상입니다:
- 같은 것을 너무 많이 세는 것: 시간당 업데이트를 새로운 데이터 포인트로 취급하면 작은 차이가 거대해 보입니다.
- 사과와 오렌지를 비교하는 것: "반대적" 계정들은 종종 규모가 더 컸고, 다른 언어(친-팔레스타인 측의 경우 주로 아랍어)로 게시되었으며, 생애 주기 단계도 달랐습니다. 이러한 차이점을 바로잡으면 격차는 사라집니다.
연구진은 시뮬레이션을 통해 자신들의 방법을 테스트했기 때문에 이 결론에 매우 확신하고 있습니다. 그들은 만약 "옛날 방식"으로 숫자를 센다면, 실제로는 존재하지 않더라도 거의 항상 가짜 "섀도우 밴"을 발견하게 될 것임을 보여주었습니다. 하지만 그들이 "새로운 방식"(시간이 아닌 계정을 기준으로 하는 방식)을 사용했을 때, 플랫폼이 콘텐츠를 억압한다는 증거는 발견되지 않았습니다. 다만 "반대적" 측이 더 강렬한 반응을 얻는다는 것은 발견했는데, 이는 억압된 것이 아니라 활기찬 청중의 모습입니다.
요약하자면, 보이지 않는 시장은 "반대적" 목소리를 숨기고 있지 않습니다. 그 목소리들은 다른 모든 사람만큼이나 크게 들리고 있습니다. 단지 그 목소리를 듣는 사람들이 훨씬 더 흥분하여 박수를 치고 공유할 뿐입니다. 이 논문은 향전 연구들이 데이터를 세는 방식에 훨씬 더 주의를 기울이지 않는다면, 존재하지 않는 "유령"을 계속 찾아내게 될 것이라고 경고합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.