Quality of Colorectal Cancer Information on Douyin (TikTok's Chinese version) and Bilibili in China: A Cross-Sectional Content Analysis

기술 요약: 도우인(Douyin) 및 비리비리(Bilibili)의 대장암 정보 품질

문제 제기
숏폼 비디오 플랫폼은 대중이 암 정보를 접하는 주요 채널이 되었으나, 높은 노출도와 참여 지표가 반드시 임상적 유용성이나 정확성과 상관관계가 있는 것은 아니다. 기존 연구들이 간암, 위암, 폐암 콘텐츠를 조사해 왔으나, 중국 플랫폼 내 대장암(CRC) 관련 영상에 특화된 증거는 제한적이다. 기존 연구들은 두 주요 중국 비디오 생태계인 도우인(Douyin)과 비리비리(Bilibili)를 대상으로 질환별 완결성, 플랫폼 표준화된 참여도, 기본 검색 노출도, 그리고 검토자 간 일치도를 동시에 평가하지 못했다. 본 연구는 플랫폼 구조가 대중이 이용 가능한 대장암 건강 정보의 품질, 신뢰성 및 완결성에 어떻게 영향을 미치는지에 대한 이해의 공백을 다룬다.

연구 방법론
저자들은 2026년 7월 27일에 횡단적 콘텐츠 분석을 수행하였다.

• 데이터 수집: 연구진은 도우인과 비리비리에서 중국어 검색어 "대장암(直肠癌, zhichangai)"을 사용하여 로그아웃 상태로 기본 검색을 수행하였으며, 각 플랫폼당 처음 110개의 결과(총 220개)를 기록하였다.
• 선정 기준: 중국어(또는 중국어 자막 포함)로 실질적인 대장암 정보를 제공하며 공개적으로 재생 가능한 영상을 대상으로 하였다. 대장암과 관련 없는 기록, 중복 콘텐츠, 또는 재생 불가능한 콘텐츠는 대체 없이 제외되었다. 최종 샘플은 총 170개의 영상(도우인 109개, 비리비리 61개)으로 구성되었다.
• 평가 지표: 두 명의 임상 검토자가 세 가지 도구를 사용하여 적격 영상을 독립적으로 점수화하였다:
  1. 전반적 품질 척도 (GQS): 흐름, 사용성, 교육적 가치를 평가하는 5점 리커트 척도.
  2. 수정된 DISCERN (mDISCERN): 명확성, 신뢰할 수 있는 출처, 균형성, 추가 정보, 불확실성 인정 여부를 평가하는 5개 항목의 이진 체크리스트 (점수 0–5).
  3. CRC17 완결성 체크리스트: 병인, 증상, 예방, 치료, 예후를 다루는 17개 항목의 질환 특화 체크리스트 (점수 0–17).
• 통계 분석: 분석은 R 4.6.1에서 수행되었다. 연구에는 비모수 검정(Mann-Whitney U, Kruskal-Wallis), Hodges-Lehmann 위치 차이, 순위-이감 상관관계(rank-biserial correlations), 부트스트랩 Spearman 상관관계가 사용되었다. 다중 비교 조정을 위해 p-값에 Benjamini-Hochberg 방식을 적용하였다. 검토자 간 신뢰도는 가중 Cohen's kappa, Gwet AC2, 그리고 급내 상관계수(ICC)를 사용하여 평가되었다.

주요 기여

• 이중 플랫폼 비교: 본 연구는 표준화된 질환 특화 완결성 프레임워크를 사용하여 도우인과 비리비리 간의 대장암 영상 정보 생태계를 직접 비교한 최초의 연구이다.
• 다차원적 평가: 본 연구는 "제시 방식의 품질"(GQS) 및 "신뢰성"(mDISCERN)을 "질환 특화 완결성"(CRC17)으로부터 분리하여, 이들이 서로 구별되는 개념임을 입증하였다.
• 인기(Popularity)와 품질의 분리: 본 연구는 참여 지표(좋아요, 공유 등)와 검색 순위가 정보 품질의 대리 지표 역할을 하는지 엄격하게 테스트하였으며, 조정 후에도 유의미한 상관관계를 발견하지 못했다.
• 신뢰도 지표: 본 연구는 검토자 간 일치도에 대한 미묘한 관점을 제공하며, 점수 분포의 집중도가 우연 교정 일치도 측정치(예: Gwet AC2 vs. 가중 kappa)에 미치는 영향을 강조한다.

결과

• 플랫폼 특성: 비리비리 영상은 도우인 영상보다 유의미하게 길었으며(중앙값 4.67분 vs. 2.57분), 더 오래되었다. 도우인 영상은 실질적으로 더 높은 참여도(좋아요, 즐겨찾기, 댓글, 공유)와 더 높은 계정 인증 비율(97.2% vs. 18.0%)을 보였다.
• 품질 및 신뢰성: 전반적 품질 척도(중앙값 4점)나 mDISCERN 점수(중앙값 3점)에 있어 플랫폼 간 유의미한 차이는 없었다.
• 완결성: 비리비리는 도우인(중앙값 4개 항목)에 비해 유의미하게 높은 CRC17 완결성(중앙값 6개 항목)을 나타냈다. 이러한 차이는 병인(식습관, 유전) 및 증상(복통, 배변 습관 변화) 영역에서 가장 두드러졌다.
• 업로더 및 콘텐츠: 전문의가 대다수의 영상(58.8%)을 업로드하였으나, 업로더 유형(전문의 vs. 일반 사용자) 및 콘텐츠 유형은 GQS, mDISCERN 또는 CRC17 점수를 유의미하게 예측하지 못했다.
• 상관관계: 영상 길이는 CRC17 완결성과 양의 상관관계를 보였다 ($\rho = .396$). 그러나 플랫폼 표준화된 상호작용 지수와 검색 순위 모두 다중성 조정 후 품질 측정치와 유의미한 상관관계를 보이지 않았다.
• 신뢰도: 검토자 간 일치도는 총점 기준으로는 보통 수준(ICC ~0.45)이었으나, Gwet AC2(.785)를 사용했을 때 가중 kappa(.412)보다 GQS에서 더 높게 나타났으며, 이는 점수 분포가 일치도 통계에 미치는 영향을 반영한다.

의의 및 주장
본 논문은 도우인과 비리비리가 일반적인 제시 품질과 출처 신뢰성 측면에서는 유사한 수준을 제공하지만, 비리비리가 특히 위험 요인 및 증상 인지와 관련하여 더 완전한 질환 특화 정보를 제공한다고 결론짓는다. 본 연구는 인기 및 기본 검색 순위가 대장암 정보의 품질을 나타내는 신뢰할 수 없는 지표라고 주장한다.

저자들은 세련되거나 매우 인기 있는 영상이라 할지라도 위험 인지, 선별 검사 결정 또는 치료 경로 이해에 필요한 핵심적인 임상 정보를 누락할 수 있다고 강조한다. 따라서 본 연구의 결과는 참여 지표 자체보다는 구조화된 콘텐츠 범위와 투명한 출처를 우선시하는 플랫폼별 전략의 필요성을 뒷받침한다. 또한 전문 업로더의 상태가 콘텐츠의 완결성이나 정확성을 보장하지는 않는다는 점을 들어, 업로더의 정체성에 의존하기보다 구조화된 콘텐츠 표준이 필요함을 시사한다.

저자가 밝힌 한계점
저자들은 다음과 같은 6가지 주요 한계점을 언급하였다:

1. 단 하루의 스냅샷 데이터는 플랫폼의 역동적이고 개인화된 특성을 반영하지 못할 수 있다.
2. 스크리닝이 처음 110개의 결과로 제한되었으며, 플랫폼 간 제외율의 차이가 있었다.
3. 참여 지표는 서로 다른 플랫폼 문화 간에 직접 비교될 수 없다.
4. 체크리스트의 범위가 사실적 정확성이나 환자의 이해도를 동일시하는 것은 아니다.
5. 검토자 간 신뢰도가 보통 수준이었으며, 유용성을 평가할 환자 대표가 참여하지 않았다.
6. 사전에 설정된 CRC17 조정 회귀 모델이 진단 기준을 충족하지 못하여, 혼란 변수가 조정된 추론에 한계가 있었다.