기술 요약: 이진 분류를 넘어: 레딧(Reddit) 내 암 관련 오정보에 대한 다차원적 분류 체계

문제 정의

소셜 미디어상의 암 관련 논의는 동료 지원과 정보 교환을 위한 중요한 공간 역할을 하지만, 동시에 예방, 스크리닝 및 치료 결정에 부정적인 영향을 미칠 수 있는 오정보의 확산을 용이하게 하기도 한다. 기존의 암 관련 오정보 연구는 좁은 정의, 소규모 데이터셋, 그리고 이진 라벨링 프레임워크(예: 참/거짓)에 의해 제한되어 있으며, 이는 수사적 프레이밍, 맥락, 그리고 온라인 건강 담론의 미묘한 특성을 포착하지 못한다. 현재의 연구들은 조작된 주장, 오도된 해석, 일화적 증거, 그리고 맥락화된 불확실성 사이의 구분을 간과하는 경우가 많으며, 이는 정교하고 세밀한 계산 모델의 발전을 저해한다.

방법론

데이터 수집

저자들은 4가지 주요 암 유형(유방암, 폐암, 대장암, 전립선암)과 관련된 24 $\text{subreddits}$에서 243,538개의 게시물을 수집했다. 빈 게시물, 자동화된 계정, 그리고 5단어 미만의 콘텐츠를 필터링한 후, 최종 데이터셋은 134,219개의 게시물로 구성되었다.

분류 체계(Taxonomy) 개발

이진 라벨을 넘어 오정보의 특성을 규명하기 위해 도메인 전문가(현직 종양 전문의)와 협력하여 다차원적 분류 체계를 개발하였다. 이 프레임워크는 7가지 상호 보완적인 차원으로 구성된다:

1. 오정보 존재 여부: 게시물이 허위, 오도, 또는 과학적으로 근거 없는 주장을 포함하고 있는지 여부.
2. 정보 유형: 정보 탐색형, 정보 공유형, 또는 두 가지 모두 해당.
3. 암 단계: 예방/스크리닝, 치료, 또는 기타/불분명한 맥락을 구분.
4. 오정보 유형: 기성 유형론(예: 풍자, 잘못된 연결, 오도된 콘텐츠, 조작된 콘텐츠, 변조된 콘텐츠)을 채택.
5. 위험 수준: 건강 행동에 미칠 잠재적 영향에 따라 저위험에서 고위험까지 평가.
6. 오정보에 대한 태도: 사용자의 참여 양상을 수용, 거부, 의문 제기, 또는 혼합된 조합(예: 수용 + 의문 제기)으로 포착.
7. 오정보 주제: 인과관계, 진단/스크리닝, 기존 치료의 안전성, 검증되지 않은 대안, 음모론적 서사, 의료적 자율성 등을 포함한 주제적 초점.

주석 달기 및 샘사플링

온라인 논의에서 오정보의 희소성을 고려하여 층화 추출 전략을 사용하였다. 먼저 오픈 웨이트 LLM(Qwen)을 사용하여 잠재적 오정보를 식별하는 초기 서브셋을 라벨링하였다. 이후 여러 LLM(GPT-5.4, GPT-5.2, Claude-Haiku-4.5)을 통한 필터링을 통해 높은 신뢰도의 선택을 보장하였다. 그 후, 두 명의 종양 전문의가 계층적 워크플로우를 사용하여 400개(오정보 200개, 비오정보 200개)의 균형 잡힌 세트를 주석 처리하였다. 상호 검토자 일치도(Cohen's $\kappa$)는 차원마다 달랐으며, "존재 여부"의 0.84부터 "위험 수준"의 0.28까지 나타나 특정 차원의 주관성을 드러냈다.

분류 및 평가

연구는 GPT-5, Gemini, Claude 및 오픈 웨이트 모델(Llama, Gemma, Qwen)을 포함한 다양한 대규모 언어 모델(LLM)의 오정보 분류 성능을 평가하였다.

• 프롬프팅 전략: 제로샷(zero-shot) 및 퓨샷(few-shot) 프롬프팅($k \in [1, 5]$ 예시)을 테스트하였다. 추론 과정과 텍스트 근거를 추출하기 위해 생각의 사슬(Chain-of-Thought, CoT) 프롬프팅을 통합하였다.
• 계층적 모델링: 분류는 주석 워크플로우를 따랐다: 먼저 오정보의 존재 여부를 결정한 다음, 오정보가 포함된 것으로 식려된 게시물에 대해 나머지 6개 차원을 분류하였다.
• 확장 가능한 주석: 가장 성능이 우수한 모델(1-shot 프롬프팅을 사용한 GPT-5)을 사용하여 나머지 약 134,000개의 게시물을 주석 처리하였다.

주요 결과

오정보 유병률

분석된 레딧 논의 중 암 관련 오정보는 약 6%(134,219개 중 7,949개 게시물)를 차지한다. 전체 볼륨에서는 소수이지만, 이는 잠재적으로 해로운 콘텐츠의 상당량을 나타낸다. 유병률은 커뮤니티마다 크게 달랐는데, 일부 니치(niche) 서브레딧은 비율이 51.4%까지 높았던 반면, r/breastcancer와 같은 대규모 커뮤니티는 상대적 비율은 낮았으나 절대적 볼륨은 더 높았다.

모델 성능

• 이진 분류: 제로샷 설정에서 상위 모델(GPT-5.5, Gemini 3.0 Flash)은 0.93의 F1 점수를 달랐다. 퓨샷 프롬프팅은 성능을 일관되게 향상시켰으며, 여러 모델에 걸쳐 최고 F1 점수는 0.94에 도달했다.
• 차원별 분류: 퓨샷 프롬프팅은 미묘한 차원을 분류할 때 가장 유의미한 이득을 주었다. 예를 들어, "오정보 유형"에서 Gemini-3-Flash는 제로샷의 F1 0.12에서 4-shot 적용 시 0.74로 개선되었다. "위험 수준" 분류 또한 0.22에서 0.52로 상당한 개선을 보였다.
• 일반화 가능성: 1-shot 프롬프팅을 사용한 GPT-5는 홀드아웃(held-out) 테스트 데이터에서 가장 안정적인 높은 수준의 성능(F1 = 0.952)을 보여 선정되었다.

콘텐츠 분석

• 지배적 주제: 가장 빈번한 오정보 테마는 **진단 및 스크리닝 관련 주장(42%)**과 **기존 치료의 안전성 및 유효성(37%)**이었다. 검증되지 않은 또는 대안적인 치료는 10%에 불과했다.
• 태도: 의문 제기 중심의 담론이 지배적이었다(63%). 이는 오정보가 명시적인 지지보다는 불확실성과 탐색적 논의를 통해 확산됨을 시사한다. 명시적 수용은 12%, 거부는 7%였다.
• 위험: 대부분의 오정보(73%)는 저위험으로 분류되었으며, 11%만이 고위험으로 분류되었다. 그러나 저자들은 저위험 콘텐츠라 할지라도 누적적으로 불신과 치료 주저를 초래할 수 있다고 언급했다.
• 서사: 반복되는 서사는 의료 전문성에 대한 불신, 과학적 합의와의 모순, 그리고 근거 없는 치료 권고를 중심으로 나타났다.

기여

1. 다차원적 분류 체계: 이진 탐지를 넘어 구조, 의사소통 역할, 잠재적 영향을 7가지 차원에서 포착하는 포괄적인 암 오정보 모델링 프레임워크를 도입하였다.
2. 전문가 주석 데이터셋: 도메인 전문가에 의해 주석이 달린 4가지 주요 암 커뮤니티를 아우르는 데이터셋을 구축 및 공개하여, 세밀한 NLP 분석을 위한 벤치마크를 제공한다.
3. 대규모 계산 분석: 13만 개 이상의 레딧 게시물을 체계적으로 분석하여, 암 관련 오정보가 단순히 "기적의 치료법"보다는 진단/스크리닝에 대한 불확실성과 기존 케어에 대한 불신에 의해 주로 유발된다는 것을 밝혀냈다. 또한, 퓨샷 프롬프팅을 활용한 LLM의 확장 가능하고 미묘한 건강 오정보 주석 작업의 타당성을 입증하였다.

의의 및 주장

본 논문은 다차원적 접근 방식이 온라인 암 오정보의 복잡성을 이해하는 데 필수적인 토대를 제공한다고 주장한다. 오정보의 유형, 위험 수준, 사용자 태도를 구분함으로써, 이 프레임워크는 이진 탐지 시스템보다 더 표적화된 개입을 가능하게 한다. 저자들은 오정보가 상대적으로 드물지만(6%), 높은 볼륨의 커뮤니티에 집중되어 있고 불확실성 및 불신과 연관되어 있다는 점에서 중요한 공중보건 문제라고 강조한다. 본 연구는 사실적 정확성만을 의존하기보다 대화적 의도와 위험 심각성을 고려하는 맥락 민감형 모더레이션 프레임워크의 필요성을 강조한다. 저자들은 자신들의 분류 체계, 데이터셋, 그리고 발견 사항이 암 오정보에 대한 더 정교한 NLP 분석을 가능하게 하여, 온라인 건강 커뮤니케이션의 역학에 관한 미래 연구를 지원할 것이라고 결론짓는다.