AI as We Describe It: How Large Language Models and Their Applications in Health are Represented Across Channels of Public Discourse

논문 개요

이 연구는 건강 (Health) 과 같은 고위험 분야에서 대규모 언어 모델 (LLM) 의 도입과 활용이 다양한 대중 담론 채널 (뉴스, 연구 보도자료, YouTube, TikTok, Reddit) 을 통해 어떻게 표현되고 있는지를 분석합니다. 연구진은 담론이 공중의 태도와 행동을 형성한다는 전제 하에, 현재 LLM 에 대한 서사가 잠재력과 한계를 균형 있게 전달하고 있는지, 특히 위험과 생성적 특성에 대한 이해가 얼마나 부족한지를 실증적으로 규명했습니다.

1. 연구 문제 (Problem)

• 문맥: LLM 은 기존 정보 검색 기술과 달리 확률적 방식으로 새로운 콘텐츠를 생성하는 '생성형 AI'입니다. 그러나 대중은 이를 인간과 유사한 의도를 가진 존재로 오인하거나 (인간화), 기존 검색 엔진과 동일한 신뢰도를 부여하는 등 잘못된 정신 모델 (Mental Model) 을 가지고 있습니다.
• 문제점: 건강 분야와 같이 고위험 (High-stakes) 영역에서 LLM 의 오작동 (할루시네이션, 편향 등) 은 심각한 실생활 피해로 이어질 수 있습니다. 하지만 대중 담론이 LLM 의 생성적 본질과 위험을 충분히 설명하지 못하고 있으며, 어떤 채널이 어떤 식으로 LLM 을 프레이밍 (Framing) 하는지에 대한 포괄적인 이해가 부족합니다.
• 연구 목표: 다양한 미디어 채널을 통해 LLM 이 건강 분야에서 어떻게 표현되는지 분석하여, 대중의 인식 격차 (Literacy Gap) 와 거버넌스 공백을 진단하고 효과적인 소통 전략을 모색하는 것입니다.

2. 연구 방법론 (Methodology)

• 데이터 수집:
  • 기간: 2022 년 12 월 (ChatGPT 출시) 부터 2024 년 12 월까지 2 년간.
  • 채널: 뉴스 (News), 연구 보도자료 (Research Press), YouTube, TikTok, Reddit 등 5 개 주요 담론 채널.
  • 규모: 초기 키워드 검색 (LLM 관련어 + 건강 관련어) 을 통해 62,783 건의 데이터를 수집했으며, LLM(GPT-4o-mini) 을 활용한 2 차 필터링을 거쳐 최종 21,773 건의 관련 콘텐츠를 분석 대상으로 선정했습니다.
• 분석 프레임워크:
  • 어휘적 스타일 (Lexical Style): LIWC(Linguistic Inquiry and Word Count) 를 활용하여 감정적 톤 (Emotional Tone), 분석적 스타일 (Analytic Style), 자신감/권위 (Clout), 진정성 (Authenticity) 을 정량화했습니다.
  • 정보적 내용 (Informational Content):
    • 프레이밍 (Framing): 에피소드적 (구체적 사례 중심) vs 주제적 (광범위한 사회적 맥락 중심) 프레이밍 비율 분석.
    • 위험 및 메커니즘 공개: LLM 의 위험 (개인, 인간 중심 치료, 정보 생태계, 기술 책임성) 과 생성적 본질 (확률적 특성 등) 에 대한 언급 여부 분류.
    • 건강 하위 도메인: 임상 지원, 워크플로우 최적화, 소비자 건강 지원 등 6 가지 주요 범주와 20 가지 하위 카테고리로 분류.
  • 상징적 표현 (Symbolic Representation): 마스킹 언어 모델을 사용하여 LLM 을 인간처럼 묘사하는 정도 (인간화, Anthropomorphism) 를 확률 기반으로 측정했습니다.
• 통계 분석: 채널 간 차이를 검증하기 위해 Kruskal-Wallis H 검정과 Dunn's 사후 검정을 수행했습니다.

3. 주요 기여 (Key Contributions)

1. 포괄적 담론 분석: 전문가가 생성한 콘텐츠 (Top-down) 와 대중이 생성한 콘텐츠 (Bottom-up) 를 모두 포함하여 LLM 의 건강 분야 적용에 대한 최초의 대규모 비교 분석을 수행했습니다.
2. 건강 하위 도메인 분류 체계: LLM 의 건강 분야 적용 가능성을 6 가지 주요 범주와 20 가지 하위 카테고리로 체계화하여 향후 연구의 기준을 제시했습니다.
3. 인식 및 거버넌스 격차 진단: 현재 대중 담론의 상태를 실증적으로 규명하여, 리터러시 부족과 위험 소통의 부재를 지적하고, 이를 진단 도구로 활용하여 효과적인 소통 및 설계 전략을 제안했습니다.

4. 주요 결과 (Results)

• 어휘적 스타일:
  • 전반적으로 긍정적인 톤을 보였으며 시간이 지남에 따라 더욱 긍정적이 되었습니다.
  • TikTok 과 YouTube가 가장 낙관적인 톤을 보였으며, 뉴스는 상대적으로 중립적이었습니다.
  • 뉴스와 연구 보도자료는 분석적이고 논리적인 스타일을 유지한 반면, **소셜 미디어 (TikTok, Reddit)**는 자신감 (Clout) 이 높고 분석적 스타일은 낮았습니다.
• 정보적 내용:
  • 에피소드적 프레이밍 우세: 대부분의 담론이 광범위한 사회적 맥락보다는 구체적인 개별 사례 (에피소드) 에 초점을 맞추고 있었습니다.
  • 위험 소통의 부재: LLM 의 위험에 대한 논의는 전반적으로 미흡했습니다. 위험이 언급될 경우 주로 '정보의 질' (할루시네이션, 오류) 로 축소되었으며, LLM 의 생성적 본질 (확률적 예측 등) 에 대한 설명은 거의 전무했습니다.
  • 채널 간 차이: TikTok 과 Reddit 은 위험 언급이 적었고, 뉴스와 연구 보도자료는 위험과 사회적 맥락을 더 많이 다루었습니다.
• 건강 하위 도메인:
  • TikTok 과 Reddit: 소비자 중심의 건강, 특히 **정신 건강 지원 (Therapeutic support)**과 정서적 동반자 역할에 집중했습니다.
  • 뉴스와 연구 보도자료: 임상 의사결정 지원, 연구 및 데이터 분석, 신약 개발 등 전문적이고 시스템적인 용도에 집중했습니다.
• 상징적 표현 (인간화):
  • 전반적으로 인간화 수준은 낮았으나, TikTok 과 Reddit에서는 LLM 을 의도나 감정을 가진 존재로 묘사하는 극단적인 인간화 표현이 발견되었습니다. 반면 연구 보도자료는 기술적 묘사에 치중하여 인간화 수준이 가장 낮았습니다.

5. 의의 및 시사점 (Significance)

• 대중 담론의 진단 도구: 대중 담론 분석을 통해 대중의 기대와 관심을 추적하고, 리터러시 및 거버넌스 공백을 식별하는 도구로 활용 가능함을 입증했습니다.
• 소통 전략의 필요성: 단순히 "AI 와 상호작용 중"임을 알리는 것을 넘어, LLM 의 생성적 메커니즘과 고유한 위험을 대중이 이해할 수 있도록 설명하는 '메커니즘적 이해 (Mechanistic Understanding)' 기반 소통 전략이 시급함을 강조했습니다.
• 디자인 및 정책 제언:
  • 디자인: 사용자의 오해를 방지하기 위해 생성형 AI 의 작동 원리를 직관적으로 보여주는 인-시투 (In-situ) 리터러시 지원 설계가 필요합니다.
  • 정책: 대중의 수요가 높지만 위험이 큰 영역 (예: 정신 건강, 정서적 동반자) 에 대한 규제와 가이드라인 정비가 시급하며, 이는 대중 담론 분석을 통해 우선순위를 설정할 수 있습니다.
• 채널별 전략: 전문가 채널은 임상적/시스템적 측면을, 대중 채널은 정서적/개인적 측면을 다루는 비대칭적 구조를 인지하고, 각 채널의 특성에 맞는 균형 잡힌 정보 전달 전략이 필요함을 시사합니다.

이 연구는 LLM 이 건강 분야에 도입되는 과정에서 발생하는 인식의 불일치를 규명하고, 보다 안전하고 정보에 입각한 (Informed) LLM 활용을 위한 학제간 접근의 중요성을 강조합니다.