Trust, Safety, and Accuracy: Assessing LLMs for Routine Maternity Advice

논문 기술 요약: 산모 건강을 위한 LLM(대형 언어 모델) 의 신뢰성, 안전성 및 정확성 평가

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 인도의 산모 건강 정보 접근성은 의료 인프라 부족과 사회문화적 낙인으로 인해 심각한 문제입니다. 많은 여성들이 낙인이나 사생활 우려로 인해 의사와 임신 관련 문제를 논의하기를 꺼리며, 대신 LLM(대형 언어 모델) 과 같은 디지털 플랫폼을 일상적인 건강 문의처로 활용하고 있습니다.
• 문제: 인터넷 사용자가 급증하고 있지만, 임신 관련 오해와 문화적으로 뿌리 깊은 신화 (Myths) 가 여전히 만연합니다. LLM 이 민감한 주제인 임신에 대해 신속하고 공감적이며 사생활을 보호하는 답변을 제공할 잠재력이 있지만, 의료적 신뢰성, 가독성, 문화적 민감성에 대한 체계적인 평가가 부족합니다.
• 목표: 인도 사회문화적 맥락에서 임신 관련 질문 (일반적인 신화 및 오해 포함) 에 대해 ChatGPT-4o, Perplexity AI, GeminiAI 등 주요 LLM 들이 제공하는 답변의 정확성, 가독성, 그리고 전문가 답변과의 정합성을 평가하는 것입니다.

2. 연구 방법론 (Methodology)

연구는 2 단계 구조화된 방법론과 3 가지 핵심 평가 지표를 기반으로 수행되었습니다.

• 데이터 수집:

  • 질문 설계: 초기 임신부터 산후 관리까지 17 가지 질문을 구성하며, 인도 맥락에서 흔한 신화와 오해를 포함시켰습니다.
  • 모델 응답: LLM 들에게 "현지 경험이 풍부한 산부인과 및 산모 관리 전문가" 역할을 수행하도록 지시하여 답변을 생성했습니다.
  • 전문가 기준: 숙련된 산부인과 전문가 4 명 (D1-D4) 의 답변을 수집하여 비교 기준 (Ground Truth) 으로 사용했습니다.

• 평가 지표:

  1. 가독성 평가 (Readability Assessment): 비전문가 (특히 다양한 교육 수준의 산모) 가 이해하기 쉬운 언어인지 확인하기 위해 6 가지 언어학적 지표를 사용했습니다.
     • Flesch Reading Ease (FRE): 점수가 높을수록 읽기 쉬움.
     • Flesch-Kincaid Grade Level (FKGL), Gunning Fog Index (GFI), SMOG Index, Dale–Chall (DCRS), Automated Readability Index (ARI): 점수가 낮을수록 이해하기 쉬운 텍스트 (초등학교~중학교 수준).
  2. 의미적 유사성 분석 (Semantic Similarity): Cosine Similarity 를 사용하여 LLM 답변과 전문가 답변 간의 벡터 표현 기반 의미 일치도를 측정했습니다.
  3. 명사 엔티티 중첩 분석 (Noun Entity Overlap): Jaccard Similarity 를 사용하여 의료 용어, 조건, 해부학적 참조 등 핵심 명사 엔티티가 전문가 답변과 얼마나 겹치는지 정량화했습니다.

3. 주요 결과 (Results)

• 가독성 (Readability):

  • ChatGPT가 모든 모델 중 가장 높은 가독성을 보였습니다.
    • FRE 점수: 64.63 (가장 높음, 중학교 수준 이해도).
    • FKGL 점수: 7.53 (가장 낮음, 7~8 학년 수준).
  • ChatGPT 는 6 가지 가독성 지표 중 5 가지에서 Perplexity 와 Gemini 를 능가했습니다.
  • Perplexity는 문장이 길고 어휘가 복잡하여 가독성 점수가 상대적으로 낮았으며, Gemini는 중간 수준을 보였습니다.

• 의미적 유사성 (Semantic Similarity - Cosine):

  • Perplexity AI가 4 명의 전문가 중 3 명 (D1, D2, D3) 에 대해 가장 높은 평균 의미 유사성 (평균 Cosine = 0.206) 을 보였습니다.
  • ChatGPT 는 D2 에서 Perplexity 와 유사한 성능을 보였으나, 전반적으로는 Perplexity 가 의미적 정합성 면에서 우세했습니다.
  • 모든 모델은 D4 전문가의 답변과 유사성이 크게 떨어졌습니다.

• 명사 엔티티 중첩 (Noun Overlap - Jaccard):

  • ChatGPT가 전체적으로 가장 효과적이었으며, 특히 D2 에서 높은 일치율을 보였습니다 (Jaccard = 0.172~0.216).
  • Perplexity는 D1, D2, D3 에서 일관되게 강력한 성능을 보였습니다.
  • 세 모델 모두 D4 와의 명사 엔티티 중첩에서는 어려움을 겪었습니다.

4. 주요 기여 및 결론 (Key Contributions & Conclusion)

• 주요 기여:

  • 인도라는 특정 사회문화적 맥락에서 LLM 의 산모 건강 정보 제공 능력을 다각도로 (가독성, 의미, 용어) 평가한 최초의 체계적인 연구 중 하나입니다.
  • ChatGPT 가 가독성과 임상적 일관성 면에서 가장 우수함을 입증하여, 교육 수준이 다양한 산모들에게 정보를 전달하는 데 가장 적합한 모델임을 시사했습니다.
  • Perplexity AI 가 전문가 답변과의 의미적 정합성 측면에서 강점을 보임을 확인했습니다.

• 의의:

  • LLM 은 의료 접근성이 낮은 인도 농촌 및 반도시 지역 여성들에게 임신 관련 신화를 해소하고, 정보 격차를 줄이며, 디지털 건강 문해력을 향상시키는 보조 도구로서의 잠재력이 큽니다.
  • 특히 ChatGPT 와 Perplexity AI 는 민감한 건강 주제에 대해 신뢰할 수 있고 문화적으로 민감한 정보를 제공할 수 있습니다.

5. 한계 및 향후 과제 (Limitations & Future Work)

• 한계: 현재 LLM 답변의 가독성이 여전히 일부 여성 (다양한 배경) 에게는 이해를 방해할 수 있는 수준일 수 있으며, D4 전문가 답변과의 유사성이 낮아 모델 간 편차가 존재합니다.
• 향후 연구:
  • 더 다양한 의료 영역과 사회문화적 맥락으로 평가를 확장하여 포용성을 높여야 합니다.
  • 지역 보건 지침을 반영하고 도메인 특화 튜닝 (Domain-specific tuning) 을 통해 정확성과 관련성을 더욱 향상시켜야 합니다.
  • 산모 건강 커뮤니케이션에서 책임 있는 AI 사용을 위해 지속적인 벤치마킹과 실세계 검증이 필수적입니다.

핵심 요약: 이 연구는 ChatGPT 가 가독성 측면에서, Perplexity 가 의미적 정확성 측면에서 산모 건강 정보 제공에 가장 유망한 도구임을 입증했습니다. 이는 인도와 같은 의료 인프라가 부족한 지역에서 LLM 을 활용한 디지털 헬스케어 솔루션의 가능성을 제시합니다.