Evaluating Large Language Models' Responses to Sexual and Reproductive Health Queries in Nepali

이 논문은 네팔어 성 및 생식 건강 질문을 평가하기 위해 정확성, 언어, 사용성, 안전성 등 다차원적 기준을 제시한 'LEAF' 프레임워크를 개발하고, 이를 통해 현재 대규모 언어 모델이 적절하고 안전한 답변을 제공하는 비율이 35.1% 에 불과하다는 한계를 드러냈습니다.

핵심

🌟 핵심 이야기: "AI 상담사, 말은 잘하지만 '사람'은 아닐까?"

연구진들은 AI(특히 챗GPT) 가 네팔어 사용자에게 성 건강에 대한 조언을 줄 수 있는지 시험해 보았습니다. 마치 새로운 상담사를 채용해서 훈련시키는 과정과 같습니다.

1. 왜 이 연구를 했나요? (배경)

네팔에서는 성 건강에 대해 묻는 것이 부끄럽거나 두려운 일이 많습니다. 사람들은 AI 를 만나면 남의 시선을 의식하지 않고, 부끄러움 없이 질문할 수 있습니다. 하지만 AI 가 엉뚱한 소리나 위험한 조언을 한다면 큰 문제가 됩니다. 그래서 "AI 가 정말로 믿을 만한 상담사가 될 수 있을까?"를 확인하기로 했습니다.

2. 새로운 평가 도구 'LEAF'를 만들었습니다 (방법론)

기존에는 AI 가 "사실 (Accuracy)"만 맞는지 확인했습니다. 하지만 연구진들은 **"사실만 맞으면 된다고?"**라고 생각했습니다.
이들은 LEAF라는 새로운 평가 기준을 만들었습니다. 이는 마치 음식 평가를 할 때 '맛 (사실)'만 보는 게 아니라, **'위생 (안전)', '접근성 (언어)', '배려 (문화적 적절성)'**까지 모두 보는 것과 같습니다.

• 맛 (정확성): 의학적 사실이 맞나요?
• 위생 (안전성): 폭력이나 자살을 부추기는 위험한 조언은 없나요?
• 접근성 (언어): 네팔어로 자연스럽게 말하나요? 아니면 엉뚱한 영어로 대답하나요?
• 배려 (문화적 적절성): 네팔의 문화나 상황에 맞나요? (예: 네팔에 없는 약을 추천하지 않는지)

3. 실험 결과: "대부분은 '괜찮은' 상담사였지만, '완벽한' 상담사는 아니었다" (결과)

네팔 전역에서 9,000 명 이상의 사람들과 14,000 건 이상의 대화를 나누고 AI 의 답변을 전문가들이 평가했습니다. 결과는 다음과 같았습니다.

• 🍎 "완벽한 상담사"는 35% 뿐: 모든 조건 (사실, 안전, 문화적 배려 등) 을 다 갖춘 '훌륭한 답변'은 전체의 **35.1%**에 불과했습니다.
• 📚 "지식은 있지만, 배려가 부족함": 사실 (의학 지식) 은 62% 정도 맞았습니다. 하지만 정답을 알려줘도 너무 길거나, 문화적으로 맞지 않거나, 필요한 정보가 빠진 경우가 많았습니다.
  • 비유: AI 가 "감기에 좋은 약은 A, B, C 입니다"라고 정확한 약 이름을 알려주지만, **"네팔 시골에서는 A 약을 구할 수 없습니다"**라는 사실을 모르고 말해버린 것과 같습니다.
• ⚠️ "위험한 조언"은 드물지만 존재함: 전체의 0.7% 정도는 안전하지 않은 조언을 했습니다. 하지만 성 건강 같은 민감한 주제에서는 0.1% 의 위험한 조언도 사람의 생명을 위협할 수 있습니다.

4. 버전 비교: "초보 상담사 vs 베테랑 상담사" (GPT-3.5 vs GPT-4)

연구진은 최신 버전인 GPT-4 도 테스트해 보았습니다.

• GPT-3.5 (초보): 사실은 어느 정도 알지만, 엉뚱한 말을 하거나 문화적 맥락을 모르는 경우가 많았습니다.
• GPT-4 (베테랑): 훨씬 더 똑똑해졌습니다. 잘못된 답변이 줄고, 더 적절한 조언을 했습니다. 하지만 여전히 완벽하지는 않았습니다. 특히 네팔어를 로마자 (영어 알파벳) 로 적었을 때 혼란을 겪는 등, 언어 처리에 약점이 있었습니다.

5. 결론 및 제언: "아직은 보조 역할로만"

이 연구는 **"AI 가 성 건강 상담에 완전히 의존하기엔 아직 준비가 덜 되었다"**는 것을 보여줍니다.

• 현재 상태: AI 는 훌륭한 '정보 검색 도구'가 될 수 있지만, '최종 결정권자'나 '전문 상담사'로 바로 쓰기는 위험합니다.
• 미래 제안: AI 를 더 발전시키기 위해서는 단순히 '지식'을 늘리는 것뿐만 아니라, 사용자의 문화, 언어, 안전까지 고려하는 '배려'를 학습시켜야 합니다.

💡 한 줄 요약

"AI 는 성 건강에 대해 꽤 많은 지식을 가지고 있지만, 네팔 사람들의 문화와 상황에 맞춰 '안전하고 따뜻한 조언'을 하는 데는 아직 갈 길이 멉니다. 우리는 AI 를 '완벽한 의사'가 아니라 '도움을 주는 보조 도구'로 발전시켜야 합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 일상생활과 의료 분야에 통합되면서, 성 및 생식 건강 (SRH) 과 같은 민감하고 개인적인 주제를 익명으로 상담하는 도구로 활용되고 있습니다. 특히 네팔과 같은 저자원 국가에서는 정보 접근성 부족, 낙인, 오해 등으로 인해 SRH 서비스 접근에 장벽이 존재하며, LLM 기반 챗봇이 해결책이 될 수 있는 잠재력을 가지고 있습니다.
• 문제점:
  • 기존 LLM 평가 연구는 주로 **정확도 (Accuracy)**에 집중하며, 고자원 언어 (영어 등) 와 객관적 질문을 대상으로 합니다.
  • 저자원 언어 (네팔어) 와 문화적으로 민감한 분야 (SRH) 에서는 **사용성 (Usability)**과 **안전성 (Safety)**을 종합적으로 평가하는 기준이 부재합니다.
  • 정확도가 높더라도 문화적 적절성, 비밀 유지, 유해한 정보 제공 여부 등이 고려되지 않으면 실제 의료/상담 도구로서 신뢰할 수 없습니다.

2. 방법론 (Methodology)

이 연구는 새로운 평가 프레임워크인 **LEAF (LLM Evaluation Framework)**를 개발하고, 이를 네팔어 SRH 챗봇에 적용하여 데이터를 수집 및 분석했습니다.

가. LEAF 프레임워크 개발

기존 문헌에 부합하는 포괄적인 평가 도구가 없어, SRH 전문가 4 인 팀이 개발한 다중 기준 평가 체계입니다. 4 가지 주요 기준과 하위 항목으로 구성됩니다:

1. 정확도 (Accuracy): 사실의 정확성 (정확함, 부분적 정확, 부정확).
2. 언어 (Language): 질문과 응답의 언어 일치 여부 (네팔어/영어/혼합).
3. 사용성 격차 (Usability Gaps):
   • 관련성 (Relevance), 충분성 (Adequacy), 문화적 적절성 (Cultural appropriateness), 최신성 (Updatedness), 길이 (Length).
4. 안전성 격차 (Safety Gaps):
   • 안전성 (Safety: 생명 위협적 조언 여부), 민감성 (Sensitivity: 편견/불쾌한 표현), 비밀 유지 (Confidentiality: 개인정보 유출).
   • 정의: 모든 기준을 충족하는 응답을 "적절함 (Proper)"으로 분류합니다.

나. 데이터 수집 플랫폼 및 모델

• 플랫폼: 네팔 전역 (45 개 자치구, 7 개 주) 에서 2023 년 10 월~2024 년 2 월까지 9,035 명의 사용자 (일반인 78.4%, 여성 지역 보건 자원봉사자 FCHV 21.6%) 를 대상으로 챗봇 인터페이스를 통해 데이터를 수집했습니다.
• 사용 모델:
  • ChatGPT1: GPT-3.5 (Vanilla).
  • ChatGPT2: GPT-3.5 + RAG (Retrieval-Augmented Generation). 네팔 보건부 (NHEICC) 의 SRH 관련 22 개 문서 (청소년 건강, 피임, 교육 매뉴얼 등) 를 외부 지식 베이스로 통합하여 정확도를 높였습니다.
  • 참고: 오픈소스 모델 (Llama2, Mistral 등) 도 테스트했으나, 네팔어 이해도 및 생성 능력에서 GPT-3.5 에 미치지 못해 최종 실험에는 제외되었습니다.
• 데이터 처리: 총 10,535 회 대화 중 유효한 다중 턴 대화 8,272 회를 선별하여, GPT 모델이 생성한 14,132 개의 의미 있는 질문 - 응답 쌍을 최종 분석 대상으로 삼았습니다.

다. 평가 프로세스

• 수집된 응답은 SRH 전문가 4 인이 LEAF 프레임워크에 따라 수동으로 라벨링했습니다.
• 인터레이터 신뢰도 (Interrater Agreement): 코헨의 카파 (Cohen's Kappa) 점수가 정확도 평가에서 0.764( substantial agreement), 이진 분류에서 0.873(almost perfect agreement) 으로 나타나 평가의 일관성이 높음을 확인했습니다.

3. 주요 결과 (Key Results)

가. 전반적 성능

• "적절함 (Proper)" 응답 비율: 전체 응답 중 정확하고, 충분하며, 안전하고 문화적으로 적절한 응답은 **35.1%**에 불과했습니다.
• 정확도: 응답의 62.1% 가 사실적으로 정확했으나, 이 중 **43.8%**는 사용성 격차 (부족한 정보, 관련성 부재 등) 나 안전성 격차를 가지고 있어, 정확도만으로는 전체 품질을 보장할 수 없음을 시사합니다.

나. 사용성 및 안전성 격차 분석

• 사용성: 응답의 **74.0%**가 정보 부족 (Inadequate) 으로 분류되었으며, 14.9% 는 관련성이 없었고 10.4% 는 불필요하게 길었습니다. 문화적 적절성이나 최신성 문제는 드물게 발생했습니다.
• 안전성: 전체 응답의 0.74% 가 안전하지 않은 조언을 포함했고, 0.38% 는 민감하거나 불쾌한 언어를 사용했습니다. 비록 비율은 낮지만, 의료적 맥락에서 이러한 오류는 치명적인 결과를 초래할 수 있습니다.
• 언어: 사용자의 질문 84.2% 가 네팔어였으나, 응답의 73.5% 만 네팔어였습니다. 약 10.7% 의 네팔어 질문이 영어로 답변되었으며, 7.5% 는 다국어 (네팔어/영어/힌디어 혼합) 로 응답되었습니다.

다. 모델 비교 (GPT-3.5 vs GPT-4)

• 소규모 실험 (100 개 질문 재평가) 에서 GPT-4는 GPT-3.5 대비 성능이 향상되었습니다.
  • "적절함" 응답 비율: 3.5(1%) → 4(12%).
  • 정확도: 26% → 50%.
  • 관련성 없는 응답 감소 (28 개 → 10 개).
• 그러나 GPT-4 도 로마자 네팔어 (Romanized Nepali) 입력 처리 시 여전히 어려움을 겪었으며, 사용자 친화성 (불필요한 문장, 비논리적 표현) 측면에서는 개선이 필요했습니다.

4. 주요 기여 (Key Contributions)

1. LEAF 프레임워크 제안: 정확도뿐만 아니라 언어, 사용성, 안전성을 포괄하는 다중 기준 평가 프레임워크를 최초로 제안했습니다. 이는 언어와 도메인에 구애받지 않고 적용 가능한 언어 중립적 (language-agnostic) 접근법입니다.
2. 저자원 언어 및 문화적 맥락 적용: 영어 중심의 기존 연구와 달리, 네팔어라는 저자원 언어와 성/생식 건강이라는 민감한 문화적 맥락에서 LLM 의 성능을 체계적으로 평가했습니다.
3. 커뮤니티 기반 대규모 데이터셋: 9,000 명 이상의 사용자로부터 14,000 개 이상의 SRH 질문을 수집하여, 전 세계적으로도 유례가 없는 규모의 SRH 관련 LLM 데이터셋을 구축했습니다.
4. 실증적 한계 규명: LLM 이 의료 상담 도구로 활용되기 위해 정확도 외의 사용성 (충분성, 길이) 과 안전성 (비밀 유지, 유해성 방지) 측면에서 여전히 큰 개선이 필요함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 정책 및 개발자 지침: LLM 기반 건강 상담 도구를 개발할 때 단순한 정확도 최적화를 넘어, 문화적 적절성과 안전성 보장을 위한 다각적인 접근이 필요함을 강조합니다.
• 저자원 국가의 디지털 건강 격차 해소: 네팔과 같은 저자원 국가에서 SRH 정보 접근성을 높이기 위해 LLM 을 활용할 수 있는 잠재력을 보여주지만, 동시에 현재 기술의 한계를 명확히 경고합니다.
• 지속적 평가의 필요성: GPT-4 의 성능 향상이 확인되었으나, 모델의 지속적인 발전에 따라 LEAF 와 같은 평가 프레임워크를 통해 정기적인 검증이 이루어져야 함을 강조합니다.

이 연구는 LLM 이 민감한 건강 분야에서 안전하고 신뢰할 수 있는 도구로 자리 잡기 위해서는 기술적 정확도뿐만 아니라 인간 중심의 사용성과 윤리적 안전성을 종합적으로 평가하고 개선해야 함을 시사합니다.