Finetuning Large Language Models for Automated Depression Screening in Nigerian Pidgin English: GENSCORE Pilot Study

논문 요약: 나이지리아 피진 영어 (Nigerian Pidgin) 를 위한 자동 우울증 선별을 위한 대규모 언어 모델 (LLM) 파인튜닝 연구

1. 문제 정의 (Problem Statement)

나이지리아는 정신건강 서비스 접근성 부족, 낙인 (Stigma), 그리고 언어적 장벽으로 인해 우울증 선별이 매우 제한적인 상태입니다.

• 인력 부족: 나이지리아는 2 억 명 이상의 인구에 비해 정신과 전문의가 300 명 미만으로 심각한 인력 부족을 겪고 있습니다.
• 문화 및 언어적 불일치: 기존에 고소득 국가에서 개발된 표준 임상 도구인 PHQ-9(Patient Health Questionnaire-9) 는 영어로 작성되어 있어, 나이지리아의 공용어이자 520 개 이상의 지역 언어와 함께 사용되는 '나이지리아 피진 (Nigerian Pidgin)' 화자들에게는 문화적, 언어적으로 접근하기 어렵습니다.
• 기존 AI 의 한계: 일반적인 대규모 언어 모델 (LLM) 은 피진어의 고유한 관용구 (예: "my head dey heavy" - 정신적 피로), 은유, 속담 등을 이해하지 못해 정신건강 평가 시 오진이나 부적절한 응답을 유발할 수 있으며, 위기 상황 (자해 등) 에 대한 안전 장치가 부족합니다.

2. 방법론 (Methodology)

이 연구는 나이지리아 피진어로 대화 가능한 자동 우울증 선별 시스템을 구축하기 위해 데이터 수집부터 모델 평가까지의 엔드 - 투 - 엔드 파이프라인을 제시합니다.

• 데이터 수집 및 전처리:

  • GENCURATE 플랫폼: 나이지리아 청년 (18~40 세) 432 명을 대상으로 PHQ-9 항목에 기반한 심리적 경험을 묻는 질문에 대한 피진어 음성 응답을 수집했습니다.
  • 데이터셋 구성: 수집된 432 개의 샘플을 전사 (Transcription) 하고, 345 개 (학습), 44 개 (검증), 42 개 (테스트) 로 분할했습니다.
  • 주석 (Annotation): 계산 언어학자, 심리학자, 원어민 피진 화자로 구성된 팀이 데이터에 대해 PHQ-9 심각도 점수 (0~3), 의미적 의도 (직유 vs 은유), 슬랭 및 관용구 해석을 포함하여 정밀하게 주석을 달았습니다.

• 모델 파인튜닝 (Fine-tuning):

  • 대상 모델: 세 가지 크기의 LLM 을 비교 평가했습니다.
    1. Phi-3-mini-4k-instruct: 경량화 모델 (저자원 배포용).
    2. Gemma-3-4B-it: 중규모 모델 (다국어 및 맥락 추론 강화).
    3. GPT-4.1: 대규모 모델 (고급 다국어 일반화 및 안전성).
  • 학습 방식: 모든 모델에 대해 **지도 학습 (Supervised Fine-Tuning, SFT)**을 수행했습니다. 학습 데이터는 피진어로 적응된 PHQ-9 질문, 사용자 응답, 그리고 심각도/의도/관용구 해석 주석이 포함된 구조화된 형식입니다.
  • 안전 및 문화적 톤 프롬프트: 모델이 진단을 내리지 않도록 하고, 위기 상황 (자해 언급 등) 에는 적절한 에스컬레이션 (Escalation) 을 수행하며, 따뜻하고 공감적인 피진어 톤을 유지하도록 시스템 프롬프트를 설계했습니다.

• 평가 프레임워크:

  • 정량적 평가: PHQ-9 심각도 분류 정확도, 정밀도, F1 점수, 의미 정렬 (BERTScore), 안전 준수율.
  • 정성적 평가: 임상 심리학과 원어민 피진 화자가 명확성, 관련성, 문화적 적절성을 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 피진어 기반 정신건강 데이터셋: PHQ-9 항목에 매핑된 432 개의 피진어 음성 응답 및 심층 주석이 포함된 데이터셋을 구축했습니다.
2. 문화적 적응형 LLM 파인튜닝: 단순 번역이 아닌, 피진어의 고유한 관용구와 은유를 이해하도록 LLM 을 파인튜닝하여 문화적 맥락을 반영한 정신건강 도구 개발의 가능성을 입증했습니다.
3. 안전성 중심의 AI 설계: 정신건강이라는 민감한 분야에서 모델이 진단을 내리지 않고, 위기 상황에 적절히 대응하도록 안전 장치를 통합한 프롬프트 엔지니어링 및 학습 전략을 제시했습니다.
4. 모델 규모 비교 연구: 저자원 언어 환경에서 모델의 규모 (Phi-3 vs Gemma-3 vs GPT-4.1) 가 문화적 이해도와 안전성 준수에 미치는 영향을 체계적으로 분석했습니다.

4. 결과 (Results)

세 모델 중 GPT-4.1이 모든 지표에서 가장 우수한 성능을 보였습니다.

• 정량적 성능 (PHQ-9 심각도 분류):
  • GPT-4.1: 정확도 94.5%, 정밀도 93.2%, F1 점수 89.1%.
  • Gemma-3-4B-it: 정확도 82.7%, F1 점수 74.5%.
  • Phi-3-mini-4k-instruct: 정확도 71.8%, F1 점수 60.9%.
• 의미 이해 (Semantic Alignment):
  • GPT-4.1 은 관용구와 은유적 표현을 해석하는 데 BERTScore F1 0.95를 기록하여, 다른 모델 (Phi-3: 0.72, Gemma-3: 0.85) 을 크게 앞섰습니다.
• 안전 및 윤리 준수:
  • GPT-4.1 은 자해 관련 내용 (PHQ-9 9 번 항목) 에 대한 100% 올바른 에스컬레이션과 99% 비진단 준수율을 달성했습니다.
• 정성적 평가:
  • 인간 평가자 (심리학자 및 원어민) 는 GPT-4.1 의 응답이 가장 명확하고 (98%), 관련성이 높으며 (96%), 문화적으로 적절하다고 (98%) 평가했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 환경에서의 AI 적용 가능성: 이 연구는 소규모 데이터셋으로도 문화적으로 적응된 LLM 파인튜닝이 저자원 언어 환경에서 효과적인 정신건강 선별 도구를 만들 수 있음을 입증했습니다.
• 확장성: 나이지리아의 다양한 언어와 방언으로의 확장을 통해 의료 접근성이 낮은 지역 (Slum 및 Rural 지역) 에 자동화된 정신건강 서비스를 제공할 수 있는 기반을 마련했습니다.
• 안전한 AI 의료: 대규모 모델일수록 문화적 뉘앙스를 더 잘 이해하고 안전 장치를 더 잘 준수한다는 점을 확인함으로써, 정신건강 분야 AI 개발 시 모델 규모와 문화적 적응의 중요성을 강조했습니다.

이 연구는 언어적, 문화적 장벽을 극복하고 나이지리아 및 유사한 저소득 국가의 정신건강 격차를 해소하기 위한 중요한 첫걸음으로 평가됩니다.