Leveraging LLMs for Translating and Classifying Mental Health Data

기술 요약: 정신 건강 데이터의 번역 및 분류를 위한 LLM 활용

문제 제기
대규모 언어 모델(LLM)은 사용자 생성 텍스트의 언어적 표지를 통해 정신 건강 상태를 조기에 식별할 수 있는 잠재력을 제공하지만, 그 적용은 영어 데이터셋에 크게 편중되어 있습니다. 저자원 언어 및 비영어권 맥락에서 이러한 모델의 성능에 관한 연구는 상당한 공백이 존재합니다. 나아가, 영어로 된 정신 건강 데이터를 다른 언어로 자동 번역한 후 이를 분류하는 데 LLM을 사용하는 것의 효용성에 대해서도 아직 충분히 탐구되지 않았습니다. 본 연구는 LLM이 영어 게시물의 우울증 심각도를 정확하게 예측할 수 있는지, 그리고 특정 자원이 부족한 언어인 그리스어로 게시물을 자동 번형했을 때도 이러한 성능이 유지되는지를 조사함으로써 이러한 공백을 메우고자 합니다.

방법론
저자들은 번역과 분류 작업 모두에 최첨단 다국어 LLM(GPT-3.5-turbo)을 활용하는 파이프라인을 제안합니다.

• 데이터셋: 본 연구는 네 가지 우울증 심각도 단계(최소, 경도, 중등도, 심각)로 라벨링된 3,553개의 레딧(Reddit) 게시물로 구성된 DEPSEVERITY 데이터셋(Naseem et al., 2022)을 사용합니다. 이 데이터셋은 대다수의 게시물이 "최소(Minimum)" 범주에 속해 있어 불균형이 매우 심한 것으로 언급되었습니다.
• 절차:
  1. 베이스라인 (영어): LLM은 0-shot 학습을 사용하여 원래의 영어 게시물을 네 가지 심각도 단계로 분류하도록 프롬프트가 구성됩니다.
  2. 번역: 동일한 LLM이 영어 게시물을 그리스어로 번역합니다.
  3. 대상 분류 (그리스어): 번역된 그리스어 텍스트가 심각도 단계를 예측하도록 하는 프롬프트와 함께 다시 LLM에 입력됩니다.
  4. 평가: 성능은 영어와 그리스어 모두에서 예측된 클래스를 실제 정답(ground truth) 라벨과 비교하여 정밀도(Precision), 재현율(Recall), F1-점수(F1-score)를 사용하여 측정됩니다. 재현성을 보장하기 위해 온도(temperature) 파라미터는 0으로 설정되었습니다.
• 프롬프팅 전략: 주요 실험에 앞서, 저자들은 LLM의 내부 논리를 이해하기 위해 예비 프롬프팅을 수행했습니다. 모델은 지속적인 부정적 감정, 자기 비난, 행동 변화와 같은 패턴을 식별하였으며, 사회적 미디어 맥락에 맞게 심각도 수준을 조정하였습니다(예: "심각(Severe)"을 자해 위험이나 완전한 사회적 고립을 나타내는 게시물로 정의).

주요 결과
실험 결과, LLM은 두 언어 모두에서 우울증 심각도의 특정 단계들을 정확하게 구별하는 데 어려움을 겪었으나, 클래스와 언어에 따라 성능 차이가 있었습니다.

• 영어 성능: 모델은 "최소(Minimum)" 클래스(0.25)와 "심각(Severe)" 클래스(0.22)에서 가장 높은 F1-점수를 기록했습니다. 전체 매크로 F1-점수는 0.17로 낮았습니다. 저자들은 일반적인 질환과 비교했을 때 사용자 게시물에 나타나는 심각도 단계 간의 미묘한 차이 때문에 이러한 어려움이 발생한다고 분석했습니다.
• 그리스어 성능: 번역 후, 대부분의 클래스에서 전반적인 성능 저하가 나타났습니다.
  • "경도(Mild)" 클래스는 약간의 하락을 보였습니다 (영어 F1: 0.07 vs 그리스어 F1: 0.06).
  • "최소(Minimum)" 클래스는 크게 하락했습니다 (영어 F1: 0.25 vs 그리스어 F1: 0.14).
  • "심각(Severe)" 클래스 또한 하락했습니다 (영어 F1: 0.22 vs 그리스어 F1: 0.20).
  • 주목할 점은 "중등도(Moderate)" 클래스의 F1-점수가 향상되었다는 것입니다 (영어 F1: 0.17 vs 그리스어 F1: 0.23).
• 오류 분석: 저자들은 LLM이 불안(anxiety)이나 공황(panic) 증상을 우울증으로 오분류한 구체적인 사례를 분석했습니다. 예를 들어, 공황과 불안을 설명하는 게시물을 LLM은 "심각(Severe)"으로 분류했으나, 실제 정답은 "최소(Minimum)"였습니다. 저자들은 LLM이 일반적인 고통(공황/불안)을 우울증의 심각도와 혼동할 수 있다고 시사하며, 이는 정답 라벨이 구분해낸 미묘한 차이입니다.
• 비용: 실험에 사용된 총 API 비용은 30달러 미만이었으며, 이는 이러한 평가가 값비싼 GPU 인프라나 미세 조정(fine-tuning) 없이도 수행될 수 있음을 보여줍니다.

의의 및 주장
본 논문은 LLM이 유망한 가능성을 보여주기는 하지만, 특히 그리스어와 같은 저자원 언어를 위해 자동 번역에 의존할 경우 우울증 심각도를 단독으로 결정하기에는 아직 신뢰도가 충분하지 않다고 주장합니다.

• 자동화의 한限: 본 연구는 LLM의 성능이 언어와 심각도 클래스에 따라 크게 달라짐을 강조합니다. 저자들은 현재의 결과가 직접적인 환자 진단을 내리기에는 불충분하다고 강조합니다.
• 인간 감독의 역할: Stade et al. (2024)의 연구 결과와 일치하게, 저자들은 정신 건강 진단이 결코 자동화된 시스템에 완전히 맡겨져서는 안 된다고 단언합니다. 오진을 방지하기 위해 인간의 감독은 여전히 필수적입니다.
• 잠재적 유용성: 저자들은 이 접근 방식이 임상의를 대체하기보다는, 자원이 부족한 비영어권 지역의 정신 건강 전문가들을 교육하는 데 가치가 있을 수 있다고 제안합니다.
• 향후 과제: 본 연구는 문화적, 언어적으로 민감한 접근 방식, 저자원 언어를 위한 더 나은 데이터 수집, 그리고 다양한 문화 간의 정신 건강 용어의 미묘한 차이를 처리하기 위한 더 강력한 전이 학습(transfer learning) 기술 개발에 대한 연구의 필요성을 강조합니다.