Blending Human and LLM Expertise to Detect Hallucinations and Omissions in Mental Health Chatbot Responses

이 논문은 정신 건강 챗봇의 응답에서 발생하는 환각 (Hallucination) 과 생략 (Omission) 을 탐지하기 위해 인간의 전문성과 LLM(대형 언어 모델) 의 능력을 융합한 새로운 프레임워크를 제안합니다. 정신 건강과 같은 고위험 의료 환경에서는 단순한 사실 오류뿐만 아니라 치료적 맥락에서의 미묘한 누락이나 부적절한 조언이 치명적인 결과를 초래할 수 있으므로, 기존 LLM 을 판사 (Judge) 로 사용하는 방법의 한계를 극복하고 신뢰할 수 있는 평가 시스템이 필요하다는 문제의식에서 출발합니다.

다음은 논문의 기술적 요약입니다.

---

1. 문제 정의 (Problem Statement)

• 배경: LLM 기반 챗봇이 정신 건강 서비스에서 널리 사용되고 있으나, 사실과 다른 정보 생성 (환각) 이나 위기 상황에서의 필수 정보 누락 (생략) 은 사용자의 안전을 위협합니다.
• 기존 방법의 한계:
  • LLM-as-a-Judge: GPT-4 나 Llama-3 와 같은 최신 LLM 을 직접 판사로 활용하는 방식은 정신 건강 영역에서 신뢰도가 낮습니다. 실험 결과, 환각 탐지 정확도가 약 52% 에 불과하며, 일부 접근법은 환각 탐지 회수율 (Recall) 이 거의 0% 에 수렴했습니다.
  • 전통적 지표: BLEU, ROUGE 와 같은 지표는 의미적 오류나 치료적 맥락의 누락을 포착하지 못합니다.
  • 근본 원인: LLM 은 치료적 적절성, 임상적 정확성, 전문적 의사소통 기준 등 인간 전문가가 인식하는 미묘한 언어 및 치료적 패턴을 포착하지 못합니다.
  • 데이터 부재: 고품질로 주석된 정신 건강 특화 데이터셋이 부족했습니다.

2. 제안 방법론 (Methodology)

저자들은 **인간의 전문성을 기반으로 한 해석 가능한 특징 (Interpretable Features)**을 추출하고 이를 기계 학습 모델에 학습시키는 하이브리드 프레임워크를 제안합니다.

A. 맞춤형 데이터셋 구축

• 다중 이해관계자 주석 (Multi-stakeholder Annotation): 정신 건강 임상가, 관리자, 환자, 보호자 등 다양한 이해관계자가 참여하여 주석을 달았습니다.
• 엄격한 합의 프로세스: 3 인의 주석자가 만장일치로 동의해야 하며, 이견은 메타 전문가가 해결하는 방식을 취하여 데이터의 신뢰성을 극대화했습니다.
• 데이터 구성:
  • 환각 탐지: 4,418 개 샘플 (양성 87 개, 1.97%)
  • 생략 탐지: 3,368 개 샘플 (양성 124 개, 3.68%)
  • 실제 배포 환경과 유사한 심각한 클래스 불균형을 반영했습니다.

B. 5 차원 특징 추출 프레임워크

LLM 을 직접 판사로 사용하는 대신, LLM 을 사용하여 응답을 5 가지 분석 차원에 걸쳐 구조화된 특징으로 추출합니다.

1. 논리적 일관성 (Logical Consistency): 사실적 진술 간의 모순 여부 분석.
2. 개체 및 관계 검증 (Entity Verification): 언급된 개체 (약물명, 기관 등) 와 관계의 사실성 및 타당성 평가.
3. 사실적 정확성 (Factual Accuracy): 검증 가능한 주장의 임상적/의학적 정확성 평가.
4. 언어적 불확실성 (Linguistic Uncertainty): 모호한 표현, 확신 표지, 추측성 언어 분석.
5. 전문적 적절성 (Professional Appropriateness): 치료적 맥락에서의 공감, 톤, 전문적 경계 유지 여부 평가.

C. 앙상블 학습 시스템

• 2 단계 접근:
  1. LLM-as-a-Judge Baseline: LLM 이 응답에 대한 점수 (1-10) 를 생성합니다.
  2. 특징 기반 분류기: 위 5 차원에서 추출된 15 개의 특징 벡터와 LLM 점수를 결합하여, **감시 학습 (Supervised Learning)**을 수행합니다.
• 모델 선택: 랜덤 포레스트, XGBoost, LightGBM, CatBoost, SVM, 로지스틱 회귀, MLP, SAINT 등 8 가지 분류기를 평가하고, 각 작업 (환각/생략) 에 최적화된 모델을 선택합니다.

3. 주요 기여 (Key Contributions)

1. 실증적 발견: 기존 'LLM-as-a-Judge' 방식이 정신 건강 데이터에서 체계적으로 실패함을 입증 (환각 탐지 정확도 54%, SAC3 의 회수율 0% 등).
2. 새로운 데이터셋: 4,000 개 이상의 프롬프트 - 응답 쌍을 포함한 엄격한 다중 이해관계자 주석 데이터셋 공개.
3. 전문가 기반 특징 추출: 블랙박스 LLM 판사가 접근할 수 없는 5 가지 치료적 차원의 해석 가능한 특징을 체계적으로 추출하는 프레임워크 제안.
4. 성능 검증: 제안된 방법이 기존 베이스라인보다 최대 75% 향상된 성능을 보이며, 개별 인간 주석자 수준의 성능을 달성함을 입증.

4. 실험 결과 (Results)

• 성능 지표 (F1-Score):
  • 환각 탐지: 커스텀 데이터셋에서 0.717, 공개된 Kaggle 데이터셋에서 0.849 달성.
  • 생략 탐지: 두 데이터셋 모두에서 0.59 ~ 0.64 범위 달성.
• 베이스라인 비교:
  • 기존 LLM-as-a-Judge (GPT-4o-mini 등) 는 환각 탐지에서 회수율 (Recall) 이 9.3% 에 불과했으나, 제안된 방법은 이를 균형 있게 개선했습니다.
  • SAC3 나 SelfCheckGPT 와 같은 기존 방법은 정신 건강 데이터에서 거의 무용지물이었습니다.
• 모델 견고성:
  • GPT-4o, GPT-5, O3, Llama-3.3-70B 등 다양한 LLM 을 특징 추출기로 사용했을 때 일관된 성능을 보였습니다.
  • 특히 오픈소스 모델인 Llama-3.3-70B도 상용 모델과 유사한 성능 (F1=0.695) 을 보여 프라이버시 보호가 필요한 온프레미스 배포에 적합함을 입증했습니다.
• 인간 주석자 대비: 제안된 시스템의 성능 (F1=0.717) 은 평균 인간 주석자 성능 (F1=0.536) 을 상회하며, 일관성을 크게 개선했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 안전성: 정신 건강 AI 의 안전성을 보장하기 위해 "블랙박스" LLM 판사 대신 해석 가능한 특징과 도메인 전문성을 결합한 접근법이 필수적임을 증명했습니다.
• 실용적 적용: 제안된 프레임워크는 임상 의사결정 지원 시스템 (CDSS) 에 직접 배포 가능한 수준으로, 전문가의 감독 하에 챗봇 응답의 위험을 선제적으로 탐지할 수 있습니다.
• 미래 방향: 단순한 기술적 혁신을 넘어, 의료 전문가, 환자, 관리자 등 다양한 이해관계자의 참여를 통한 데이터 구축과 평가 프로세스의 중요성을 강조합니다.

이 연구는 고위험 의료 분야에서의 AI 평가가 단순한 언어 모델의 성능 비교를 넘어, 도메인 지식과 인간 전문가의 판단을 어떻게 시스템에 통합할 것인가에 대한 중요한 통찰을 제공합니다.