기술 요약: MENTALBENCH

문제 제기

대형 언어 모델 (LLM) 은 정신 건강 분석에서 가능성을 보여주었으나, 정신과 진단 능력을 평가하기 위한 기존 벤치마크는 중대한 한계를 겪고 있습니다. 대부분의 현재 데이터셋은 소셜 미디어 데이터나 지원적 대화 설정에 의존하는데, 이는 모델이 공식 진단 기준 (예: DSM-5) 을 적용하고 복잡한 감별 진단 규칙을 탐색할 수 있는지 평가하는 데 필요한 엄격한 구조가 부족합니다. 결과적으로, LLM 이 고유한 임상적 모호성 하에서 경쟁 진단 간의 임상적 경계를 신뢰성 있게 해결할 수 있는지 여부는 불분명하며, 이는 고위험 임상 의사결정 지원에 필수적인 요구사항입니다. 고품질 전문가 검증 진단 데이터의 구축은 엄격한 개인정보 보호 규정, 객관적 생체표지자의 부재, 그리고 공식 진단 논리의 복잡성으로 인해 더욱 방해받고 있습니다.

방법론

이러한 격차를 해소하기 위해 저자들은 정신과 의사가 구축한 지식 그래프인 MENTALKG에 기반한 벤치마크 MENTALBENCH를 소개합니다.

1. MENTALKG: DSM 기반 지식 그래프

MENTALKG 는 벤치마크의 논리적 척추 역할을 합니다. 이는 23 가지 정신 질환에 대한 DSM-5 진단 기준과 감별 진단 규칙을 인코딩한 구조화된 지식 그래프입니다.

• 구조: 이 그래프는 23 개의 장애 노드, 23 개의 증상 그룹 노드, 84 개의 증상 노드, 그리고 87 개의 감별 진단 노드로 구성됩니다.
• 형식화: 비구조화된 DSM-5 텍스트를 구조화된 개체로 변환하여 필수 증상, 지속 기간 제약, 최소 증상 임계값, 그리고 배제 논리를 명시적으로 인코딩합니다.
• 감별 논리: 감별 진단 노드는 중첩되는 장애 (예: 주요 우울장애 vs. 양극성 장애 I 형) 를 구별하는 데 필요한 방향성 논리를 포착하며, 발동 조건, 주요 차이점, 그리고 특정 구별 규칙을 정의합니다.
• 다양성: 경직된 교과서식 표현을 피하기 위해 스키마는 증상 하위 유형을 통합하여 핵심 증상의 다양한 언어적 및 증상적 발현을 허용합니다.
• 검증: 그래프 구축에는 두 명의 전문가 (정신과 전문의 및 임상 심리사) 가 참여하여 증상 하위 유형, DSM-5 와의 기준 정합성, 그리고 감별 진단 논리의 임상적 타당성을 검증했습니다.

2. MENTALBENCH: 벤치마크 구축

MENTALKG 를 활용하여 저자들은 24,750 개의 합성 임상 사례를 다단계 파이프라인으로 구성하여 생성했습니다. 이 벤치마크는 모델이 정보 불완전성과 진단 복잡성이라는 두 가지 주요 과제를 평가합니다.

사례는 네 가지 유형으로 분류됩니다:

• 유형 1 (전문가 요약): 모든 진단 증거가 명시적이고 완전한 구조화된 3 인칭 의료 차트 요약입니다.
• 유형 2 (환자 자기 보고): 선택적 공개와 표현의 다양성을 반영하는 파편화된 구어체 1 인칭 서술로, 모델은 불완전한 정보에서 진단 단서를 복원해야 합니다.
• 유형 3 (제어된 모호성): 공유된 증상이 여러 장애를 만족하지만, 후보를 배제하는 데 필요한 구별 증거가 의도적으로 생략된 감별 진단 시나리오입니다. 정답은 타당한 진단들의 집합입니다.
• 유형 4 (확정 진단): 구별 증거가 포함된 감별 진단 시나리오로, 모델은 미세한 기준에 따라 후보 집단을 단일 확정 진단으로 좁혀야 합니다.

생성 과정은 시드 생성 (MENTALKG 에서 샘플링), 프로필 증강 (인구통계 및 증상 하위 유형 할당), 그리고 생성기 편향을 완화하기 위해 세 가지 서로 다른 LLM 의 앙상블을 사용한 데이터 합성을 포함합니다. 모든 출력물은 언어적 자연스러움, 진단 타당성, 그리고 임상적 현실성에 대해 엄격한 전문가 검증을 받았습니다.

주요 기여

1. MENTALKG: 23 가지 장애에 대한 DSM-5 진단 기준과 감별 진단 규칙을 형식화한 전문가 구축 지식 그래프로, 임상 평가의 구조화된 논리적 척추를 제공합니다.
2. MENTALBENCH: 임상적 모호성 하에서 LLM 을 평가하기 위해 정보 완전성과 진단 복잡성을 체계적으로 변형시킨 24,750 개의 합성 사례로 구성된 대규모 벤치마크입니다.
3. 종합 평가: 표면적 패턴 인식을 넘어 진단 논리의 엄격한 적용, 파편화된 서술 처리, 그리고 중첩된 증상 프로필 해결 능력을 테스트하는 체계적인 평가 프레임워크입니다.

실험 결과

저자들은 MENTALBENCH 에서 오픈소스 (Qwen, Gemma, Llama, MentaLLaMA) 와 폐쇄소스 (GPT, Gemini, Claude) 모델 등 다양한 모델을 평가했습니다.

• 전체 성능: 최첨단 모델조차 최대 전체 정확도가 고작 62.69% 에 그쳐 벤치마크의 난이도를 강조했습니다.
• 정보 불완전성: 모델은 유형 1 (구조화된 요약) 에서는 잘 수행되었으나 유형 2 (서술적 자기 보고) 에서는 상당한 성능 저하를 보였습니다. 작은 모델 (<30B 파라미터) 은 평균 10.58 점의 유의한 하락을 겪은 반면, 큰 모델은 더 탄력적이어서 규모가 파편화된 데이터에서의 의미 추론에 도움이 됨을 시사합니다.
• 진단 복잡성: 감별 진단 작업 (유형 3 및 유형 4) 에서 성능이 급격히 하락하여 많은 모델이 20% 미만의 점수를 기록했습니다.
  • 오픈소스 모델은 모호하지 않은 경우 (유형 4) 에 과진단 경향을 보이며 배제 규칙을 적용하지 않고 여러 타당한 오답을 선택했습니다.
  • 폐쇄소스 모델은 모호한 경우 (유형 3) 에 과소진단 경향을 보이며 임상적 증거가 여러 상태를 지지함에도 단일 레이블 예측을 강요했습니다.
• 질병별 발견: 모델은 이전 연구에서 과소대표된 장애 (예: 조현정동성 장애) 와 미세한 시간적 구분이 필요한 장애 (예: 지속성 우울장애 vs. 주요 우울장애) 에서 현저히 어려움을 겪었습니다.
• 보정 실패: 분석 결과 모델은 고유한 제약 인식이 부족함이 드러났습니다. 명시적 프롬프트 지시 없이 진단 범위 (단일 대 다중 진단 간 결정) 를 자율적으로 보정하는 데 어려움을 겪습니다.

의미 및 주장

이 논문은 MENTALBENCH 가 정신과 의사결정 지원을 위한 현재 LLM 의 능력에서 중요한 한계를 드러낸다고 주장합니다. 모델은 DSM-5 기준에 대한 잠재적 지식을 보유하고 있지만, 모호하고 현실과 유사한 시나리오에서 이러한 지식을 엄격하게 적용하지 못합니다. 구체적으로:

• 모델은 현실 세계의 파편화된 환자 표현을 공식 진단 기준에 매핑하는 데 어려움을 겪습니다.
• 모델은 진단적 헌신을 보정하지 못하여 모델 아키텍처와 시나리오 모호성에 따라 지나치게 광범위하거나 지나치게 제한적인 경향 사이를 오갑니다.
• 현재 모델은 외부 지도 없이 의사결정 경계를 정의할 수 있는 고유한 능력을 결여하고 있어, 타당한 진단의 수가 본질적으로 불확실한 현실 세계 설정에서의 신뢰성에 대한 우려를 제기합니다.

저자들은 MENTALBENCH 가 표면적 연관성에 의존하기보다 임상적 모호성과 엄격한 논리적 제약을 처리할 수 있는 적응적이고 강력한 의사결정을 우선시하는 향후 연구를 촉진한다고 결론지었습니다. 관련 리소스 (코드 및 데이터) 는 해당 분야의 추가 평가 및 개발을 촉진하기 위해 공개되었습니다.