Frequency-Stratified Benchmarking Reveals Strong Long-Tail Limitations of Large Language Models in Diagnosis of Monogenic Diseases

기술 요약: 단일 유전자 질환 진단에 있어서 LLM의 빈도 층화 벤치마킹

문제 정의
단일 유전자(멘델 유전) 질환의 지식 베이스는 뚜렷한 롱테일(long-tail) 분포를 보인다. 소수의 전형적인 질환 유전자는 생물 의학 문헌에 광범위하게 기록되어 있는 반면, 대다수의 희귀하고 최근에 특성화된 유전자들은 보고 사례가 매우 적다. 대규모 언어 모델(LLM)은 이러한 생물 의학 텍스트 코퍼스로부터 지식을 도출하지만, 이러한 불균형한 지식 구조가 진단 신뢰성에 어떤 영향을 미치는지에 대해서는 여전히 불분명하다. 현재의 평가 프레임워크는 종종 전체 정확도 지표에 의존하는데, 이는 저빈도 및 증거가 부족한 유전자에 대한 체계적인 실패를 은폐할 수 있다. 본 연구는 LLM이 빈도 의존적인 진단 편향을 보이는지, 그리고 단일 유전자 질환의 전 범위에 걸쳐 독립적인 진단 시스템으로서 신뢰할 수 있는 역할을 수행할 수 있는지 확인하는 것을 목적으로 한다.

방법론
저자들은 문헌 보고 빈도의 관점에서 LLM의 성능을 평가하기 위해 설계된 새로운 벤치마크인 MendelianBench-5K를 구축하였다.

• 데이터 소스: 이 벤치마크는 347,000명 이상의 분자 진단 환자와 4,739개의 원인 유전자를 포함하는 문헌 큐레이션 기반 환자 수준 표현형-유전자 리소스인 PhenoGemini Atlas로부터 파생되었다.
• 층화: 저자들은 "유전자 문헌 빈도"를 특정 원인 유전자와 관련된 환자 기록의 비율로 정의하였다. 저자들은 5,000개의 분자 진단 사례를 빈도에 따라 5개의 계층(사분위수, Q1–Q5)으로 나누었으며, 흔한 유전자와 롱테일 유전자가 균형 있게 표현되도록 각 계층에서 1,000개씩 샘플링하였다.
• 주석 달기(Annotation): 자유 텍스트 형태의 표현형 기술은 Doc2HPO를 사용하여 인간 표현형 온톨로지(HPO) 용어로 변환되었다.
• 평가: 9종의 주요 LLM(GPT-5.5, Gemini-3.1-pro-preview, Claude-opus-4.7, DeepSeek 변체 포함)을 대상으로 제로샷(zero-shot) 표현형-유전자 진단 작업을 평가하였다. 모델들은 환자의 표현형 프로필이 주어졌을 때 가장 가능성 높은 5개의 원인 유전자를 순위 매기도록 프롬프트가 구성되었다.
• 지표: 성능은 Top-1 정확도, Top-5 정확도, 평균 역순위(MRR)를 사용하여 측정되었다.
• 검증: 500개의 사례에 대해 임상 의사가 수동 검토를 수행하여 벤치마크 데이터와 소스 문헌 간의 일관성을 확인하였으며, 97%의 지지율을 확인하였다.

주요 결과

1. 제한적인 전체 성능: 가장 우수한 성능을 보인 모델(GPT-5.5)조차 Top-1 정확도는 18.56%, Top-5 정확도는 **33.78%**에 그쳤다. 이는 외부 검색이나 구조화된 유전적 증거 없이는 현재의 LLM이 단일 유전자 질환에 대한 신뢰할 수 있는 독립적 진단 시스템으로 기능하기 어렵다는 것을 시사한다.
2. 강력한 롱테일 편향: 진단 정확도는 유전자 문헌 빈도와 단조로운 양의 상관관관계를 보였다.
   • Top-1 정확도: 최저 빈도 계층(Q1)의 **2.24%**에서 최고 빈도 계층(Q5)의 **42.48%**로 증가하였으며, 이는 약 19배의 차이를 나타낸다.
   • Top-5 정확도: Q1의 **6.92%**에서 Q5의 **66.10%**로 상승하였다.
   • 이러한 경향은 9개 모델 모두에서 일관되게 나타났으며, 빈도 계층과 정확도 사이의 스피어만 상관계수는 0.375에서 0.485 사이였다.
3. 시간적 저하: 최근에 발표된 사례들에 대해 성능이 크게 저하되었다. Top-1 정확도는 2005년 이전 발표된 사례의 **28.47%**에서 2020~2024년 사이 발표된 사례의 **7.83%**로 떨어졌다.
4. 표현형 입력 민감도: 모델 성능은 단일 표현형 입력에서 2~3개의 표현형으로 이동할 때 향상되었으나, 표현형의 수가 많아질 경우(≥4) 정체되거나 감소하였다. 이는 과도하거나 정제되지 않은 표현형 입력이 반드시 순위 매기기에 도움이 되지 않으며 노이즈를 유발할 수 있음을 시사한다.
5. 체계적 오류 패턴:
   • 보편적 실패: 58.24%의 사례가 "어려움(Hard)"(9개 모델 모두 오답)으로 분류되었으며, 이는 저빈도 유전자(Q1–Q2의 54.98%)에 집중되어 있었다.
   • 위양성(False Positives): 모델이 오류를 범할 때, 올바른 희귀 유전자 대신 잘 알려진 고빈도 "스타" 유전자(예: MECP2, FMR1, POLG)를 불균형적으로 예측하였다. 상위 20개의 위양성 유전자는 주로 문헌 내 상위 200개 고빈도 유전자에 속해 있었다.

핵점 기여

• MendelianBench-5K: AI 모델의 롱테일 한계를 명시적으로 드러내기 위해 설계된, 단일 유전자 질환 진단을 위한 최초의 빈도 층화 벤치마크를 도입하였다.
• 지식-빈도 편향의 입증: 본 연구는 LLM의 진단 오류가 무작위가 아니라 생물 의학 문헌의 빈도 지형에 의해 체계적으로 구조화되어 있다는 실증적 근거를 제공한다. 모델들은 불확실할 때 익숙하고 주의를 많이 받는 유전자로 "기본 설정(default)"되는 경향이 있으며, 이는 희귀 질환의 인식을 저해한다.
• 평가 프레임워크: 저자들은 롱테일 영역의 의료용 AI를 평가할 때 전체 정확도만으로는 불충분하며, 체계적인 실패를 밝혀내기 위해 빈도 층화 평가가 필수적임을 입증하였다.

의의 및 주장
본 논문은 현재의 LLM이 단일 유전자 질환의 분자 진단에 있어 뚜렷한 한계, 특히 희귀하거나 최근에 특성화된 유전자에 대한 일반화 능력 부족을 보인다고 주장한다. 저자들은 이러한 모델들의 겉보기 진단 능력이 문헌에 풍부하게 기록된 유전자에 불균형적으로 집중되어 있다고 논한다.

따라서 본 연구는 다음과 같이 단언한다:

1. 임상적 주의: LLM을 전문가 워크플로우, 유전 변이 해석 및 외부 증거 검색과 통합하지 않은 채 자율적인 진단 도구로 배치해서는 안 된다.
2. 벤치마킹 표준: 롱테일 생물 의학 분야에서의 의료용 LLM 평가는 흔한 사례에 대한 임상적 유용성을 과대평가하고 희귀 질환에 대한 결정적 실패를 놓치는 것을 방지하기 위해 빈도 층화 벤치마크를 채택해야 한다.
3. 향러 방향: 저자들은 정적인 파라미터 지식의 한계를 극와하고 롱테일 사례에 대한 성능을 개선하기 위해, 검색, 메모리 및 반복적 성찰(예: DeepRare)을 포함하는 "에이전트형(agentic)" 시스템이 필요할 수 있다고 제안한다.

저자들은 LLM이 잘 연구된 질환에 대해서는 유망함을 보여주지만, 희귀 질환에 대해서는 성능이 크게 저하되므로 암기된 연상에 의존하기보다 증거 기반의 임상적 책임감을 갖춘 진단 추론으로의 전환이 필요하다고 결론짓는다.