Frequency-Stratified Benchmarking Reveals Strong Long-Tail Limitations of Large Language Models in Diagnosis of Monogenic Diseases
이 논문은 대규모 언어 모델이 단일 유전자 질환 진단에 있어 잘 알려진 유전자에 대해서는 높은 정확도를 달est하는 반면, 드물거나 최근에 특징이 규명된 유전자에 대해서는 어려움을 겪는 등 상당한 성능 편향을 보인다는 것을 입증하기 위해 5,000개의 사례로 구성된 빈도 층화 벤치마크인 MendelianBench-5K를 소개한다.