📄 health informatics

Towards understanding the disease landscape of clinical trials in Germany: Ontology and embedding-based pipelines versus Large Language Models for ICD-10 Harmonization

본 연구는 결정론적 온톨로지 및 임베딩 기반 파이프라인이 독일의 이질적인 임상시험 조건 데이터를 ICD-10 표준에 따라 부분적으로 조화시킬 수 있는 반면, 거대언 언어 모델(특히 GPT-4o)은 전문가의 인간 코딩과 거의 완벽한 일치도를 달려나감으로써 이를 크게 능가하며, 결과적으로 교차 레지스트리 질병 경관 분석을 위한 더 우수한 솔루션을 제공한다는 점을 입증한다.

원저자: Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

모든 책이 서로 다른 언어로 쓰여 있고, 서로 다른 알파벳을 사용하며, 때로는 제목 대신 "아픈 사람에 관한 무언가"라고 적힌 포스트잇이 붙어 있는 거대한 도서관을 정리한다고 상상해 보십시오. 이것이 현재 임상 시험 데이터의 상태입니다. 과학자들은 새로운 약물을 테스트하기 위해 수천 번의 실험을 수행하지만, 이 실험들을 전 세계의 서로 다른 데이터베이스에 등록합니다. 어떤 곳은 엄격한 의학 코드를 사용하고, 어떤 곳은 화려한 의학 사전 용어를 사용하며, 또 어떤 곳은 그냥 평범한 영어 나 독일어로 써놓기도 합니다. 이는 마치 한 데이터베이스는 "심장 문제(cardiac issues)"라고 말하고, 다른 곳은 "심장 트러블(heart trouble)"이라고 하며, 세 번째 곳은 그냥 "아, 가슴이 아파(ouch, my chest hurts)"라고 말할 때, 얼마나 많은 사람이 "심장 질환"을 연구하고 있는지 세려고 노력하는 것과 같습니다. 이 모든 서로 다른 설명들을 하나의 공통된 언어로 번역할 방법이 없다면, 과학자들이 실제로 어떤 질병을 연구하고 있는지, 그리고 그 과정에서 어떤 공백이 있는지 큰 그림을 파악하기가 매우 어렵습니다.

이를 해결하기 위해 연구자들에게는 번역기가 필요합니다. 의학계에서 질병을 위한 "공용어"는 모든 알려진 건강 상태를 분류하는 거대한 목록인 ICD-10이라고 불립니다. 과제는 임상 시험 등록 정보의 엉망이고 뒤섞인 설명들을 자동으로 올바른 ICD-10 코드로 변환하는 것입니다. 오랫동안 과학자들은 단어와 코드를 매칭하기 위해 엄격한 규칙 책을 따르는 엄격한 사서처럼 행동하는 컴퓨터 프로그램을 구축하려고 노력해 왔습니다. 최근에는 거대 언어 모델(LLM)이라는 새로운 유형의 초지능형 컴퓨터 두뇌가 등장했습니다. 이 모델들은 방대한 양의 텍스트로 학습되었으며, 문맥과 뉘앙스를 이해하는 데 탁고하여 마치 행간을 읽을 줄 아는 사람처럼 작동합니다. 문제는 이 AI 두뇌가 기존의 규칙 기반 시스템보다 임상 시험 설명을 더 잘 번대로 번역할 수 있는가 하는 점입니다.

이 논문은 바로 이 질문에 뛰어들어, 독일의 4개 주요 등록소로부터 임상 시험 설명을 표준 ICD-10 코드로 번역하는 고도의 기술적 파이프라인을 구축합니다. 연구진은 "결정론적 파이프라인(deterministic pipeline)"을 만들었는데, 이는 멋진 말로 다단계 로봇 프로세스를 의미합니다. 먼저, 로봇은 질병 언급을 추출합니다. 그다음, 엄격한 의학 사전(온톨로지)과 유사한 의미를 찾는 스마트 검색 엔진(임베딩)을 사용하여 이를 매칭하려고 시도합니다. 그들은 또한 상위 추측값들의 순위를 다시 매기는(re-ranking) 버전도 추가하여 올바른 답을 찾을 수 있는지 확인했습니다. 하지만 여기서 멈추지 않았습니다. 그들은 강력한 거대 언어 모델(GPT-4o)도 테스트했는데, 약간의 변주를 주었습니다. 즉, AI가 인간 전문가들이 사용하는 것과 똑같은 단계별 논리와 규칙을 따르도록 강제하여, AI가 기존의 로봇보다 더 나은 "사서"가 될 수 있는지 확인한 것입니다.

결과는 기존 방식에 다소 충격적이었습니다. 규칙 기반의 로봇 파이프라인을 인간 의학 전문가들이 작성한 "골드 스탠다드(gold standard)" 코드와 비교했을 때, 로봇은 특정 세 글자 코드를 찾는 데 있어 약 49%의 정확도만을 보였습니다. 일반적인 범주(예: 심장 질환 대 폐 질환)를 맞히는 데는 약 59%로 준수한 성적을 냈지만, 세부 사항에서는 어려움을 겪었습니다. 로봇은 종종 비슷하게 들리는 질병 때문에 혼란을 겪거나 사전에서 올바른 코드를 찾지 못했습니다.

그러나 거대 언어 모델은 완전히 다른 리그에 있었습니다. 동일한 규칙과 동일한 업무가 주어졌을 때, 이 AI는 놀라운 96.7%의 정확도를 달ach했습니다. 이는 인간 전문가들과 거의 완벽하게 일치하는 수준이었습니다. 논문은 AI의 초능력이 단순히 코드를 아는 것이 아니라, 문장의 '문맥'을 이해하는 능력에 있다고 제안합니다. 예를 들어, 임상 시험에서 "성인 발병 당뇨병(adult-onset diabetes)"이 언급되면, AI는 이것이 제2형 당뇨병임을 즉각적으로 알지만, 로봇은 정확한 단어를 맞추려고 애쓰다가 막힐 수 있습니다. 또한 AI는 로봇이 포기하고 거부했던 언급들 중 약 82%에 대해 그럴듯한 코드를 할당할 수 있었습니다.

연구진은 로봇의 주요 실패 원인이 순위를 매기는 데 있는 것이 아니라, 처음에 올바른 코드를 찾는 것 자체에 있다는 것을 발견했습니다. 만약 올바른 코드가 로봇의 초기 후보 목록에 없었다면, 아무리 순위를 다시 매겨도 소용이 없었습니다. 반면, AI는 텍-이 엉망이거나 모호하더라도 무엇이 올바른 코드여야 하는지를 훨씬 더 잘 파악해 냈습니다. 이 연구는 기존의 규칙 기반 시스템이 질병 트렌드의 대략적인 파악에는 괜찮을지 모르나, 세부 사항을 정확히 맞히는 데 있어서는 거대 언어 모델이 명백한 승자라고 결론짓습니다. 저자들은 향후 임상 시험의 지형을 살펴보는 연구들이 이러한 AI 도구를 사용하여 더 명확하고 정확한 그림을 얻어야 한다고 제안하며, 이를 통해 연구 노력이 실제로 가장 중요한 건강 요구 사항에 집중될 수 있도록 해야 한다고 강조합니다.

기술 요약: 독일 임상시험의 ICD-10 조화(Harmonization)를 위한 온톨로지 및 임베딩 기반 파이프라인 대 대규모 언어 모델(LLM)

문제 정의
독일의 임상시험은 독일 임상시험 등록소(DRKS), ClinicalTrials.gov, EU 임상시험 등록소(EUCTR), 임상시험 정보 시스템(CTIS)을 포함한 다수의 이질적인 시스템에 등록되어 있습니다. 이러한 레지스트리들은 질병 상태를 기록하기 위해 ICD-10-GM, MeSH, MedDRA, 또는 자유 텍너스트 기술과 같은 서로 다른 분류 체계를 사용합니다. 이러한 표준화의 결여는 레지스트리 간 분석을 저해하고, 전 세계 질병 부담(GBD)과 같은 글로벌 분류 체계와의 상호 운용성을 제한하며, 질병 연구 우선순위의 실제 지형을 모호하게 만듭니다. 수동 코딩이 가능하지만, 이는 노동 집약적이며 코더 간 변동성(inter-coder variability)이 발생하기 쉽습니다. 본 연구는 이러한 다양한 질병 기술을 통일된 WHO ICD-10 분류로 조화시키기 위한 자동화되고 재현 가능한 방법의 필요성을 다룹니다.

방법론
저자들은 질병 언급(mention)을 WHO ICD-10 코드로 매핑하기 위해 두 가지 구별되는 접근 방식, 즉 결정론적 하이브리드 파이프라인과 인간 전문가가 사용하는 것과 동일한 의사결정 로직에 의해 제약된 대규모 언어 모델(LLM)을 개발하고 평가했습니다.

데이터 소스 및 전처리:
- 본 연구는 2013년부터 2025로 사이 등록된 독일 관련 중재 시험 23,061건을 분석했습니다.
- 질병 필드를 추출하여 정규화(독일어-영어 번역 및 동의어 통합 포함)하고, 개별 언급으로 분리했습니다.
- 식별자와 제목 매칭을 사용하여 레지스트리 간의 레코드를 병합하는 계층적 연결 방법을 사용했습니다.
하이브리드 파이프라인 (4단계 접근법):
- 1단계 (추출 및 정규화): 질병 용어와 서술적 연구 기술을 구분하여 질병 필드를 파싱합니다.
- 2단계 (언급 분류): 언급을 ICD 매핑 가능 여부에 따라 분류합니다 (Tier 1: A–Q, U; Tier 2: R, S, T, O, Z / Tier 3: 건강한 자원봉사자, 약동학 연구 등 매핑 불가능 항목). 이는 실버 스탠다드(silver-standard) 레이블로 학습된 지도 학습 기반의 elastic-net 로지스틱 회귀 분류기를 사용하며, 명시적인 질병 키워드에 대해서는 보수적인 오버라이드(override)를 적용합니다.
- 3단계 (결정론적 온톨로지 매핑): UMLS 경로를 통해 후보 코드를 생성합니다:
  - DRKS: ICD-10-GM으로부터 직접 매핑.
  - ClinicalTrials.gov: UMLS를 통해 ICD-10과 연결된 MeSH 용어.
  - CTIS/EUCTR: UMLS를 통해 연결된 MedDRA 용어.
  - 폴백(Fallback): 온톨로지 연결이 실패할 경우 Jaro-Winkler 문자열 매칭 사용.
- 4단계 (임베딩 지원 랭킹): SapBERT 임베딩을 사용하여 의미적으로 가장 유사한 상위 10개의 ICD-10 후보를 검색합니다. 하이브리드 신뢰도 점수는 온톨로지 증거, 임베딩 유사도(SapBERT), 어휘 유사도(Jaro-Winkler), 그리고 특정 보너스/페널티(예: 정확한 일치, 모호한 코드, 또는 치료 영역 일치 여부)를 결합합니다. 후보군을 정교화하기 위해 크로스 인코더 리랭커(Method 2)도 테스트되었습니다.
LLM 평가:
- GPT-4o는 500개의 층화 샘플(고신뢰도, 검토 대상, 거절 대상, Tier-3 케이스 포함)에 대해 병렬로 평가되었습니다.
- 결정적으로, LLM은 코드를 자유롭게 생성하도록 요청되지 않았습니다. 대신 인간 검토자가 사용하는 것과 **동일한 의사결정 캐스케이드(decision cascade)**를 따르도록 제약되었습니다: 직접 할당 시도, 필요한 경우 임상 시험 맥락 활용, ICD-10 매핑이 불가능할 경우 GBD 카테고리로 매핑, 그리고 최후의 수단으로만 "NO_ICD" 할당.
평가 프레임워크:
- 두 명의 의료 검토자가 500개 샘플 부분집합에 대해 독립적으로 코딩하여 골드 스탠다드를 생성했습니다 (검토자 간 일치도 $\kappa \ge 0.70$ ).
- 성능은 3문자, 블록, 챕터 수준에서의 정확도(accuracy), 정밀도(precision), 재현율(recall), F1-score 및 코헨의 카파( $\kappa$ )로 측정되었습니다.
- 오류 분석은 질병 도메인 내 오류(within-family errors)와 교차 챕터 오류(cross-chapter errors)를 구분했습니다.

주요 기여

파이프라인 개발: 다중 레지스트리 임상 시험 데이터를 조화시키기 위해 결정론적 온톨로지 매핑(UMLS)과 임베딩 기반 의미론적 검색(SapBERT)을 통합한 레지스트리 인식형 4단계 파이프라인을 구축했습니다.
비교 벤치마킹: 복잡한 결정론적 파이프라인과 제약된 LLM(GPT-4o)을 통합된 전문가 참조 표준을 사용하여 엄격하게 헤드 투 헤드(head-to-head)로 비교했습니다.
오류 특성화: 전체 파이프라인 오류의 상당 부분(약 25%)이 랭킹 오류가 아니라 후보 생성 실패(올바른 코드가 검색되지 않음)에서 기인한다는 상세한 분석을 제시했습니다.
복구 분석: 파이프라인이 거절한 언급(reject-band의 82.4%) 또는 제외한 언급(Tier-3의 62.8%)에 대해 임상적으로 타당한 코드를 할당하는 LLM의 능력을 입증했습니다.

결과

파이프라인 성능: 베이스라인 하이브리드 파이프라인은 전문가 표준 대비 3문자 ICD-10 수준에서 49.0%의 정확도와 0.487의 코헨 $\kappa$ 를 달성했습니다. 성능은 더 넓은 수준(챕터 수준에서 정확도 58.7%, $\kappa$ = 0.561)에서 향상되었습니다. 크로스 인코더 리랭커(Method 2)는 미미한 개선만을 제공했습니다.
후보 재현율(Candidate Recall): 올바른 코드가 검색된 후보 세트에 포함되어 있었던 경우는 **73.7%**에 불과했으며, 이는 올바른 후보가 누락될 경우 랭킹 기반 방법의 성능에 한계가 있음을 나타냅전다.
LLM 성능: 제약된 LLM은 파이프라인보다 성능이 현저히 우수하여, 3문자 수준에서 96.7%의 정확도와 0.966의 코헨 $\kappa$ 를 달성했습니다.
조정(Adjudication): 보고된 96.7%의 정확도는 LLM과 참조 표준 간의 초기 불일치를 전문가 검토자가 해결한 조정된 결과를 반영합니다. 조정 전, 참조 표준에 대한 LLM의 가공되지 않은(raw) 정확도는 62.7%(코헨 $\kappa$ = 0.625)였으나, 이러한 불일치에 대한 전문가 검토 후 정확도가 96.7%로 상승했습니다. 이는 많은 초기 불일치가 모델의 실패보다는 모호한 문구 또는 맥락 해석 때문이었음을 시사합니다.
오류 유형: 대부분의 파이프라인 오류는 동일한 질병군 내에서 발생했으며(64.3%), 교차 챕터 오분류는 30.4%를 차지했습니다.

의의 및 주장
본 논문은 이질적인 레지스트리 간의 임상시험 질병 상태에 대한 자동화된 조화가 가능하며, 교차 레지스트리 분석을 위한 공통 ICD-10 프레임워크 사용을 지원한다고 주장합니다. 저자들은 결정론적 온톨로지 및 임베딩 파이프라인이 전문가 코딩과 중간 정도의 일치도를 보이는 반면, 구조화된 의사결정 프레임워크 내에서 제약된 LLM은 완벽에 가까운 일치도를 달성한다고 결론짓습니다.

본 연구는 현대적 LLM의 주요 가치가 코드를 처음부터 생성하는 데 있는 것이 아니라, 외부 지식 소스에서 제공하는 타당한 진단 후보 세트 내에서 임상적 추론, 모호성 해소 및 후보 평가를 수행하는 데 있다고 상정합니다. 이러한 결과는 LLM이 환각(hallucination)을 완화하고 확립된 코딩 로직과의 정렬을 보장하는 근거 기반 프레임워크 내에서 작동한다면, 독일 임상시험의 건강 상태 분포 분석을 효과적으로 지원하고 기타 비표준화된 임상시험 특성을 분류하는 유망한 도구가 될 수 있음을 시사합니다.

유사한 논문