Evaluating Large Language Models for Translating Multimodal Phenotype Documentations into Executable EHR Phenotyping Algorithms

본 연구는 다중 모달 임상 표현 문서화를 실행 가능한 전자의무기록 알고리즘으로 번역하는 데 있어 최첨단 대규모 언어 모델을 평가한 결과, 구조화된 텍스트는 효과적으로 해석하지만 다이어그램만 입력될 경우 성능이 현저히 저하됨을 발견하여, 궁극적으로 모델의 능력보다는 문서화의 품질이 주요 병목 지점임을 규명하였다.

핵심

당신이 유명한 요리를 재현하려는 셰프라고 상상해 보세요. 하지만 레시피는 없습니다. 대신에는 냅킨에 낙서한 메모, 만화로 그려진 메모, 그리고 혼란스러운 언어로 섞여 쓰인 메모들이 뒤죽박죽 쌓여 있습니다. 당신의 목표는 이 messy 한 메모들을 로봇 주방이 완벽하게 요리를 할 수 있도록 따라갈 수 있는 정밀한 단계별 지침서로 바꾸는 것입니다.

이 논문은 의료 연구에서 이 작업을 수행할 수 있는지 확인하기 위해 두 가지 초지능 AI 셰프(대형 언어 모델, 즉 LLM) 를 테스트한 내용에 관한 것입니다.

문제: "번역 실종" 레시피

의료 연구에서 과학자들은 "2 형 당뇨병 환자"와 같은 특정 환자 그룹을 복잡한 규칙으로 정의합니다. 이러한 규칙은 보통 이야기, 흐름도, 그리고 표가 섞여 있는 것처럼 보이는 사람이 읽을 수 있는 문서로 작성됩니다.

이 규칙들을 병원 컴퓨터 시스템에서 사용하려면 인간 전문가가 수동으로 이를 컴퓨터 언어(SQL) 로 번역해야 합니다. 이는 시를 컴퓨터 코드로 번역하는 것과 같습니다. 시간이 많이 걸리고 매우 지루하며, 서로 다른 두 명의 전문가가 수행하면 약간 다른 결과가 나올 수도 있습니다. 연구자들은 AI 가 이 번역 작업을 자동으로 수행할 수 있는지 확인하고자 했습니다.

실험: AI 셰프 테스트

연구자들은 이용 가능한 가장 똑똑한 두 가지 AI 모델(OpenAI 의 GPT o3와 Anthropic 의 Claude Opus 4.1) 을 선정하고, PheKB 라는 공개 도서관에서 신장 손상, 심장 마비, 당뇨병과 같은 질환에 대한 의료 정의인 다섯 가지 다른 "레시피"를 그들에게 제공했습니다.

그들은 셰프에게 서로 다른 유형의 지시를 주는 것처럼 AI 를 세 가지 다른 방식으로 테스트했습니다:

1. 풀 패키지: AI 는 전체 문서(텍스트, 차트, 다이어그램) 를 받았습니다.
2. 스토리만: AI 는 그림 없이 오직 작성된 텍스트와 표만 받았습니다.
3. 그림만: AI 는 단어가 없이 오직 다이어그램과 흐름도만 받았습니다.

결과: 무엇이 작동했고 무엇이 작동하지 않았는지

1. "그림만"의 함정
AI 가 다이어그램(흐름도) 만을 읽으려 했을 때, 완전히 실패했습니다. 마치 재료를 설명하거나 불 조절을 설명하는 텍스트 없이 냄비와 포크 그림만 보고 복잡한 요리를 하라고 셰프에게 요구하는 것과 같았습니다. AI 는 중요한 세부 사항을 놓치고, 타이밍을 잘못 잡았으며, 작동하지 않는 지침을 생성했습니다.

2. "스토리"가 왕이다
AI 가 그림 없이 작성된 텍스트를 받았을 때, 매우 좋은 성과를 거두었습니다. 작성된 단어들이 필요한 정보의 거의 대부분을 포함하고 있는 것으로 나타났습니다. AI 는 논리를 이해하고 컴퓨터 코드를 정확하게 작성할 수 있었습니다.

3. AI 는 훌륭한 초안 작성자이지만 최종 편집자는 아니다
두 AI 모델 모두 규칙의 전체적인 그림과 논리를 이해하는 데 놀라울 정도로 뛰어났습니다. 그러나 그들은 특정 유형의 실수를 저질렀습니다:

• 빠진 재료: 그들은 때때로 특정 의료 코드(예: 특정 유형의 약물) 를 포함하는 것을 잊었습니다.
• 잘못된 숫자: 그들은 임계값을 잘못 잡을 수 있었습니다 (예: 규칙이 "150 이상"인데 "140 이상"이라고 말하는 경우).
• 지어낸 것: 때로는 AI 가 원래 문서에 전혀 없던 규칙이나 조건을 만들어냈습니다("할루시네이션").
• 형식 혼란: 다이어그램을 볼 때, 그들은 종종 시각적 화살표를 논리적 "if-then" 컴퓨터 명령으로 어떻게 변환해야 할지 파악하지 못했습니다.

큰 교훈

이 논문은 이러한 AI 모델들이 아직 인간 전문가를 대체할 준비가 되지 않았다고 결론지었습니다. 그들은 messy 한 문서를 보고 완벽한, 바로 사용할 수 있는 컴퓨터 프로그램을 뱉어낼 수 없습니다.

그러나 그들은 훌륭한 초안 생성기입니다. 명확하고 구조화된 텍스트를 제공하면, 그들은 코드에 대한 매우 좋은 시작점을 작성할 수 있습니다. 하지만 그들은 숫자를 잘못 잡거나 규칙을 놓치는 것과 같이 미묘하지만 위험한 실수를 할 수 있기 때문에, 인간 전문가가 반드시 그들의 작업을 확인해야 합니다.

최종 교훈:
가장 큰 문제는 AI 가 충분히 똑똑하지 않기 때문이 아니라, 의료 문서가 컴퓨터가 읽기 쉬운 방식으로 작성되지 않았기 때문입니다. 만약 의사들과 연구자들이 냅킨에 낙서하는 대신 표준 형식으로 레시피를 작성하듯 메모를 더 명확하고 구조화되게 표준화한다면, AI 는 훨씬 더 유용해질 것입니다. 그때까지 AI 는 유용한 조수이지만, 인간 전문가가 반드시 boss 로 남아야 합니다.

기술 요약

기술 요약: 다중 양식 표현형 문서화를 실행 가능한 EHR 표현형 알고리즘으로 변환하기 위한 대규모 언어 모델 평가

문제 제기
임상 표현형 정의를 실행 가능한 전자의무기록 (EHR) 데이터베이스 쿼리로 변환하는 것은 생물의학 연구에서 중요하지만 노동 집약적인 병목 현상입니다. 표현형 알고리즘은 대규모 환자 코호트를 식별하는 데 필수적이지만, 일반적으로 계산 준비 상태가 아닌 고수준의 인간 가독성 형식 (서술적 텍스트, 표, 흐름도, 다이어그램) 으로 문서화됩니다. 이러한 다중 양식 명세를 특정 데이터 모델 (예: OMOP CDM) 에 맞춘 구조화된 쿼리 언어 (SQL) 로 변환하려면 수동 노력, 도메인 전문성 및 반복적 검증이 필요합니다. 이 과정은 해석적 변이성을 초래하여 기관 간 코호트의 이식성, 비교 가능성 및 재사용을 제한합니다. 대규모 언어 모델 (LLM) 이 코드 생성 및 다단계 추론에서 유능함을 입증했음에도 불구하고, 실제 세계의 다중 양식 표현형 문서를 표준 준수 실행 가능 SQL 로 충실히 변환할 수 있는지 여부는 여전히 불분명합니다.

방법론
본 연구는 표현형 문서를 OMOP 준수 SQL 쿼리로 변환하는 두 가지 최첨단 LLM 인 OpenAI GPT o3 와 Claude Opus 4.1 의 능력을 체계적으로 평가했습니다.

• 데이터셋: PheKB 에서 다섯 가지 확립된 임상 표현형이 선정되었습니다: 급성 신장 손상 (AKI), 자가면역 질환 (ADs), 가족성 고콜레스테롤혈증 (FH), 주요 심혈관 사건 (MACE), 그리고 제 2 형 당뇨병 (T2DM). 이들은 다양한 임상 영역과 다양한 문서화 복잡성 때문에 선택되었습니다.
• 입력 양식: 문서화 형식의 영향을 분리하기 위해 각 표현형 및 모델에 대해 세 가지 입력 시나리오가 테스트되었습니다:
  1. 전체 문서: 서술적 텍스트, 표, 다이어그램 및 의사 코드.
  2. 텍스트 전용: 다이어그램과 의사 코드를 제외한 서술적 텍스트 및 표.
  3. 다이어그램 전용: 시각적 다이어그램만.
• 프롬프트 파이프라인: 사고의 사슬 (chain-of-thought) 기반 4 단계 파이프라인이 사용되었습니다:
  1. 입력에서 구조화된 의사 알고리즘 추출.
  2. 소스 문서에 대한 의사 알고리즘 검증.
  3. 검증된 의사 알고리즘을 기반으로 실행 가능한 SQL 생성.
  4. 생성된 SQL 검토 및 수정.
• 평가: 두 명의 임상 표현형 전문가가 논리/부울 정확성, 시간적 제약 구현, 값 세트 정밀도, OMOP 스키마 정확성, 코딩 효율성, 인간 가독성, 그리고 현지 배포 준비도 등 7 가지 차원에서 생성된 쿼리를 0~4 점 척도로 독립적으로 평가했습니다. 평가자 간 일치도는 상당했습니다 (Cohen's kappa > 0.79).
• 오류 분석: 정성적 검토는 실패를 7 가지 유형으로 분류했습니다: 논리 충실도 오류, 개념 세트 불완전성, 스키마/구현 오류, 임계값/매개변수 오류, 할루시네이션, 미명세/과도한 일반화, 그리고 양식 해석 한계.

주요 결과

• 입력 양식 민감도: 생성된 SQL 의 품질은 입력 표현에 매우 민감했습니다. 다이어그램만 제공하는 경우 모든 평가 차원에서, 특히 값 세트 정밀도, 시간적 제약 및 논리 정확도에서 성능이 극적으로 저하되었습니다. 반면, 텍스트 전용 입력은 전체 문서 입력과 유사한 성능을 보여주어 서술적 산문이 SQL 생성에 필요한 대부분의 정보를 포착함을 시사했습니다.
• 모델 성능: 전체 문서 및 텍스트 전용 조건 하에서 Claude Opus 4.1 은 7 개 차원 중 5 개에서 더 높거나 동등한 점수를 일반적으로 달성한 반면, OpenAI o3 는 논리/부울 정확성과 현지 배포 준비도에서 더 우수한 성과를 보였습니다. 다이어그램 전용 시나리오에서는 성능 격차가 축소되었으나, OpenAI o3 는 논리 정확도에서 우위를 유지했습니다.
• 표현형별 변동성: 자가면역 질환 (ADs) 표현형은 두 모델 모두에서 가장 높은 평가를 받았습니다. 이는 다른 표현형의 덜 구조화된 문서화와 대조적으로 명시적이고 잘 조직된 의사 코드를 활용한 문서화 스타일 때문으로 귀결되었습니다.
• 오류 범주: 분석은 7 가지 실패 모드를 확인했습니다. 논리 충실도 오류 (예: 반복적 사건이 필요한 조건을 단일 진단으로 잘못 해석) 와 개념 세트 불완전성 (필요한 개념 ID 누락) 이 가장 중대한 오류 중 하나였습니다. 모델이 지지되지 않는 임상 개념이나 임계값을 도입하는 할루시네이션도 관찰되었습니다. 양식 해석 한계는 다이어그램 전용 입력에서 가장 두드러졌으며, 이 경우 모델이 시각적 배제 기준을 SQL 논리로 변환하지 못했습니다.

의의 및 주장
이 논문은 LLM 을 임상 표현형의 자율적 구현자가 아닌, 그 유용성이 입력 문서화의 품질에 엄격하게 제한되는 "초안 생성기"로 위치 짓습니다. 본 연구는 다음과 같이 주장합니다:

1. 문서화가 주요 병목 현상: LLM 이 생성한 표현형 쿼리의 충실도는 모델의 고유한 능력보다 입력 문서화의 표준화 및 구조에 더 의존합니다. 구조화된 자연어는 근사 최적 성능을 위해 필요하며 대체로 충분하지만, 시각적 다이어그램만으로는 부족합니다.
2. 전문가 감독은 필수적입니다: 식별된 오류의 다양성과 임상적 중요성 (할루시네이션 및 임계값 부정확성 포함) 으로 인해 LLM 생성 쿼리는 아직 자율 배포에 적합하지 않습니다. 특히 시간적 제약과 개념 세트 정밀도에 대해 필수적인 전문가 검토가 여전히 필요합니다.
3. 확장성 경로: 표현형 문서를 구현 지향 형식 (예: 명시적 의사 코드) 으로 표준화하는 것은 모델 아키텍처의 추가 발전 없이도 변환 충실도를 개선할 수 있는 유망한 경로입니다.
4. 협력적 패러다임: 연구 결과는 LLM 이 표현형 알고리즘의 초기 초안 작성을 가속화하고, 이후 구조화된 인간 감독을 통해 정제되는 협력적 워크플로우를 시사하며, 이는 연구 네트워크 간 임상 코호트의 이식성 및 재사용성을 향상시킬 수 있습니다.

저자들은 다섯 가지 표현형과 두 가지 모델만 평가했다는 점, 코호트 정확성을 위한 골드 스탠다드 차트 검토 대신 전문가 점수에 의존했다는 점, 그리고 체계적인 프롬프트 최적화가 부재하다는 점을 포함한 한계를 인정합니다. 향후 연구는 종단적 벤치마킹, 더 큰 검토 패널, 그리고 골드 스탠다드 데이터셋에 대한 검증을 중심으로 진행될 것을 제안합니다.