EHRSQL: A Practical Text-to-SQL Benchmark for Electronic Health Records

이 논문은 병원 직원의 실제 요청을 기반으로 MIMIC-III 와 eICU 데이터베이스에 매핑된 다양한 시간 표현과 답변 불가능한 질문을 포함하는 새로운 의료 기록용 텍스트 -SQL 벤치마크인 'EHRSQL'을 제안합니다.

핵심

이 논문은 **'EHRSQL'**이라는 새로운 도구를 소개합니다. 이 도구를 쉽게 설명하자면, **"병원 기록장을 읽지 못하는 의사나 간호사를 위해, 말로만 질문하면 자동으로 답을 찾아주는 '똑똑한 비서'를 만드는 데 필요한 연습용 교재"**라고 할 수 있습니다.

기존의 인공지능 연구들은 주로 "질문하면 정답을 찾아주는 것"에 집중했지만, 이 논문은 **"질문이 아예 답할 수 없는 것일 때는 '모르겠다'고 정직하게 말해야 한다"**는 점을 강조합니다.

이 내용을 일상적인 비유와 함께 쉽게 풀어서 설명해 드릴게요.

---

1. 문제 상황: 거대한 도서관과 낯선 질문

병원에는 환자의 모든 기록 (진료 내용, 약, 검사 결과 등) 이 담긴 거대한 **'디지털 도서관 (EHR)'**이 있습니다. 하지만 이 도서관은 매우 복잡해서, 일반 직원이 원하는 정보를 찾으려면 전문적인 컴퓨터 언어 (SQL) 를 알아야만 합니다.

• 비유: 마치 거대한 도서관에 들어갔는데, 책장을 찾아다니는 법을 모르는 상태입니다. "어제 3 층에서 본 빨간 책이 뭐였지?"라고 물어봐도, 도서관 사서 (시스템) 는 "그건 제가 모릅니다"라고만 답하거나, 엉뚱한 책을 가져옵니다.

2. 해결책: EHRSQL (실전 연습 교재)

연구진은 이 문제를 해결하기 위해 실제 병원 직원 222 명에게 "어떤 정보를 가장 자주 찾고 싶나요?"라고 물었습니다. 그리고 그 질문들을 바탕으로 인공지능이 학습할 수 있는 **'실전 연습 교재 (EHRSQL)'**를 만들었습니다.

이 교재의 특징은 세 가지입니다.

① 다양한 질문 (다양한 손님)

단순히 "환자 이름이 뭐야?" 같은 쉬운 질문뿐만 아니라, "지난 1 년간 고혈압 진단을 받고 3 개월 이내로 처방된 약 중 가장 흔한 것은 무엇일까?"처럼 복잡하고 시간이 걸리는 계산이 필요한 질문들도 포함됩니다.

• 비유: 도서관 사서에게 "책 좀 줘"라고만 하지 않고, "지난달에 30 대 남성이 읽다가 중간에 끊어둔 추리소설 중, 표지가 파란 것"처럼 정교하고 구체적인 주문을 연습하게 하는 것입니다.

② 시간 감각 (시간 여행)

의료 기록은 '시간'이 생명입니다. "어제", "지난달", "입원 후 3 일 이내" 같은 표현을 정확히 이해해야 합니다.

• 비유: 도서관 사서가 "어제 읽은 책"과 "지난해 읽은 책"을 구분하지 못하면 엉뚱한 책을 줍니다. 이 교재는 사서에게 시간의 흐름을 정확히 파악하는 법을 가르칩니다.

③ 정직한 거절 (가장 중요한 부분)

기존 시스템은 질문을 받으면 무조건 답을 찾으려고 애쓰다가 엉뚱한 정보를 만들어내는 경우가 많았습니다. 하지만 이 교재에는 **"답할 수 없는 질문"**도 포함되어 있습니다. (예: "이 약을 먹으면 왜 두통이 생길까?"라는 질문은 기록장에 원인 설명이 없으므로 답할 수 없음).

• 비유: 손님이 "내 친구가 어제 이 도서관에 왔을 때 읽은 책이 뭐였지?"라고 물으면, 도서관 사서는 **"그건 제가 알 수 없습니다"**라고 정직하게 말해야 합니다. 엉뚱하게 책을 추측해서 주는 것보다, "모르겠습니다"라고 말하는 것이 훨씬 안전합니다.

3. 왜 이것이 중요한가요? (신뢰할 수 있는 비서)

병원에서는 잘못된 정보가 환자의 생명을 위협할 수 있습니다. 그래서 인공지능이 "내가 이 질문에 답할 수 있는가?"를 스스로 판단하고, 없으면 답하지 않는 능력이 필수적입니다.

이 논문은 인공지능이 단순히 "질문 → 답"만 하는 것이 아니라, **"질문 → (답할 수 있나?) → (있으면 답, 없으면 거절)"**이라는 신뢰할 수 있는 과정을 학습하도록 돕습니다.

4. 결론: 현실 세계로 가는 첫걸음

지금까지의 인공지능 연구는 "모든 질문에 답할 수 있다"는 가정 하에 진행되었습니다. 하지만 실제 병원에서는 그렇지 않습니다. 이 논문은 실제 병원 직원들의 목소리를 반영하고, 답할 수 없는 질문을 거절하는 법을 가르치는 새로운 기준 (벤치마크) 을 제시했습니다.

한 줄 요약:

"이 연구는 인공지능 비서가 병원에서 일할 때, 복잡한 기록을 찾아내는 능력뿐만 아니라, 알 수 없는 것은 정직하게 '모른다'고 말하는 용기까지 배우도록 돕는 최고의 연습 교재를 만들었습니다."

이 교재가 완성되면, 앞으로 병원에서는 의사나 간호사가 컴퓨터 앞에 앉아 복잡한 코드를 입력할 필요 없이, 그냥 말로 "어제 입원한 환자 중 혈압이 높았던 사람 찾아줘"라고 말하면, 시스템이 정확한 답을 찾아주거나 "해당 정보가 없습니다"라고 정직하게 알려줄 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

전자의무기록 (EHR, Electronic Health Records) 은 환자의 진료 이력을 구조화된 데이터베이스 형태로 저장하며, 병원 내 의사, 간호사, 행정직원 등 다양한 직군이 임상 결정을 내리기 위해 이 데이터를 활용합니다. 그러나 현재 대부분의 병원 직원은 미리 정의된 규칙 기반 시스템만을 사용하여 데이터를 조회할 수 있으며, 복잡한 질의를 수행하려면 별도의 전문 교육이 필요합니다.

기존의 Text-to-SQL(자연어에서 SQL 로 변환) 연구 및 데이터셋 (MIMICSQL, emrKBQA 등) 은 다음과 같은 한계를 가지고 있어 실제 병원 환경에 적용하기 어렵습니다:

• 제한된 질문 범위: 단순한 템플릿 기반 생성으로 실제 병원 직원이 필요로 하는 복잡한 질문 (예: 생존율 계산, 다중 테이블 조인, 시계열 분석) 을 반영하지 못함.
• 시간 표현의 부재: 의료 데이터는 시간적 맥락 (입원일, 퇴원일, 특정 기간 내 등) 이 핵심임에도 불구하고, 기존 데이터셋은 다양한 시간 표현을 체계적으로 다루지 못함.
• 신뢰성 부족: 모든 입력 질문에 대해 무조건 답을 생성하려는 기존 모델은, 데이터베이스 스키마와 무관하거나 외부 지식이 필요한 '답할 수 없는 질문 (Unanswerable Questions)'에 대해 잘못된 SQL 을 생성하여 치명적인 오류를 범할 수 있음.

2. 방법론 (Methodology)

저자들은 실제 병원 환경의 요구사항을 반영한 대규모 Text-to-SQL 데이터셋 EHRSQL을 구축하고, 이를 해결하기 위한 신뢰할 수 있는 의미 분석 (Trustworthy Semantic Parsing) 태스크를 정의했습니다.

A. 데이터 수집 및 구축

• 실제 설문 조사: 한국 건양대학교병원에서 의사, 간호사, 보험 심사팀 등 222 명의 병원 직원을 대상으로 설문조사를 실시하여 실제 EHR 데이터에서 자주 묻는 질문 1,742 건을 수집했습니다.
• 데이터베이스 연결: 수집된 질문을 두 개의 오픈소스 EHR 데이터베이스 (MIMIC-III 및 eICU) 에 매핑하여 SQL 쿼리를 수동으로 라벨링했습니다.
• 템플릿화 및 변형:
  • 질문을 환자 단위 (단일 환자, 환자 군, 비환자 정보) 로 분류하고 템플릿화했습니다.
  • 시간 필터링: 절대적 (Absolute), 상대적 (Relative), 혼합 (Mixed) 시간 표현, 단위 (일, 월, 입원 기간 등), 구간 (since, until, in) 등을 체계적으로 분류하여 시간 민감형 질문을 생성했습니다.
  • 답할 수 없는 질문 (Unanswerable Questions): 데이터베이스 스키마와 불일치하거나 외부 지식이 필요한 질문을 별도로 분류하여 포함시켰습니다. 이는 모델이 답변할 수 없는 질문을 식별하고 거부할 수 있도록 훈련시키기 위함입니다.
• 파라프레이징 (Paraphrasing): 인간과 머신 학습 모델 (T5, 번역 모델 등) 을 활용하여 질문의 언어적 다양성을 확보했습니다.

B. 데이터 전처리

• 비용 테이블 추가: 병원 행정 및 보험 관련 질문을 위해 OMOP 공통 데이터 모델을 참조하여 비용 테이블을 새로 구축했습니다.
• 시간 이동 (Time Shifting): 데이터의 익명화 및 상대적 시간 표현 (오늘, 어제, 지난달 등) 을 자연스럽게 처리하기 위해 모든 환자 기록의 시간을 2100 년대 초로 이동시켰으며, 현재 시간을 '2105 년 12 월 31 일'로 설정했습니다.
• 추가 익명화: 환자 ID 와 특정 조건 값 (진단명, 약물명 등) 의 조합이 환자 신원을 유추할 수 있는 위험을 방지하기 위해 데이터 내 기록들을 무작위로 섞었습니다.

C. 태스크 정의: 신뢰할 수 있는 의미 분석

기존의 Text-to-SQL 태스크는 모든 질문에 답을 생성하는 것을 전제로 하지만, EHRSQL 은 신뢰할 수 있는 의미 분석을 목표로 합니다.

1. 질문 분류: 입력된 질문이 답할 수 있는지 (Answerable) 없는지 (Unanswerable) 를 먼저 판단합니다.
2. SQL 생성: 답할 수 있는 질문에만 해당하는 SQL 쿼리를 생성합니다.
3. 불확실성 추정: 모델의 예측 확신도 (Confidence Score, 엔트로피 기반) 를 계산하여 임계값을 초과하면 답변을 거부 (Refusal) 합니다.

3. 주요 기여 (Key Contributions)

1. 실제 기반 대규모 데이터셋 (EHRSQL):
   • 222 명의 실제 병원 직원을 대상으로 한 설문을 기반으로 하여, 기존 데이터셋보다 훨씬 다양하고 복잡한 실제 의료 질의를 포함합니다.
   • 평균 13.5 개의 테이블을 참조하며, 생존율 계산, 다중 시간 필터링 등 복잡한 SQL 연산이 포함된 24,411 개의 질문 -SQL 쌍을 제공합니다.
2. 시간 표현의 체계적 통합:
   • 의료 분야에서 필수적인 다양한 시간 표현 (절대적, 상대적, 혼합형) 을 데이터셋에 체계적으로 포함시켰으며, 이는 기존 벤치마크에서 간과된 부분입니다.
3. 신뢰할 수 있는 QA 시스템 평가 기준 제시:
   • 답할 수 없는 질문을 포함시켜, 모델이 오류를 범하지 않고 적절한 시점에 답변을 거부할 수 있는지 평가하는 Trustworthy Semantic Parsing 태스크를 정의했습니다.
   • 이는 의료 AI 의 실용적 배포 (Deployment) 에 있어 필수적인 안전 장치를 연구합니다.
4. 다중 데이터베이스 지원:
   • MIMIC-III 뿐만 아니라 eICU(다중 병원 중환자실 데이터) 도 지원하여, 다양한 스키마에서의 일반화 능력을 평가할 수 있게 했습니다.

4. 실험 결과 (Results)

• 베이스라인 모델 성능: T5-base 모델을 사용하여 실험한 결과, 스키마 정보를 입력에 포함시킨 모델 (T5 + Schema) 이 성능이 약간 향상되었으나, 단일 데이터베이스 설정에서는 스키마 정보가 큰 차이를 보이지 않았습니다.
• 신뢰도 기반 거부 (Refusal) 전략:
  • 모델의 예측 엔트로피 (Entropy) 를 기반으로 임계값을 설정하여 답변을 거부하는 전략을 적용했습니다.
  • 백분위 기반 (Percentile-based) 임계값 설정이 검증 및 테스트 세트에서 가장 좋은 성능 (F1-score) 을 보였습니다. 이는 검증 세트의 답할 수 없는 질문 비율 (33%) 을 임계값 설정에 반영했기 때문입니다.
  • 이 전략을 적용하면 F1_ans(답할 수 있는 질문을 올바르게 식별하는 능력) 와 F1_exe(올바른 SQL 을 생성하여 실행하는 능력) 가 모두 크게 향상되었습니다.
• 크로스 도메인 전이 학습:
  • Spider 데이터셋에서 학습된 최신 모델 (GAP) 을 EHRSQL 에 적용한 결과, 매우 낮은 성능 (약 4.7%) 을 보였습니다. 이는 의료 도메인의 복잡한 시간 연산자와 중첩된 SQL 구조가 기존 도메인 (Spider) 과는 근본적으로 다르기 때문입니다.

5. 의의 및 결론 (Significance)

• 연구와 실제의 간극 해소: EHRSQL 은 학술적 Text-to-SQL 연구가 실제 의료 현장의 요구사항 (복잡한 질의, 시간 표현, 안전성) 을 얼마나 반영하고 있는지 평가할 수 있는 첫 번째 실용적인 벤치마크입니다.
• 안전한 의료 AI 개발: 모든 질문에 답하려는 기존 모델의 한계를 지적하고, "답할 수 없는 질문을 식별하고 거부하는 능력"을 평가 지표로 포함시킴으로써, 실제 임상 환경에서 적용 가능한 신뢰할 수 있는 (Trustworthy) AI 시스템 개발의 방향성을 제시합니다.
• 향후 연구 방향: 이 데이터셋은 대화형 QA, 멀티모달 EHR QA, 그리고 불확실성을 고려한 엔드 - 투 - 엔드 의미 분석 모델 개발을 위한 중요한 자원이 될 것입니다.

결론적으로, 이 논문은 단순한 Text-to-SQL 성능 향상을 넘어, 의료 데이터의 특수성 (시간, 복잡성, 안전성) 을 고려한 차세대 QA 시스템 개발을 위한 필수적인 인프라와 평가 기준을 마련했다는 점에서 큰 의의가 있습니다.