기술 요약: EDEN – 이탈리아어 임상 노트에 대한 대규모 코퍼스

문제 정의

임상 노트는 환자에 대한 풍부한 정보를 담고 있지만, 규제 장벽(예: GDPR), 기술적 과제(비구조적, 이질적인 자연어), 그리고 고립된 시스템 간의 데이터 파편화로 인해 연구에 활용하기 어려운 상태로 남아 있다. 이러한 결핍은 영어 이외의 언어, 특히 이탈리아어에서 더욱 심각하다. 과학 문헌(예: PubMed)은 이용 가능하지만, 자동 디지털 건강 기록 작성과 같은 응용 분야를 위한 실제 세계의 임상 데이터를 대체할 수는 없다. 또한, 응급의학(ED) 연구는 응급실 현장의 파편화되고 시간 압박이 심한 특성으로 인해 전통적인 수동 데이터 수집이 불가능하여, 역사적으로 다른 전문 분야에 비해 뒤처져 왔다. 따라서 의료 애플리케이션을 위한 대규모 언-언어 모델(LLM)의 개발 및 평가를 지원할 수 있는 대규모의 익명화된 실제 세계 이탈리아어 임상 데이터셋이 절실히 필요하다.

방법론

데이터 수집 및 익명화

EDEN(Emergency Department Electronic Notes) 코퍼스는 Horizon Europe의 지원을 받는 eCREAM 프로젝트의 일부인 NLP-DeVal 연구 하에 수집되었다. 데이터는 이탈리아의 두 병원인 San Giovanni Bosco(토리노)와 Sant'Andrea(베르첼리)의 응급실에서 2021~2023년 기간 동안 추출되었다.

• 프로토콜: 본 연구는 병원 윤리 위원회의 승인을 받았으며 엄격한 데이터 보호 규정을 준-수하였다.
• 익명화: 2단계 프로세스가 적용되었다:
  1. 환자 및 임상 맥락에 대한 모든 직접적인 참조(이름, 날짜, 진단, 처치 결과 등)를 제거한다.
  2. 인증된 익명화 소프트웨어(AnonymAI)를 적용하여 제3자 참조(예: 친척의 연락처 등)를 제거한다.
• 범위: 결과물인 코퍼스는 약 420만 개의 임상 노트(2억 2,100만 단어)로 구성되며, 10개의 공통 카테고리(예: 병력 청취, 트리아지, 퇴원, LIS, RIS) 및 병원별 특정 카테고리를 포함한다.

어노테이션 체계 (CRF Filling)

구조화된 벤치마크를 만들기 위해, San Giovanni Bosco(SGB) 데이터셋에서 추출한 5,746개의 노트를 숙련된 임상의들이 수동으로 어노테이션하였다.

• 태스크: 어노테이션은 임상의가 자유 형식의 노트에서 정보를 추출하여 가상의 사례 보고 양식(vCRF)을 채우는 "CRF Filling" 패러다임을 따른다.
• 구조: vCRF는 임상 영역(예: 신체 검사, 병력 청취, 검사 결과)별로 정리된 132개의 항목을 포함한다.
• 값의 유형: 항목들은 네 가지 유형의 값을 지원한다:
  1. 이진형 (Y/N): 예: 이뇨제 투여 여부.
  2. 범주형: 예: 심혈관 부전 (급성/만성).
  3. 수치형: 예: pH 수치.
  4. 혼합형 (숫자 또는 범주): 예: 심박수 (수치 값 또는 서맥/빈맥과 같은 범주).
• 결측치 처리: 증거가 불충분한 경우, 항목은 "알 수 없음(unknown)"으로 표시된다.
• 프로세스: 어노테이션은 Label Studio를 사용하여 수행되었으며, 모호성을 해결하기 위한 캘리브레이션 단계를 거쳤다. 이 데이터셋은 매우 불균형하다. 일부 노트는 밀도 있게 어노테이션되어 있으나, 약 30%는 채워진 항목이 없으며, 대부분의 노트당 132개 필드 중 대다수는 "알 수 없음" 상태이다.

실험 설정

저자들은 제로샷(zero-shot) 환경에서 이 구조화된 추출 태스크를 위한 LLM 사용의 타당성을 평가하였다.

• 모델: 두 가지 모델을 테스트하였다: Gemma-27B(범용 모델)와 MedGemma-27B(생물 의학적으로 적응된 변형 모델).
• 프롬프팅 전략: 효율성과 제어 사이의 균형을 맞추기 위해 세 가지 구성을 평가하였다:
  1. Item: 항목당 하나의 프롬프트 (노트당 132회 호출).
  2. Group: 임상 그룹당 하나의 프롬프트 (노트당 7회 호출).
  3. Full: 단일 프롬프트에 132개 항목 전체 포함 (노트당 1회 호출).
• 지표: 클래스 불균형( "unknown"이 지배적인 상황)을 해결하기 위해 Macro-F1을 주요 지표로 선택하였으며, Micro-F1, Weighted-F1 및 Accuracy를 함께 사용하였다.
• 베이스라인: 무작위 예측(Random prediction) 및 "최빈값(Most Common)" (항상 "unknown"을 예측).

주요 기여

1. EDEN 코퍼스: 실제 응급실 환경에서 추출한 약 400만 개의 익명화된 노트를 포함하는, 가장 큰 규모의 자유 이용 가능한 이탈리아어 임상 노트 코퍼스이다.
2. 어노테이션된 서브셋: 132개의 구조화된 CRF 항목에 걸쳐 15,528개의 어노테이션을 포함하며, 다양한 값의 유형과 임상 영역을 포괄하는 5,746개 노트의 수동 큐레이션 서브셋이다.
3. CRF Filling 벤치마크: 표준 개체명 인식(NER)을 넘어 복잡한 값 추출로 나아가는, 임상 노트를 위해 특별히 설계된 구조화된 정보 추출 태스크를 도입하였다.
4. 제로샷 베이스라인: 이탈리아 임상 CRF filling에 대해 27B 파라미터 LLM을 평가한 최초의 연구로, 생물 의학 도메인 적응(MedGemma)이 범용 모델보다 유의미한 개선을 가져온다는 것을 입증하였다.

결과

• 베이스라인 성능: "최빈값" 베이스라인(모든 항목에 대해 "unknown"을 예측)은 클래스 불균형으로 인해 높은 Micro-F1(0.978)과 Accuracy(0.978)를 달성했으나, 낮은 Macro-F1(0.404)을 기록하여 정보가 있는 기본값이 아닌 값을 추출하는 것이 어려움을 보여주었다.
• 모델 성능:
  • MedGemma-27B는 Item 및 Group 구성에서 Gemma-27B보다 일관되게 우수한 성능을 보였으며, Group 구성에서 0.702의 Macro-F1을 달성하였다. 이는 이탈리아 임상 태스크에서 생물 의학 도메인 사전 학습의 가치를 확인시켜 준다.
  • Full 프롬프팅 구성은 MedGemma에서 성능 저하 또는 역전 현상을 보였는데, 이는 한 번의 응답에서 132개의 예측을 생성하는 것이 모델의 지시 이행 능력을 과부하시킨다는 것을 시사한다.
• 효율성: Group 구성이 최적의 절충안으로 나타났다. 이 방식은 가장 높은 Macro-F1 점수를 유지하면서도 Item 구성에 비해 추론 시간을 약 10배 단감시켰다.

의의 및 주장

본 논문은 EDEN을 이탈리아 임상 데이터의 격차를 메울 수 있는 핵심 자원으로 위치시키며, 고위험 의료 응용 분야를 위한 LLM 연구를 가능하게 한다. 저자들의 주장은 다음과 같다:

• EDEN은 자유롭게 이용 가능한 가장 큰 규모의 이탈리아어 임상 노트 코퍼스이다.
• 이 데이터셋은 여러 임상 영역에 걸친 구조화된 출력 다양성(이진, 범주, 수치, 혼합형) 측면에서 독특하다.
• 대규모 언어 모델은 (특히 생물 의학 적응 모델과 그룹화된 프롬프팅 전략을 사용할 때) 태스크별 지도 학습 없이도(zero-shot) 이탈리아어 노트로부터 의미 있는 임상 정보를 추출할 수 있다.
• 이 리소스는 이탈리아의 임상 NLP, 구조화된 정보 추출, 그리고 응급 의료 환경에서의 신뢰할 수 있는 LLM 평가 연구를 촉진하는 것을 목표로 한다.

저자들은 현재 기술 수준에 대해 겸허한 태도를 유지하며, 제로샷 결과가 유망하기는 하지만 향후 계획된 퓨샷(few-shot) 및 미세 조정(fine-tuning) 접근법을 통해 개선될 여지가 있다고 언급하였다. 또한, 데이터 수집 과정을 방해했던 윤리 승인 및 데이터 전송의 구조적 병목 현상을 인정하며, 회고적 NLP 연구를 위한 표준화된 규제 프레위의 필요성을 강조하였다.