기술 요약: 대규모 언어 모델을 이용한 종단적 합성 임상 기록 생성 파이프라인

문제 정의

요약 도구, 진단 지원, 자동 코딩 모델과 같은 임상 AI 시스템의 개발 및 평가는 엄격한 규제 및 윤리적 요구사항으로 인한 실제 환자 데이터 접근 제한으로 인해 어려움을 겪고 있습니다. 익명화와 같은 개인정보 보호 기술이 존재하지만, 이는 종종 기관의 승인 프로세스를 충족하지 못하거나 개인정보 위험을 완전히 완화하지 못합니다. 결과적으로, 실제 환자 정보를 포함하지 않으면서도 실제 환자 기록의 구조, 내용 및 종단적 일관성을 모방할 수 있는 고품질의 합성 임상 데이터에 대한 비판적인 요구가 존재합니다. 기존의 합성 데이터 접근 방식은 실제 환경에서 발견되는 글쓰기 스타일, 노트 구조 및 임상적 세부 사항의 변동성을 확보하면서 환자의 여정 전반에 걸친 내부 일관성을 유지하는 데 어려움을 겪는 경우가 많습니다.

방법론

저자들은 종단적 일관성을 가진 합성 임상 노트를 생성하도록 설계된 모듈형 5단계 파이프라인을 제시합니다. 이 파이프라인은 속도와 프라이버시를 우선시하며, 반구조적 및 비구조적 데이터 생성을 위해 대규모 언어 모델(LLM)을 활용하고, 오픈 소스 시뮬레이터인 Synthea의 구조화된 데이터를 보완적으로 사용합니다.

1. 환자 생성

파이프라인은 영국 인구 통계 및 주소에 맞게 조정된 Synthea의 변형 버전인 Synthea UK를 사용하여 환자 인구 통계를 생성하는 것으로 시작됩니다. 이후 추가적인 세부 정보(예: 차기 보호자 연락처 정보)를 생성하기 위해 LLM(GPT-4o)이 사용됩니다. 다양성과 현실성을 보장하기 위해, 파이프라인은 임상적 피드백을 바탕으로 프롬프트를 반복적으로 개선합니다. 예를 들어, 현재는 일반적인 환각 현상인 페니실린 알레르기 등으로 기본 설정하는 대신, 국가적 유병률에 따라 알레르기를 무작위로 샘플링합니다. 모든 출력은 엄격하게 JSON 형식으로 구성되며, 파싱 오류를 처리하기 위해 정규 표현식(regex) 및 2차 LLM 호출을 사용하는 자동 정제 함수를 사용합니다.

2. 입원 생성

시스템은 예정된 입원(elective)과 응급 입원(emergency) 두 가지 유형의 입원을 생성합니다. 입원 사유는 성별 및 연령별로 계층화된 큐레이션된 테이블에서 샘플링되지만, 아키텍처는 SNOMED 또는 ICD 코딩된 데이터셋과의 통합을 허용합니다. LLM은 전문 분야, 병동 위치, 현재 복용 약물, 과거 병력 등을 포함한 입원 상세 정보를 생성하며, 이어서 입원 기간(length of stay)을 추정합니다.

3. 환자 여정 시뮬레이션

이 단계는 입원에서 퇴원 전까지의 이벤트 타임라인을 구축합니다.

• 초기 생성: 먼저 이벤트 유형(예: 입원, 회진, 수술), 타임스탬프 및 간략한 요약을 포함하는 "단순한" 여정이 생성됩니다.
• 복잡성 주입: 단순한 여정이 완료되면, 스태프 배정, 상세 설명, 다음 단계 결정 등을 포함하여 각 이벤트에 복잡성을 추가합니다.
• 검증 루프: LLM 검증기가 여정의 현실성을 평가합니다. 만약 여정이 조기에 종료되거나 비현실적이라고 판단되면, 파이프라인은 섹션을 다시 작성하거나 타임라인을 연장하기 위해 루프를 돕니다.
• 필터링: 원치 않는 이벤트(예: 조기 퇴원 요약 생성을 방지하기 위한 퇴원 이벤트 자체)는 필터링됩니다.

4. 임상 노트 생성

여정의 각 이벤트에 대해 GPT-4o를 사용하여 특정 임상 노트를 생성합니다.

• 맥락적 프롬프팅: 프롬프트에는 환자 인구 통계, 현재 시점까지의 전체 이벤트 이력, 그리고 임상가 입력을 통해 설계된 예상 출력 형식이 포함됩니다.
• 임상 페르소나: 현실적인 글쓰기 스타일의 변동성을 도입하기 위해, 스태프에게 무작위 "페르소나"(예: 간결형, 서사형, 불렛 포인트형, 노트형, ABC-DE형)를 할당합니다. 이는 환자의 여정 전반에 걸쳐 일관된 스타일적 변동성을 보장합니다.
• 동적 콘텐츠: 파이프라인은 입원 사유에 따라 적절한 "레드 플래그(red-flag)" 증상을 동적으로 선택하고 필요한 법적 검사를 결정합니다.

5. 증강 및 검증

• LLM 검증: 검증용 LLM이 생성된 노트가 환자 여정 및 맥락에 부합하는지(faithfulness) 확인하여 중요한 세부 사항이 누락되거나 변경되지 않았는지 체크합니다. 이 단계는 출력 품질을 반복적으로 개선하기 위해 루프 형태로 작동합니다.
• 노이즈 주입: 다음과 같은 현실적인 노이즈를 추가합니다:
  • 약어: LLM은 단순한 찾아 바꾸기 방식이 아니라 문장 내에 임상 약어를 지능적으로 삽입합니다.
  • 오타: python-typo 패키지를 사용하여 현실적인 타이핑 오류(문자 교체, 누락, 이중 공백 등)를 시뮬레이션하며, 개별 스태프에게 무작위 오타율을 할당합니다.
  • 서명: 스태프의 서명이 노트에 추가됩니다.

주요 기여

1. 모듈형 파이프라인: 환자 기록 전반에 걸쳐 종단적 일관성을 유지하면서 글쓰기 스타일과 임상적 세부 사항의 변동성을 포착하는, 구성 가능한 합성 임상 노트 생성 파이프라인을 제공합니다.
2. 합성 데이터셋: 70명의 합성 환자를 포함하며, 각 환자는 병원 여정 전체에 걸쳐 20~50개의 임상 노트를 가집니다. 이 데이터셋은 다음과 같은 다중 검증 수준으로 제공됩니다:
   • Silver (출시됨): 검증된 파이프라인 및 LLM을 통해 생성되었으나 임상가 검토는 거치지 않음.
   • Gold (계획됨): 추가적인 검토 및 임상가 검증을 포함함.
   • Bronze (계획됨): 검증된 파이프라인을 사용하지만 다른 LLM을 사용할 수 있으며 추가 검증은 없음.
3. 평가 프레임워크: 전통적인 지표와 LLM 기반 판사(judge)를 모두 사용하여 현실성, 일관성 및 변동성을 측정하는 통합 평가 제품군을 제공합니다.

결과 및 평가

논문은 개발 과정 중 시스템을 반복적으로 개선하기 위해 사용된 평가 파이프라인을 상세히 설명합니다:

• 가독성: 서로 다른 임상 페르소나가 적절하면서도 다양한 가독성 수준을 생성하는지 확인하기 위해 Flesch Reading Ease 및 Dale Chall 점수를 사용하여 측정합니다.
• LLM-as-a-Judge: LLM이 생성된 노트의 유창성(문법 및 일관성), 근거성(환자 여정 사실과의 일치 여부), 관련성(필수 정보 포함 여부)을 1점에서 5점 사이로 점수를 매깁니다.
• 시간적 일관성: 모든 이벤트가 환자에 대해 연대순으로 발생하는지에 대한 이진(binary) 체크를 수행합니다.
• 인간 평가: 임상적 피드백을 통해 특정 문제점(예: 레드 플래그 문서화 누락, 비현실적인 약어 사용, 지나치게 장황한 노트)을 식별하였으며, 이는 프롬프트 엔지니어링 및 파이프라인 수정을 통해 해결되었습니다.

이 데이터셋은 요약, 코딩, 의사 결정 지원 및 편향 테스트(성별 전환 기능을 통한)를 위한 AI 도구 개발을 지원합니다.

의의 및 주장

저자들은 본 연구가 실제 환자 데이터에 대한 의존 없이 임상 AI 시스템을 개발하고 테스트할 수 있는 실질적인 솔루션을 제공하며, 이를 통해 실제 데이터와 관련된 느리고 종종 성공적이지 못한 기관 승인 프로세스를 우회할 수 있다고 주장합니다.

논문은 파이프라인이 고품질의 합성 여정과 노트를 생성하지만, 현실 세계의 복잡성을 완벽하게 복제하는 것은 아니라는 점을 강조하며 다음과 같은 한계를 겸허히 인정합니다:

• 현실 세계 복잡성의 상실: 상충하는 관찰 결과, 스태프 가용성 문제, 상황 의존적 의사 결정의 풍부함을 완전히 포착하지 못함.
• 엣지 케이스(Edge Case) 과소 대표: 희귀하거나 부정적인 사건(long tail)보다는 "평균적인" 사례를 반영하는 경향이 있음.
• 편향 및 환각: 합성 데이터가 기초가 되는 LLM의 편향을 상속하거나, 그럴듯하지만 사실과 다른 임상 정보를 도입할 위험이 있음.

본 연구의 의의는 윤리적 제약 조건을 준-수하면서 AI 도구(편향 탐지 및 멀티모달 예측 포함)를 테스트할 수 있는 확장 가능하고 프라이버시를 보호하는 데이터셋을 제공한다는 점에 있습니다. 코드는 GitHub에서 이용 가능하며, 데이터는 Hugging Face에 호스팅되어 있습니다.