Real-time structuring of the clinical information section for dopamine transporter SPECT reporting with a small language model pipeline: development and external validation

기술 요약: 소형 언어 모델 파이프라인을 통한 DAT-SPECT 임상 정보의 실시간 구조화

문제 정의
도파민 운반체(Dopamine Transporter, DAT)-SPECT 영상의 정확한 해석은 환자의 증상, 약물 이력, 동반 질환 및 구조적 영상 소견을 포함한 맥락적 임상 정보에 크게 의존한다. 일상적인 임상 현장에서 이러한 데이터는 대개 이질적인 자유 형식의 텍스트(free text)로 기록된다. 이러한 비구조화된 형식은 모호성, 용어의 불일치, 세부 정보 수준의 가변성을 초래하며, 이는 임상적으로 유의미한 파라미터의 일관된 고려를 방해하고 보고 지침 준수를 제한할 수 있다. 자연어 처리(NLP)가 해결책을 제시하지만, 기존 방식은 주로 수천억 개의 파라미터를 가진 거대 언어 모델(LLM)에 의존한다. 이러한 모델들은 상당한 컴퓨팅 자원과 클라우드 기반 인프라를 필요로 하며, 이는 임상 환경에서의 데이터 보호, 규제 준수 및 기술적 실현 가능성에 대한 우려를 불러일으킨다.

방법론
본 연구는 소형 언어 모델(SLM)을 활용하여 자유 형식의 텍스트 임상 기록을 DAT-SPECT를 위한 표준화된 구조적 보고서로 변환하는, 로컬 배포 가능한 파이프라인을 개발하고 평가하였다.

• 데이터셋: 두 개의 회고적 데이터셋이 활용되었다. 내부 데이터셋(함부르크 에펜도르프 대학 의료 센터)은 2,990개의 임상 정보 섹션(2,700개는 학습용, 290개는 내부 테스트용으로 분할)을 포함하였다. 외부 검증 데이터셋(프라이부르크 대학 병원)은 595개의 임상 섹션으로 구성되었다. 모든 텍스트는 독일어로 작성되었다.
• 구조화된 사전(Dictionary): 두 명의 숙련된 DAT-SPECT 판독 전문가가 개발한 12개 카테고리(예: 적응증, 의심되는 병인, 증상, 약물, 측방화 등)에 걸친 466개 항목의 참조 사전을 구축하였다. 이 사전에는 동의어, 약어 및 후처리(예: 트레이서와의 약물 상호작용)를 위한 메타데이터가 포함되었다.
• 주석 달기(Annotation): 학습 및 내부 테스트 세트는 전문 판독자에 의해 자유 형식의 텍스트 내용을 구조화된 사전 항목에 매핑하는 방식으로 수동 주석 작업이 수행되었다.
• 모델 학습: Qwen3 1.7B 파라미터 모델을 주석이 달린 데이터에 대해 지도 학습(supervised learning)을 통해 미세 조정(fine-tuning)하였다. 학습에는 1 × 10⁻⁵의 학습률을 가진 8-bit AdamW 옵티마이저를 사용하였으며, 4 에포크(epoch) 동안 진행되었다. 추론 시에는 결정론적인 출력을 보장하기 위해 온도를 0으로 설정하였다.
• 규칙 기반 후처리(Rule-Based Postprocessing): 본 파이프라인의 핵심 구성 요소는 규칙 기반 후처리 도구였다. SLM이 복잡한 임상 논리를 단독으로 추론하게 하는 대신, 이 모듈은 다음과 같은 역할을 수행한다:
  • 중복 항목 제거.
  • 증상 메타데이터를 기반으로 스캔 적응증 자동 제안.
  • 증상의 측방화(lateralization) 및 경과(time course) 통합.
  • 가이드라인 관련 누락 요소에 대한 알림 생성.
  • 약물을 교차 참조하여 [¹²³I]ioflupane 결합과 관련된 상호작용이 있는 약물과 그렇지 않은 약물을 구분.

주요 결과

• 내부 성능: 내부 테스트 세트(n=290)에서, 후처리된 SLM 출력은 67.6%(196/290)의 사례에서 전문가의 수동 주석과 동일한 정보를 제공하였다. 완전 일치는 50.7%(147/290)였다. 텍스트 모호성으로 인한 해석 차이는 4.5%였으며, 객관적인 SLM 오류는 14.1%였다. 주목할 점은, 13.8%의 사례에서 SLM 출력이 명확성이나 완결성 측면에서 수동 주석보다 우수하다고 판단되었다는 것이다. 41개의 오류 사례 중 87.8%는 단 하나의 항목만 잘못되었거나 누락된 경우였다.
• 외부 검증: 외부 데이터셋(n=595)에서, 후처리된 출력의 75.0%(446/595)는 보고서에 포함되기 전 수동 수정이 필요하지 않았다. 수정이 필요한 나머지 25.0% 중에서도 74.5%는 단 하나의 항목만 수정하면 되었다. 사례당 평균 수정 항목 수는 0.34개였으며, 이는 전체 구조화된 항목의 6.0%를 나타낸다.
• 기본 모델과의 비교: 미세 조정된 SLM은 3-샷 프롬프팅(three-shot prompting)을 사용한 비 미세 조정 기본 모델(Qwen3-1.7B-Instruct)을 유의미하게 능가하였다. 기본 모델의 완전 일치율은 2.8%였던 반면, 미세 조정된 모델은 50.7%를 달성하였다.

의의 및 주장
본 논문은 로컬 배포가 가능한 SLM이 규칙 기반 후처리와 결합될 때, 높은 임상적 유용성과 견고한 외부 성능을 바탕으로 비구조화된 임상 정보를 표준화된 보고 가능한 문서로 효과적으로 변환할 수 있다고 주장한다.

저자들이 강조한 주요 기여는 다음과 같다:

1. 로컬 배포: 본 파이프라인은 외부 데이터 전송 없이 표준 하드웨어(NVIDIA RTX 6000 Ada GPU)에서 작동하여, 클라우드 기반 LLM과 관련된 데이터 보호 및 규제 문제를 해결한다.
2. 하이브리드 아키텍처: SLM을 구조화된 사전 및 규칙 기반 후처리와 통합함으로써, 언어 모델의 유연성과 규칙 기반 시스템의 신뢰성 및 투명성을 결과적으로 결합하였다. 이를 통해 모델 재학습 없이도 새로운 증상이나 약물을 쉽게 추가할 수 있다.
3. 임상적 유용성: 본 시스템은 환자 인터뷰 중 실시간으로 사용할 수 있는 "디지털 의료 인터뷰 어시스턴트"로 설계되었다. 이는 일관성을 개선하고, 가이드라인 관련 누락 정보를 강조하며, 구조화된 보고를 용이하게 하는 것을 목표로 한다.
4. 일반화 가능성: 내부 기관과 외부 기관 간의 문서화 스타일 차이에도 불구하고, 파이프라인은 견고한 성능을 유지하여 기관 간 높은 일반화 가능성을 보여주었다.

저자들은 단일 판독자의 주석 사용(잠재적 주관적 편향), 독일어 데이터에 국한된 점, 그리고 본 연구가 직접적인 임상 워크플로우나 진단 정확도에 미치는 영향보다는 기술적 타당성을 평가했다는 점을 한계점으로 인정하였다. 그들은 본 파이프라인이 높은 정확도와 유용성을 입증하였으나, 보고 효율성 및 진단 결과에 미치는 영향을 평가하기 위해서는 향가적인 전향적 연구가 필요하다고 결론지었다.