RadTimeline: Timeline Summarization for Longitudinal Radiological Lung Findings

RadTimeline: 장기적 방사선학적 폐 소견을 위한 타임라인 요약

이 논문은 장기적인 방사선 보고서 (Longitudinal Radiology Reports) 에서 질병의 진행을 추적하고 요약하는 새로운 구조화된 태스크를 제안하며, 이를 위해 RadTimeline이라는 데이터셋과 3 단계 LLM 기반 생성 방법을 소개합니다.

1. 문제 정의 (Problem)

• 배경: 방사선 보고서의 소견을 시간의 흐름에 따라 추적하는 것은 질병 진행, 치료 반응 평가, 위험도 산정에 필수적입니다.
• 현황의 한계:
  • 개별 보고서에는 "개선됨", "지속됨"과 같은 짧은 구문으로 상태 변화가 기록되지만, 여러 보고서를 종합하여 세부적인 변화를 파악하는 것은 수동으로 수행 시 시간 소모가 크고 인지 부하 (Cognitive Overload) 를 유발합니다.
  • 기존 AI 요약 작업은 대부분 비구조화된 텍스트 (Unstructured Summary) 를 생성하여, 시간적 변화에 대한 사실 확인 (Fact-checking) 이 어렵고 출처를 추적하기 번거롭습니다.
  • 고정된 주제 (Topic) 기반의 구조화된 요약은 심부전 등 특정 질환에는 적용 가능하나, 환자별로 폐의 동일한 부위에서 관찰된 여러 결절 (Nodule) 들을 개별적으로 추적해야 하는 방사선학의 특성에는 적합하지 않습니다.

2. 제안 방법 (Methodology)

2.1. RadTimeline 데이터셋 및 포맷

• 구조: 2 차원 타임라인 테이블을 제안합니다.
  • 열 (Columns): 시간戳이 찍힌 각 방사선 검사 (예: 2023-05 Chest CT) 를 나타내며, 해당 보고서에서 추출된 폐 소견 사실 (Fact) 이 들어갑니다.
  • 행 (Rows): 시간적으로 관련된 소견들을 그룹화한 단위입니다. 각 행은 특정 소견의 진화를 추적하며, 행 헤더 (Group Name) 는 해당 그룹의 특징을 설명합니다.
• 데이터셋 (RadTimeline): UW Medicine 의 폐암 감시 프로젝트에서 추출한 10 명의 환자 (6 명은 폐암 진단, 4 명은 무) 의 5 년간 65 건의 흉부 영상 보고서를 기반으로 구축되었습니다. 전문의와 의학도들이 손으로 정제 (Hand-corrected) 한 골드 (Gold) 타임라인을 포함합니다.

2.2. 3 단계 LLM 기반 생성 파이프라인
LLM 을 사용하여 다음 3 단계를 거쳐 타임라인을 생성합니다.

1. Step 1: 소견 추출 (Finding Extraction)
   • 개별 보고서에서 폐 관련 소견 사실 (Size, Location, Status 등) 을 추출합니다.
   • RadGraph 모델을 활용하여 '부재 (Absent)'로 표시된 소견 (예: "새로운 결절 없음") 을 필터링하여 불필요한 출력을 줄입니다.
2. Step 2: 그룹명 생성 (Group Name Generation)
   • 추출된 소견들을 직접 클러스터링하는 대신, 먼저 해석 가능한 자연어 **그룹명 (Row Header)**을 생성합니다.
   • 전체 보고서 컨텍스트 (Full Context) 또는 추출된 소견 리스트만 (Finding-only Context) 을 입력으로 사용합니다.
   • 생성된 그룹명은 이후 단계에서 소견을 매핑하는 데 사용됩니다.
3. Step 3: 그룹 할당 (Group Assignment)
   • 추출된 각 소견을 Step 2 에서 생성된 그룹명에 매핑합니다.
   • LLM 기반: Zero-shot 또는 Few-shot 프롬프트를 사용하여 소견을 그룹에 할당합니다. (Single finding 처리 또는 Multiple findings를 한 번에 처리하는 방식)
   • Embedding 기반: E5-Mistral 등의 임베딩 모델을 사용하여 소견과 그룹명 간의 코사인 유사도를 계산하여 매핑합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 구조화된 요약 태스크 제안: 비구조화된 텍스트 요약이 아닌, 시간적 진화를 시각적으로 비교하고 사실 확인이 용이한 2 차원 타임라인 형식을 제안했습니다.
2. RadTimeline 데이터셋 구축: 폐 관련 소견 추적을 위한 첫 번째 손으로 정제된 (Hand-corrected) 장기적 타임라인 평가 데이터셋을 공개합니다.
3. 3 단계 생성 전략의 유효성 입증: 소견 추출, 그룹명 생성, 그룹 할당의 3 단계 접근법이 효과적임을 보였으며, 특히 중간 단계인 그룹명 생성이 소견 그룹화의 성능에 결정적임을 규명했습니다.

4. 실험 결과 (Results)

• 소견 추출 (Finding Extraction):
  • GPT-4o 가 Llama 3.1 8B 보다 ROUGE-L 점수 (67 vs 62) 와 불필요한 예측 (Unnecessary predictions) 감소 측면에서 더 우수한 성능을 보였습니다.
  • '부재' 소견 필터링이 강화될수록 불필요한 예측이 크게 감소했습니다.
• 그룹명 생성 (Group Name Generation):
  • 전체 컨텍스트 (Full Context) 를 사용할 때 GPT-4o 가 Llama 3.1 보다 더 나은 그룹명을 생성했습니다.
  • Llama 3.1 은 불필요한 그룹명 (중복 또는 관련 없는 내용) 을 많이 생성하는 경향이 있었습니다.
• 그룹 할당 (Group Assignment):
  • 성능: GPT-4o 를 사용한 프롬프트 기반 방법은 인간 annotator 간의 일관성 (CoNLL F1 약 82) 에 근접하는 성능 (최대 84) 을 달성했습니다.
  • 그룹명의 중요성: 생성된 그룹명 (Intermediate Step) 이 없으면 그룹 할당 성능이 급격히 저하되었습니다. 이는 그룹명 생성 단계가 필수적임을 의미합니다.
  • Embedding vs LLM: 그룹명이 제공될 때 (Oracle), 임베딩 기반 방법도 인간 수준의 성능 (84) 을 보였으나, 자동 생성된 그룹명을 사용할 때는 LLM 기반 방법이 더 우세했습니다.
  • 컨텍스트 영향: 전체 보고서 컨텍스트를 사용하는 것이 소견 추출에는 도움이 되지만, 그룹 할당 단계에서는 annotator 에 따라 효과가 달라질 수 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 가치: 이 방식은 의사가 환자의 폐 결절 등 특정 소견의 시간적 변화를 한눈에 비교하고, 원본 보고서와 대조하여 사실 확인을 용이하게 함으로써 임상 의사결정을 지원합니다.
• 확장성: 이 프레임워크는 폐뿐만 아니라 증상 진행, 약물 이력, 치료 궤적 등 다양한 임상 기록의 장기적 추적을 위해 확장 가능합니다.
• 기술적 통찰: 대규모 언어 모델 (LLM) 을 활용한 구조화된 요약에서, 직접적인 클러스터링보다는 해석 가능한 그룹명 (Group Name) 을 중간 단계로 생성하는 전략이 그룹화 성능을 극대화하는 핵심 요소임을 입증했습니다.

이 연구는 고위험 임상 환경에서 AI 의 투명성과 사실성을 보장하면서도 효율적인 정보 추적을 가능하게 하는 새로운 방향성을 제시합니다.