Large Language Models to Label CT Radiology Reports for Incidental Findings Found in Lung Cancer Screening: A Comparative Analysis

기술 요약: 폐암 선별 검사 내 부수적 발견(Incidental Findings)에 대한 CT 방사선 보고서 라벨링을 위한 대규모 언어 모델 활용

문제 정의
유럽 연합 전역에서 폐암 선별 검사(LCS) 프로그램을 시행하는 데 있어, 저선량 컴퓨터 단층촬영(LDCT) 스캔의 방대한 양을 해석해야 하는 영상의학 전문의의 업무량은 심각한 도전 과제에 직면해 있습니다. 폐암 검출 외에도, 이러한 스캔은 대동맥 판막 질환, 기관지 확장증, 경변(consolidation), 관상동맥 석회화, 폐기종, 간질성 폐 이상(ILA), 종격동 림프절 이상, 종격동 종괴, 갑상선 이상을 포함한 특정 부수적 발견(SIF)을 빈번하게 드러냅니다. 인공지능(AI)이 폐 결절 검출 분야에서는 진보를 이루었으나, SIF에 대한 알고리즘은 아직 초기 개발 단계에 머물러 있습니다. 주요 병목 현상은 이러한 모델을 훈련하는 데 필요한 대규모 주석 데이터셋의 부족입니다. NLST(National Lung Screening Trial)와 같은 기존 데이터셋은 포괄적인 SIF 주석이 부족합니다. 임상 방사선 보고서는 "약한 감독(weak supervision)"을 위한 풍부한 정보원을 제공하지만, 전통적인 키워드 기반 검색 방식은 의학적 뉘의, 부정(negation), 용어 변이 등을 포착하지 못합니다. 또한, 대규모 언어 모델(LLM)이 유망한 가능성을 보여주고 있음에도 불구하고, 다양한 프롬프트 기법(예: Chain-of-Thought)의 효능이나 독점 모델 대비 경량화된 개인정보 보호형 오픈 소스 모델의 성능 등 SIF를 보고서 내에서 라벨링하기 위한 검증된 전략은 부족한 실정입니다.

연구 방법론
본 회고적 연구는 네덜란드 방사선 보고서 내 9가지 SIF의 존재 여부를 자동으로 라벨링하기 위한 LLM의 타당성 및 최적의 전략을 평가했습니다.

• 데이터셋: 본 연구는 네덜란드의 한 대학 병원에서 수집된 300개의 흉부/복부 CT 보고서를 활용했습니다(2003년2020년 수집). 데이터셋은 다양성을 확보하기 위해 20162017년의 보고서 200개와 1997~2021년 전체 범위의 보고서 100개를 선택하여 구성되었습니다. 모든 보고서는 비식별 처리되었습니다.
• 참조 표준(Reference Standard): 32년 경력의 일반 영상의학 전문의 1인이 9가지 SIF에 대해 보고서를 수동으로 라벨링하여 그라운드 트루스(ground truth) 역할을 수행했습니다.
• 평가된 모델:
  • 독점 모델(Proprietary): GPT-5 및 GPT-4-Turbo (OpenAI API를 통해 사용).
  • 오픈 소스 모델(Open-Source): Llama-3.1-8B-INST 및 MedGemma-4B-IT (로컬 배포).
  • 베이스라인(Baseline): 키워드 기반 검색 방식(regex).
• 프롬프트 전략: 각 모델에 대해 네 가지 뚜렷한 전략을 테스트했습니다:
  1. V1: 결정 기준에 대한 구체적인 지침 없이 9가지 SIF를 라벨링하도록 하는 일반 프롬프트.
  2. V2: 유럽 방사선 학회 성명서의 기준을 포함하여 SIF별로 작성된 구체적 프롬프트.
  3. V3: V2와 동일하지만 사고 사슬(Chain-of-Thought, CoT) 추론을 포함.
  4. V4: V3와 동일하지만 퓨샷(few-shot) 예시(보고서, 추론, 출력의 세 가지 예시)를 포함.
• 평가 지표: 일치도는 주로 랜드리스-코크(Landis and Koch, 1977) 범주(약한 일치에서 거의 완벽한 일치까지)에 따라 해석되는 코헨 카파($\kappa$)를 사용하여 측정되었습니다. 이차 지표로는 민감도, 특이도, F1 점수가 포함되었습니다. 모든 지표에는 부트스트래핑을 통해 계산된 95% 신뢰 구간이 포함되었습니다.

주요 결과

• 전반적인 성능: LLM은 대부분의 SIF에 대해 영상의학 전문의와 중간 정도에서 거의 완벽한 일치도를 보였으며, 이는 자동 라벨링을 위한 LLM의 유용성을 입증합니다. 그러나 단일 모델-프롬프트 조합이 9가지 S형 모두에 대해 최적은 아니었습니다.
• 모델 성능:
  • GPT-5는 9가지 중 7가지 SIF(AVD, 기관지 확장증, 경변, CAC, 폐기종, MLN, TA 포함)에 대해 상당하거나 거의 완벽한 일치도를 달성했습니다.
  • MedGemma-4B-IT(오픈 소스)는 대부분의 SIF에서 상당하거나 그 이상의 일치도를 보였으며, 특히 간질성 폐 이상(ILA)에 대해서는 가장 우수한 독점 모델보다 높은 성능을 보였습니다 ($\kappa = 0.48$ 대 $0.46$).
  • Llama-3.1-8B-INST는 일반적으로 독점 모델 및 MedGemma보다 낮은 일치도를 보였습니다.
  • 키워드 검색은 종격동 종괴(MM)에 대해서만 가장 좋은 성능을 보였는데, 이는 해당 발견 사항에 대한 언어적 변이가 적기 때문으로 보이며, 부정문 및 문맥 처리 능력이 떨어져 전반적으로 LLM에 비해 성능이 낮았습니다.
• 프롬프트 전략: 예상과 달리, 사고 사슬(CoT) 프롬프팅(V3 및 V4)은 일반적으로 비 CoT 전략(V1 및 V2)보다 성능을 저하시켰습니다. 가장 높은 일치값은 주로 V1 또는 V2에서 얻어졌습니다. 퓨샷 예시(V4)를 포함하는 것은 일치도를 개선하지 못했으며, 경우에 따라 성능을 저하시켰는데, 이는 모델이 지침에 대한 주의를 덜 기울이거나 긴 프롬프트의 무관한 부분에 집중했기 때문일 수 있습니다.
• 오류 분석: 불일치는 주로 모델이 문맥을 오해하거나(예: 대동맥 활(aortic arch) 참조를 바탕으로 AVD를 라벨링함) CoT를 통해 "과하게 생각하여(overthinking)" 터무니없는 근거를 제시할 때 발생했습니다.

의의 및 주장
저자들은 LLM이 향로 미래의 SIF 탐지 알고리즘을 위한 훈련 데이터를 확장하기 위한 "약한 주석(weak-annotation)" 도구로서 실행 가능한 도구라고 결론지었습니다. 본 연구는 다음을 강조합니다:

1. 보편적 전략의 부재: 모든 SIF에 적용되는 단일 최적 모델이나 프롬프트는 없으며, 발견 사항에 따라 선택이 맞춤화되어야 합니다.
2. 프롬프트 엔지니어링: 이 특정 작업의 경우, 간결한 비 CoT 프롬프트가 CoT나 퓨샷 접근 방식보다 우수합니다.
3. 오픈 소스의 생존 가능성: 경량 오픈 소스 모델(특히 MedGemma-4B-IT)은 특정 발견 사항에 대해 더 무거운 독점 모델과 대등하거나 이를 능가하는 성능을 보일 수 있으며, 이는 로컬 배포를 위한 개인정보 보호 및 비용 효율적인 대안을 제공합니다.
4. 권장 사항: 저자들은 간결한 비 CoT 프롬프트로 시작하고, 개인정보 보호가 중요한 경우에는 경량 오픈 소스 모델을 활용하는 미래의 약한 감독 라벨링 파이프라인을 제안합니다. 또한 대규모 배포 전에 모델 및 프롬프트 선택이 각 특정 발견 사항에 대해 전문가가 라벨링한 데이터셋에 대해 검증되어야 함을 강조합니다.

한계점
본 연구는 몇 가지 제약 사항을 인정합니다. 300개의 보고서라는 작은 데이터셋 규모로 인해 종격동 종괴와 같은 희귀한 발견 사항에 대한 사례가 매우 적어 통계적 확실성이 제한되었습니다. 단일 영상의학 전문의를 참조 표준으로 사용했기 때문에 판독자 간 변동성을 평가할 수 없습니다. 또한 본 연구는 단일 센터의 네덜란드 보고서로 제한되어 있으며, LLM의 급격한 발전으로 인해 본 결과가 미래의 모델 능력을 반영하지 못할 수 있습니다. 연구의 탐색적 성격으로 인해 모델 간의 통계적 유의성 검정은 수행되지 않았습니다.