Large Language Model-Assisted Cleaning of Report-Derived Labels in a Large-Scale Chest CT Dataset

기술 요약: 대규모 흉부 CT 데이터셋 내 보고서 유래 라벨의 대규모 언어 모델(LLM) 기반 정제

문제 정의
공공 의료 영상 데이터셋은 인공지능 모델의 벤치마킹과 새로운 알고리즘 학습을 위해 매우 중요하다. 그러나 이러한 데이터셋 내의 구조화된 라벨 품질은 보고 스타일, 부정(negation), 불확정성, 모호한 정의 및 자동 추출 오류로 인해 저하되는 경우가 많다. CT-RATE(볼륨 이미지, 보고서 및 다중 이상 징후 라벨을 포함하는 대규모 공개 흉부 CT 데이터셋)와 같이 정교하게 구축된 데이터셋에서도 라벨-보고서 불일치가 발생할 수 있다. 이러한 데이터셋은 벤치마킹을 위해 반복적으로 재사용되므로, 이러한 오류는 모델 평가 및 비교 과정에 전파되어 성능 추정치를 왜곡할 위험이 있다. 따라서 노동 집약적인 수동 검토에만 의존하지 않고 이러한 불일치를 식별하고 수정할 수 있는 확장 가능한 방법론이 필요하다.

방법론
저자들은 CT-RATE 데이터셋의 보고서 유래 라벨을 평가하고 정제하기 위한 LLM 지원 프레워크를 개발하였다. 본 연구는 중복 제거 후 24,446개의 고유한 방사선 보고서와 18개의 사전 정의된 이상 징후 범주를 활용하였다.

1. LLM 추출: 방사선 보고서(특히 "소견(findings)" 및 "결론(impression)" 섹션)는 Microsoft Azure AI Foundry를 통해 GPT-5.4를 사용하여 처리되었다. 모델은 텍스트에 근거하여 18개 범주에 대한 이진 라벨(존재/부재)을 생성하도록 프롬프트가 구성되었으며, 이때 불확실한 소견(예: "가능성 있음")은 존재하는 것으로 간격하였다. 출력값은 구조화된 JSON 형식으로 제한되었다.
2. 비교 및 불일치 식별: GPT-5.4 유래 라벨은 인스턴스 수준에서 기존 CT-RATE 라벨과 비교되었다. 불일치 사례는 '기존 라벨 양성/GPT 음성' 또는 '기존 라벨 음성/GPT 양성'으로 분류되었다.
3. 다중 모델 검증: 신뢰성을 평가하기 위해 동일한 보고서를 GPT-5.4 mini 및 DeepSeek V3.2로 처리하였다. 세 모델 중 최소 두 모델이 일치할 경우 해당 라벨을 할당하는 다중 LLM 다수결 전략을 채택하였다.
4. 방사선 전문의 판정: 수동 검증을 위해 세 가지 검토 세트를 구축하였다:
   • 방사선 전문의 펠로우가 주석을 달고 전문의가 최종 확정한 100개의 보고서(1,800개 라벨 인스턴스)로 구성된 무작위 샘플을 참조 표준(reference standard)으로 사용하였다.
   • 림프절 병증(lymphadenopathy)을 제외한 100개의 일반 불일치 인스턴스(양성/음성 50개 및 음성/양성 50개).
   • 코헨의 카파(Cohen's κ) 계수가 0.80 이하인 유일한 범주인 "림프절 병증"에 집중한 타겟 불일치 세트로, 각 방향당 최대 50개의 불일치 인스턴스를 샘집하였다.
5. 통계 분석: 일치도는 코헨의 카파 및 정확도 지표를 사용하여 측정되었다. 전문의가 주석을 단 참조 라벨에 대한 성능은 라벨-매크로 평균 및 마이크로 평균을 통해 민감도, 특이도, PPV, NPV, F1 점수 및 코헨의 카파로 평가되었다.

주요 결과

• 전체 일치도: GPT-5.4 유래 라벨은 기존 CT-RATE 라벨과 96.4%의 전체 일치도를 보였으며, 코헨의 카파는 0.884였다. 일치도는 범주에 따라 크게 달랐으며, 식도 탈장(hiatal hernia)의 99.6%부터 림프절 병증의 79.4%까지 나타났다.
• 림프절 병증 불일치: 림프절 병증은 가장 낮은 일치도(κ = 0.309)를 보였다. 99개의 타겟 불일치 림프절 병증 인스턴스에 대한 집중 검토 결과, 방사선 전문의 판정은 91.9%의 사례에서 GPT-5.4 유래 라벨을 지지하였으며, 이는 기존 CT-RATE 라벨이 해당 범주에서 빈번하게 잘못되었음을 시사한다.
• 일반 불일치: 림프절 병증을 제외한 일반 불일치 검토에서, 방사선 전문의는 판정 가능한 인스턴스의 74.2%에서 GPT-5.4 유래 라벨을 지지한 반면, 기존 CT-RATE 라벨을 지지한 경우는 25.8%였다.
• 참조 표준 성능: 전문의가 주서한 참조 라벨에 대해, 다중 LLM 다수결 방식은 라벨-매크로 평균 F1 점수 96.0%와 코헨의 카파 0.951로 가장 높은 성능을 달 추출하였다. 이는 기존 CT-RATE 라벨(F1: 93.8%, κ: 0.923)과 단일 GPT-5.4 모델(F1: 95.1%, κ: 0.940)보다 우수한 성능이었다. 특히, 다수결 방식은 18개 모든 범주에서 "거의 완벽한" 일치(κ > 0.80)를 달성하였다.

의의 및 주장
본 논문은 LLM 지원 라벨 정제가 대규모 공개 영상 데이터셋에서 임상적으로 의미 있는 라벨-보고서 불일치를 식별하는 확장 가능하고 효과적인 방법이라고 주장한다. 연구는 다음을 입증한다:

1. 불일치 탐지: LLM은 집계된 일치 지표만으로는 드러나지 않을 수 있는 기존 데이터셋 라벨의 오류를 식별할 수 있다.
2. 품질 개선: 다중 모델 다수결 투표는 단일 모델 추출이나 기존 데이터셋 라벨보다 더 높은 신뢰성을 달성하기 위해 보고서 유래 라벨을 정제할 수 있다.
3. 데이터셋 유지 관리: 이 접근 방식은 데이터셋 유지 관리를 위한 실질적인 도구 역할을 하며, 모호한 정의(예: 림프절 병증)를 가진 범주를 전문가 검토 및 정의 개선을 위해 우선순위에 두는 데 도움을 준다.
4. 미래 활용성: 저자들은 AI 모델 개발 및 평가에 사용되는 벤치마크의 신뢰성을 높이는 것을 목표로, 정제된 데이터셋과 관련 코드를 공개할 계획이다.

저자들은 LLM 유래 라벨과 판정이 영상 수준의 실제 정답(ground truth)이 아닌 보고서 텍스트에 기반하고 있다는 점과, 불일치 검토 세트가 불일치를 강화하여 구성되었으므로 전체 데이터셋의 정확도를 직접적으로 추정하는 것은 아니라는 점을 인정하며 신중한 입장을 유지한다. 또한, LLM 생성 라벨에 의해 도입될 수 있는 잠재적 편향을 완화하기 위해 검증 서브셋에서 인간의 검증이 필수적임을 강조한다.