기술 요약: ReXrank: AI 기반 방사선 보고서 생성을 위한 공개 리더보드

문제 정의

AI 구동 모델들이 흉부 X선에 대한 방사선 보고서 자동 생성을 자동화하는 데 상당한 잠재력을 보여주었음에도 불구하고, 이들의 성능을 객관적으로 평가하고 비교할 수 있는 표준화된 벤치마크가 부족한 실정이다. MIMIC-CXR과 같은 기존 데이터셋은 일관되지 않은 데이터 분할, 표준화된 평가 지표의 부재, 그리고 모델이 보지 못한 다양한 임상 환경에 대한 일반화 능력을 충분히 테스트하지 못하는 데이터 분포 문제를 안고 있다. 이러한 통합된 프레임워크의 부재는 서로 다른 모델 아키텍처 간의 신뢰할 수 있는 비교 분석을 저해하고 임상적 견고성 평가를 제한한다.

방법론

이러한 격차를 해소하기 위해 저자들은 AI 기반 방사선 보고서 생성을 평가하기 위한 종합적인 평가 프레즘인 ReXrank라는 공개 리더보드와 챌린지를 소개한다. 이 방법론은 네 가지의 서로 다른 데이터셋과 여덟 가지의 다양한 지표를 포함하는 포괄적인 평가 프레임워크를 기반으로 구축되었다.

데이터셋

ReXrank는 다양한 분포에 걸친 견고성을 보장하기 위해 공공 및 비공개 데이터를 조합하여 모델을 평가한다:

• ReXGradient: 67개 미국 의료 기관과 7,004명의 환자로부터 추출된 10,000개의 연구로 구성된 대규모 비공개 테스트 데이터셋이다. 이는 다양한 실제 임상 환경에 대한 일반화 능력을 평가하기 위한 주요 벤치마크 역할을 한다.
• MIMIC-CXR: 이 대규모 공공 데이터셋의 공식 테스트 분할(2,347개 연구)이다.
• IU-Xray: 이 공공 데이터셋의 공식 테스트 분할(590개 연구)이다.
• CheXpert Plus: 공식 테스트 세트가 존재하지 않기 때문에 테스트 분할로 사용된 검증 세트(200개 연구)이다.

프레임워크는 두 가지 특정 작업에 대해 모델을 평가한다: 소견(Findings) 섹션만 생성하는 작업, 그리고 소견(Findings)과 결론(Impressions) 섹션을 모두 생성하는 작업이다.

평가 지표

이 프레임워크는 어휘적 유사성에서부터 임상적 정확성에 이르기까지 모델 성능에 대한 다차원적인 관점을 제공하기 위해 8가지 지표를 채택한다:

1. BLEU-2: n-gram 정밀도를 측정한다.
2. BERTScore: 생성된 보고서와 정답 보고서 간의 BERT 임베딩 코사인 유사도를 계산한다.
3. SembScore: CheXbert에 의해 추출된 14가지 병리 지표 벡터 간의 코사인 유사도를 계산한다.
4. RadGraph-F1: RadGraph에 의해 추출된 임상 개체 및 관계의 중첩을 평가한다.
5. RadCliQ-v1: BLEU, BERTScore, SembScore, RadGraph-F1을 결합한 복합 지표이다. 이는 주요 순위 지표로 사용된다 (역수 $1/\text{RadCliQ-v1}$로 보고되며, 값이 높을수록 좋다).
6. RaTEScore: 의료 전문 용어에 강건하고 부정(negation)에 민민한 엔티티 인식 지표이다.
7. GREEN: 임상적으로 중요한 오류를 식별하고 설명하는 LLM 기반 지표이다.
8. FineRadScore: 후보 보고서를 정답 보고서로 변환하기 위해 필요한 최소한의 라인별 수정 사항을 추정하는 LLM 기반 지표(GPT-4o 사용).

참여 모델

리더보드에는 현재 특화된 시각-언어 모델(예: MedVersa, MAIRA-2, RadFM), 지시어 튜닝된 파운데이션 모델(예: CheXagent, GPT-4V), 그리고 특정 데이터셋으로 학습된 모델(예: VLCI, Cvt2distilgpt2)을 포함하여 10개 기관의 16개 모델이 등록되어 있다.

주요 결과

4개의 데이터셋에 걸친 16개 모델의 평가 결과 다음과 같은 주요 발견 사항을 도출하였다:

• 최상위 성능: MedVersa가 최상위 성능 모델로 나타났으며, ReXGradient ($1.01 \pm 0.01$ [Findings], $0.98 \pm 0.05$ [Findings+Impression]), MIMIC-CXR ($1.10 \pm 0.02$ [Findings], $0.92 \pm 0.02$ [Findings+Impression]), IU-Xray ($1.46 \pm 0.03$ [Findings], $1.45 \pm 0.04$ [Findings+Impression]) 전반에서 가장 우수한 $1/\text{RadCliQ-v1}$ 점수를 달 기록했다. 이 모델은 여러 지표와 데이터셋에 걸쳐 최첨단 범용 시각-언어 모델인 GPT-4V를 지속적으로 능가한다.
• 데이터셋 특성:
  • IU-Xray는 모델 전반에 걸쳐 일관되적으로 높은 성능 점수를 보여 가장 도전적이지 않은 데이터셋으로 식별되었으며, 이는 엄격한 차별화를 위한 복잡성이 부족할 수 있음을 시사한다.
  • CheXpert Plus는 독특한 데이터 분포와 작은 검증 세트 크기로 인해 가장 높은 분산과 가장 낮은 전체 성능을 보인다.
  • ReXGradient는 모델 간 매우 낮은 성능 분산을 보여주며, 이는 높은 데이터 품질과 모델의 견고성을 평가하기 위한 신뢰할 수 있는 벤치마크로서의 유용성을 입증한다.
• 학습 데이터의 영향: 여러 데이터셋으로 학습된 모델(예: CheXpertPlus_CheX_MIMIC)은 단일 데이터셋으로 학습된 모델보다 우수한 성능을 보이는 경향이 있으며, 이는 다중 데이터셋 학습이 분포적 격차를 줄이는 데 도움이 됨을 시사한다. 반대로, 모델은 일반적으로 학습 중에 본 분포에서 평가될 때 더 나은 성능을 보인다 (예: IU-Xray에 대한 VLCI_IU vs. VLCI_MIMIC).
• 작업 복잡도: "소견"만 생성하는 것과 "소견 + 결론"을 모두 생성하는 것 사이에 성능 차이가 존재한다. 예를 들어, MedVersa는 ReXGradient에서 두 섹션을 모두 생성할 때 성능이 약간 저하되었으나 ($1.01 \pm 0.01$에서 $0.98 \pm 0.05$로 하락), CheXpertPlus_CheX_MIMIC은 각 하위 작업에 대한 별도의 특화된 모델 사용 덕분에 오히려 개선되는 양상을 보였다.

의의 및 주장

본 논문은 ReXrank가 모델 성능의 의미 있는 비교를 가능하게 하고 다양한 임상 환경에서의 모델 견고성에 대한 핵심적인 통찰을 제공하는 표준화된 평가 프레임워크를 제공한다고 주장한다. 대규모 비공개 데이터셋(ReXGradient)을 공공 벤치마크 및 일련의 임상 관련 지표와 통합함으로써, ReXrank는 단순한 텍스트 유사성을 넘어 AI 시스템의 임상적 정확도와 일반화 능력을 평가하는 단계로 나아간다.

저자들은 ReXrank를 단순히 흉부 X선에 국한된 리더보드가 아니라, 의료 영상의 전 범위에 걸친 자동 보고의 종합적인 평가를 위한 토대를 마련하기 위한 기초 프레임워크로 규정한다. 결과에 95% 신뢰 구간을 포함한 것은 평가의 통계적 엄밀성을 강조하며, 향후 연구와 임상 도입을 위한 신뢰할 수 있는 근거를 제공하는 것을 목표로 한다.