CrossSpine: Multi-scale Cross-sequence Attention with Anatomical Priors for Automated Pfirrmann Grading

기술 요약: CrossSpine

문제 정의
요추 추간판 퇴행(Lumbar Disc Degeneration, LDD)의 자동 등급 판정은 요통과 관련된 구조적 변화를 객관적으로 정량화하는 데 매우 중요하다. 자기공명영상(MRI)이 임상 표준이지만, Pfirrmann 등급 시스템을 활용하여 기존의 딥러닝 베이스라인 모델들을 적용했을 때 특정 데이터셋에서 불충분한 성능을 보였다. 저자들은 현재 접근 방식의 두 가지 주요 한계를 다음과 같이 식별했다:

1. 단일 스트림 처리: 표준 모델들은 서로 다른 MRI 시퀀스(예: T1, T2 등)로부터 얻은 상호 보완적인 특징들을 효과적으로 통합하지 못하고, 이들의 상호 정보를 활용하기보다는 각각을 고립된 상태로 처리한다.
2. 해부학적 맥락의 부재: 베이스라인 모델들은 모든 요추 추간판을 균등하게 취급하며, 특정 추간판(IVD) 레벨마다 구별되는 생체역학적 및 퇴행 패턴을 무시하는 경향이 있다.

방법론
저자들은 다중 스케일 교차 시퀀스 어텐션(multi-scale cross-sequence attention)과 해부학적 통합을 통해 이러한 한계를 해결하도록 설계된 프레임워크인 CrossSpine을 제안한다. 이 아키텍처는 네 가지 주요 단계로 구성된다:

1. 데이터 전처리: 시스템은 237명의 환자로부터 추출된 1,185개의 IVD 기록으로 구성된 큐레이션된 데이터셋을 활용한다. 각 검사마다 사용 가능한 4개의 MRI 시퀀스 중 중간 이미지를 선택하여 224×224 픽셀로 크기를 조정한다. 일반화 성능을 높이기 위해 데이터 증강 기술(뒤집기, 회전, 스케일링 등)이 적용된다.
2. 다중 스케일 특징 추출: ImageNet으로 사전 학습된 DenseNet-121 백본을 사용하여 두 가지 뚜렷한 공간 스케일에서 특징을 추출한다:
   • 스케일 1: 첫 번째 dense block 이후의 특징(56×56 공간 해상도)을 추출하고 128차원 벡터로 축소한다.
   • 스케일 2: 두 번째 dense block 이후의 특징(28×28 공간 해상도)을 추출하고 256차원 벡터로 축소한다.
3. 교차 시퀀스 어텐션 융합: 단순한 결합 대신, 프레임워크는 네 개의 MRI 시퀀스로부터 얻은 특징을 적응적으로 융합하기 위해 교차 시퀀스 어텐션 메커니즘(Vaswani 등의 연구에서 영감을 받음)을 채택한다. 이를 통해 시퀀스들이 서로를 참조할 수 있게 하여, 네트워크가 특정 특징에 대해 어떤 시퀀스가 가장 진단적으로 유용한 정보를 제공하는지 학습할 수 있도록 한다. 이 과정은 두 가지 공간 스케일 모두에서 독립적으로 적용된다.
4. 스케일 융합 및 IVD 인지 분류:
   • 두 스케일의 특징 벡터는 공통된 512차원 공간으로 투영되며 학습 가능한 스케일 가중치를 사용하여 결합된다.
   • IVD 인지 분류 (IVD-Aware Classification): 해부학적 디스크 레벨 정보(예: L1–L2, L5–S1)를 분류 헤드에 명시적으로 통합하는 새로운 기술이다. 융합된 특징은 10차원 표현으로 투영된 후 디스크 레벨 지표와 결합되어, Pfirrmann 등급을 예측하기 위한 최종 선형 레이어로 전달된다. 이를 통해 모델은 레벨별 퇴행 사전 지식(priors)을 학습할 수 있다.
   • 시스템은 정보 누출을 방지하기 위해 제로 패딩(zero-padding)과 가용성 마스크(availability masks)를 사용하여 누락된 시퀀스를 처리한다.

주요 기여

1. CrossSpine 아키텍처: 미세한 퇴행성 변화 포착을 강화하기 위해 서로 다른 MRI 시퀀스의 다중 스케일 특징을 융합하는 교차 시퀀스 어텐션을 활용한 새로운 프레임워크를 제시한다.
2. 큐레이션된 데이터셋: 임상적 클래스 불균형에도 불구하고 디스크 레벨 전반에 걸쳐 균형 잡힌 해부학적 표현을 갖춘, 자동 Pfirrmann 등급 판정을 위해 특별히 설계된 정밀 큐레이션 데이터셋(PhenMec)을 도입한다.
3. IVD 인지 분류: 해부학적 디스크 레벨 정보를 분류 과정에 주입하는 모델 불가지론적(model-agnostic) 기술이다. 저자들은 이 기술이 제안된 아키텍처뿐만 아니라 베이스라인 모델의 성능도 향상시킨다는 점을 입증하였다.

실험 결과
실험은 70/15/15 훈련/검증/테스트 분할을 사용하여 NVIDIA RTX 4090 GPU에서 수행되었다. 클래스 불균형을 고려하여 Macro F1-score, Mean AUROC, Mean AUPRC를 우선적으로 평가하였다.

• 성능 향상: IVD 인지 기능이나 교차 시퀀스 어텐션이 없는 DenseNet-121 베이스라인과 비교하여, CrossSpine은 다음을 달성했다:
  • Macro F1 점수에서 125% 상대적 개선 (0.1917에서 0.4318로).
  • Mean AUPRC에서 99% 증가 (0.2772에서 0.5516으로).
  • Mean AUROC에서 36% 증가 (0.6187에서 0.8391로).
• 절제 연구 (Ablation Studies): 연구를 통해 다중 스케일 아키텍처와 IVD 인지 모듈이 모두 핵심적임을 확인했다. IVD 인지만 추가했을 때도 베이스라인의 Macro F1이 거의 두 배로 증가했으며, 두 모듈을 결합했을 때 가장 높은 성능을 나타냈다.
• 백본 분석: 테스트된 백본들(ResNet-34, EfficientNet-B0, DenseNet-121) 중에서 DenseNet-121이 제안된 프레임워크 내에서 가장 우수한 일관성과 성능을 제공했다.
• 정성적 분석: 시각화를 통해 베이스라인 모델은 주로 다수 클래스(Grade 2)를 할당하여 디스크를 오분류하는 경우가 빈번했으나, CrossSpine은 레벨별 패턴을 성공적으로 포착하여 베이스라인이 실패했던 중간 단계의 디스크 등급을 정확히 식별함을 보여주었다.

의의
본 논문은 해부학적 맥락(디스크 레벨)과 다중 시퀀스 어텐션을 통합하는 것이 진단 성능을 유의미하게 향상시킨다는 점을 입증함으로써, CrossSpine이 다중 모달 의료 영상 분야의 강력한 벤치마크를 구축한다고 주장한다. 이 연구는 다중 시퀀스 MRI에 내재된 풍부하고 상호 보완적인 정보와 척추 레벨의 생체역학적 실체를 활용하기 위해, 단일 스트림의 균일한 데이터 처리 방식을 넘어설 필요가 있음을 강조한다. IVD 인지 기술은 다른 척추 영상 아키텍처에도 적용될 수 있는 독립적이고 모델 불가지론적인 기여로 강조된다.