Multi-Plane Vision Transformer for Hemorrhage Classification Using Axial and Sagittal MRI Data

기술 요약: 출혈 분류를 위한 다면적 비전 트랜스포머

문제 제기
자기공명영상 (MRI) 을 통한 뇌내 출혈 (ICH) 식별은 진단에 중요하며, 특히 급성과 만성 상태를 구분하고 CT 와 관련된 이온화 방사선 노출을 피하는 데 필수적입니다. 그러나 임상 MRI 획득은 종종 딥러닝 모델에 상당한 도전을 제시합니다:

1. 이방성 및 다면적 데이터: 영상화를 가속화하기 위해 스캔은 종종 두꺼운 슬라이스로 획득되어 이방성 볼륨을 생성합니다. 임상가들은 종종 특정 방향에서 더 잘 보이는 출혈들이 있으므로 해부학적 구조를 포괄적으로 시각화하기 위해 여러 평면 (축상, 시상, 관상) 을 활용합니다.
2. 리샘플링에서의 정보 손실: 전통적인 딥러닝 접근법 (CNN 및 표준 비전 트랜스포머) 은 일반적으로 입력 이미지를 고정된 등방성 평면으로 리샘플링해야 합니다 (예: 시상을 축상으로 변환). 이 과정은 광범위한 다운샘플링 또는 업샘플링을 수반하여 상당한 정보 손실과 잠재적인 보간 아티팩트를 초래합니다.
3. 불일치하는 모달리티: 실제 임상 데이터셋은 종종 대조 정보의 결손 (예: 환자가 축상 T2 FLAIR 는 있으나 시상 T1 은 결여된 경우) 으로 고통받으며, 표준 모델은 성능 저하 없이 이를 처리하는 데 어려움을 겪습니다.

방법론
저자들은 리샘플링이나 이미지 방향 변경 없이 축상 및 시상 MRI 데이터를 동시에 처리하도록 설계된 새로운 아키텍처인 다면적 비전 트랜스포머 (MP-ViT) 를 제안합니다. 이 아키텍처는 비전 트랜스포머 (ViT) 프레임워크를 기반으로 하며 네 가지 주요 모듈로 구성됩니다:

1. 이중 분기 인코더: 모델은 축상 입력에 전념하는 하나와 시상 입력에 전념하는 다른 하나, 두 개의 별도 트랜스포머 인코더를 사용합니다.

   • 입력 이미지는 공통 등방성 그리드로 강제되는 대신 고정된 이방성 차원 (예: 축상의 경우 $256 \times 256 \times 32$, 시상의 경우 $256 \times 32 \times 256$) 으로 크기 조절됩니다.
   • 이미지는 겹치지 않는 3D 패치 ($16 \times 16 \times 16$) 로 나누어 토큰화되고 해당 인코더에 의해 처리됩니다.
   • 이 설계는 축상 및 시상 이미지를 별도의 모달리티로 취급하여 각 평면의 고유 해상도와 공간 관계를 보존합니다.

2. 크로스 어텐션 퓨전: 두 분기 간 정보를 통합하기 위해 모델은 크로스 어텐션 메커니즘을 활용합니다. 구체적으로, 축상 인코더의 분류 (CLS) 토큰은 시상 인코더의 패치 토큰에 어텐션을 기울이고 (그 반대도 마찬가지), 이는 표준 올 - 어텐션 퓨전보다 평면 간 추상 정보를 더 효율적으로 교환할 수 있게 합니다.

3. 모달리티 지시 벡터: 대조 결손 (예: 부재된 시상 T1 또는 특정 축상 시퀀스) 문제를 해결하기 위해 저자들은 모달리티 지시 벡터를 도입합니다.

   • 이는 각 분기에 사용 가능한 특정 대조의 유무 (1 또는 0) 를 나타내는 이진 벡터입니다.
   • 다층 퍼셉트론 (MLP) 이 이 벡터를 쿼리 벡터로 임베딩한 후, 이를 트랜스포머 출력과 크로스 어텐션 수행합니다. 이는 모델이 결손 데이터를 보상하도록 유도하여 이질적인 임상 환경에서의 견고성을 향상시킵니다.

4. 분류 헤드: 최종 출력은 각 분기에 대한 두 개의 분류 헤드의 평균에서 도출되어 최종 출혈 분류를 제공합니다.

주요 기여

• 방향 무관 처리: MP-ViT 는 이방성 이미지를 고정된 평면으로 리샘플링할 필요가 없으므로 전통적인 보간 방법과 관련된 정보 손실 및 왜곡을 방지합니다.
• 다면적 통합: 별도의 축상 및 시상 인코더 간 크로스 어텐션을 활용함으로써, 모델은 단일 방향을 강제하는 아키텍처 제약 없이 다면적 정보를 효과적으로 융합합니다.
• 결손 데이터에 대한 견고성: 모달리티 지시 벡터의 도입은 모델이 보간이나 데이터 증강 없이 불완전한 입력 데이터 (결손된 대조) 에 적응할 수 있게 하여, 후향적 임상 데이터셋에서 흔한 도전을 해결합니다.

실험 결과
모델은 GE, 필립스, 지멘스 세 가지 스캐너 제조업체로부터 수집된 10,084 명의 훈련, 1,289 명의 검증, 1,496 명의 테스트 피험자로 구성된 실제 임상 데이터셋에서 평가되었습니다. 데이터셋에는 다양한 대조 (FLAIR, ADC, Trace, GRE, SWI, T2w, 및 시상 T1w) 가 포함되었습니다.

• 성능: MP-ViT-base 변형은 곡선 아래 면적 (AUC) 0.854를 달성했습니다.
• 비교: 이 결과는 다음보다 우수했습니다:
  • 표준 비전 트랜스포머 (ViT-base) 보다 5.5% (AUC 0.799).
  • ResNet152 보다 3.7% (AUC 0.817).
  • DenseNet201 보다 1.8% (AUC 0.836).
  • 기타 트랜스포머 기반 접근법 (다단계 트랜스포머 및 Adel 등 의 ICH 분류기) 보다 각각 4.6% 및 3.2%.
• 통계적 유의성: McNemar 검정은 MP-ViT 의 ViT, ResNet, DenseNet 및 기타 트랜스포머 베이스라인에 대한 개선이 통계적으로 유의미함을 확인했습니다 ($p < 0.05$).
• 절제 연구: 모달리티 지시 벡터를 제거하면 성능이 저하됨 (AUC 0.842 대 0.854) 을 확인하여, 벡터가 결손된 대조를 처리하는 데 중요한 역할을 함을 입증했습니다.
• 효율성: 주목할 점은 MP-ViT-small (ViT-base 보다 파라미터가 적음) 이 ViT-base 보다 1.5% 더 우수한 성능을 발휘하여, 다면적 아키텍처가 단순히 모델의 깊이 또는 너비를 증가시키는 것보다 더 효과적임을 시사합니다.

의의 및 주장
본 논문은 MP-ViT 가 실제 임상 MRI 데이터의 변이성을 처리하는 데 중요한 진전을 제공한다고 주장합니다. 이방성 이미지를 리샘플링하지 않음으로써, 모델은 그렇지 않으면 손실될 수 있는 중요한 진단 정보를 유지합니다. 저자들은 MRI 가 스캔 시간으로 인해 응급 ICH 감지의 첫 번째 선택은 아닐지라도, 뇌졸중 감별 및 우연히 발견된 출혈이 있는 비응급 진단 작업에서 중요하다고 강조합니다.

제안된 방법은 서로 다른 방향 대조가 필요한 시나리오에서 분류 성능을 향상시키는 메커니즘으로 제시됩니다. 저자들은 모달리티 벡터가 불완전한 입력에서도 모델이 견고하게 유지되도록 보장하므로, 데이터 완전성이 변하는 임상 환경에서 이 접근법이 특히 관련성이 있다고 지적합니다. 연구는 이러한 메커니즘이 임상 데이터의 고유한 변이성을 다루는 시스템 설계에 고려되어야 한다고 결론지었으나, 저자들은 데이터셋 부재로 인한 관상면 제외 및 분할이 아닌 분류에 초점을 맞춘 것 등 한계를 인정합니다.