Deep neural networks with Fisher vector encoding for medical image classification

기술 요약: 의료 이미지 분류를 위한 피셔 벡터 인코딩이 적용된 심층 신경망

문제 제기
합성곱 신경망 (CNN) 은 이미지 인식의 표준이 되었으나, 의료 이미지 분류에서는 고정된 입력 크기 요구사항 (종종 풀링을 통한 정보 손실로 이어짐) 과 전역 정보 포착을 방해하는 '국소성 편향'을 포함한 한계에 직면해 있습니다. 비전 트랜스포머 (ViT) 는 자기 어텐션을 통해 국소성 편향을 해결하지만, 일반적으로 대규모 데이터셋을 훈련에 필요로 하며 이미지 해상도에 대해 이차적인 계산 복잡도를 보여 고해상도 의료 이미지나 데이터 가용성이 제한된 시나리오에는 적합하지 않습니다. 또한, 이러한 문제를 완화하기 위해 하이브리드 CNN+ViT 모델이 등장했지만, 특히 피셔 벡터 (FV) 와 같은 정교한 순서 없는 특징 표현 기법을 이러한 하이브리드 아키텍처와 통합하는 것은 여전히 largely 미탐구된 영역입니다. 대규모 환경에서 피셔 벡터를 적용하는 데 있어 주요 장벽은 기본 가우시안 혼합 모델 (GMM) 을 추정하는 데 따른 높은 계산 비용입니다.

방법론
저자들은 소규모 및 대규모 의료 데이터셋 모두에 적합한 모델을 만들기 위해 MIT-EfficientViT(다중 스케일 비전 트랜스포머) 와 피셔 벡터 인코딩을 결합한 하이브리드 아키텍처를 제안합니다. 핵심 방법론은 다음과 같은 구성 요소를 포함합니다:

1. 아키텍처 수정: MIT-EfficientViT 모델의 표준 분류 헤드를 교체합니다. 전역 풀링을 따르는 모바일 인버티드 병목 합성곱 (MBConv) 레이어 대신, 저자들은 피셔 벡터 인코딩 레이어를 삽입합니다.
2. 손실 없는 특징 연결: 트랜스포머 백본의 여러 단계에서 추출된 로컬 특징 (서로 다른 차원 공간에 존재함) 을 연결하는 문제를 해결하기 위해, 저자들은 손실 없는 접근법을 제안합니다. 고차원 특징을 다운샘플링하여 정보 손실을 유발하거나 저차원 특징을 업샘플링하여 계산 비용을 증가시키는 대신, 특징 차원의 최대공약수 (GCD) 를 계산합니다. 로컬 특징은 이 공통 차원의 서브 특징으로 분할된 후 연결됩니다.
3. 엔트로피 기반 하위 샘플링을 통한 GMM 추정: 대규모 데이터셋에서 GMM 추정의 계산 병목 현상을 극복하기 위해, 저자들은 이미지 엔트로피에 기반한 샘플링 전략을 도입합니다. 훈련 세트의 이미지들에 대해 섀넌 엔트로피를 계산하고, 가장 높은 엔트로피 값을 가진 샘플들의 부분 집합 (예: 최대 5,000 개) 을 선택하여 GMM 파라미터를 추정합니다. 이는 계산 부하를 줄이면서 가장 정보량이 풍부한 샘플들을 유지하는 것을 목표로 합니다.
4. 3D 데이터 적응: 3D 의료 이미지 (예: CT 스캔) 를 처리하기 위해 백본의 2D 합성곱 레이어를 3D 합성곱으로 교체합니다. 사전 훈련된 3D 가중치가 존재하지 않으므로, 저자들은 한 축을 따라 2D 사전 훈련 가중치를 반복하여 모델을 초기화합니다.
5. 훈련 전략: 피셔 벡터 인코딩을 위한 특징 추출 전에 백본을 대상 데이터셋에서 미세 조정합니다. 이 단계는 특히 사전 훈련 가중치가 존재하지 않는 3D 데이터의 경우 응용 프로그램별 고수준 특징을 생성하는 데 중요합니다.

주요 기여
본 논문은 네 가지 주요 기여를 제시합니다:

• 강건한 GMM 추정: 이미지 엔트로피에 기반하여 훈련 세트를 하위 샘플링함으로써 가우시안 혼합 모델을 추정하는 방법. 실험 결과, 이 방법은 모델 성능에 통계적으로 유의미한 손실 없이 GMM 훈련에 필요한 샘플 수를 줄이는 것을 입증했습니다.
• 하이브리드 의료 분류 모델: 하이브리드 CNN+ViT 아키텍처와 피셔 벡터 인코딩을 결합한 의료 이미지 분류 모델의 도입.
• 손실 없는 특징 연결: 여러 트랜스포머 단계에서 추출된 특징을 연결하기 위한 새로운 손실 없는 접근법으로, 기존 연구에서 보고된 정보 손실 문제를 해결합니다.
• 3D 로의 확장: 2D 사전 훈련 도메인에서 지식을 추출하는 방법론을 개발함으로써 피셔 벡터 응용을 3D 이미지 데이터셋으로 확장.

결과
제안된 방법은 MedMNIST(v2) 스위트 (2D 및 3D 모달리티 포함), Clean-CC-CCII(코로나 19 흉부 CT), ISIC2018(피부경 이미지) 등 다양한 데이터셋 컬렉션에서 평가되었습니다.

• MedMNIST(v2): 모델은 모든 MedMNIST 데이터셋에서 벤치마크 결과 (ResNet 변형, AutoML 및 기타 하이브리드 모델 포함) 를 능가했습니다. RetinaMNIST, OrganMNIST3D, FractureMNIST3D, SynapseMNIST3D 에서 정확도가 최소 5% 이상 유의하게 향상되었습니다.
• 미세 조정의 영향: GMM 추정 전에 백본을 미세 조정하는 것은 2D 및 3D 경우 모두 정확도 (ACC) 와 ROC 곡선 아래 면적 (AUC) 을 일관되게 향상시켰습니다. 특히 사전 훈련 가중치가 부재한 3D 경우에서 개선이 두드러졌습니다.
• 특징 추출 단계: 두 단계 (4 단계 및 3 단계) 의 특징을 사용하는 것이 일반적으로 최적의 결과를 낳았으며, 특히 백본이 미세 조정되었을 때 그러했습니다.
• 현실적인 데이터셋: Clean-CC-CCII 및 ISIC2018 에서 모델은 최근 문헌 (예: ResGANet, Hiera, MogaNet) 과 경쟁력 있는 결과를 달성했으며, Clean-CC-CCII 에서는 이를 능가했고 ISIC2018 에서는 이를 상회하거나 일치시켰으며, 파라미터 수 (~2500 만 개로 제한) 는 유사하게 유지했습니다.
• 하위 샘플링의 유효성: Kullback-Leibler (KL) 발산을 사용한 분석 결과, 엔트로피에 의해 선택된 훈련 세트의 2% 만을 사용하여 추정된 GMM 은 50% 의 데이터를 사용하여 추정된 GMM 과 마찬가지로 기본 사례 (데이터의 100%) 와 유사함이 밝혀져 샘플링 전략의 효율성을 검증했습니다.

의의 및 주장
저자들은 자신의 작업이 피셔 벡터와 같은 순서 없는 인코딩 방법의 데이터 효율성과 하이브리드 CNN+ViT 모델의 표현력 사이의 간극을 성공적으로 메웠다고 주장합니다. 엔트로피 기반 하위 샘플링을 통한 GMM 추정 확장성 문제를 해결하고, 손실 없는 분할 방법을 통해 특징 연결 문제를 해결함으로써, 제안된 모델은 다양한 데이터 규모와 모달리티에 걸친 의료 이미지 분류를 위한 견고한 솔루션으로 제시됩니다. 결과는 이 접근법이 데이터 획득 비용이 비싸고 데이터셋이 작거나 고해상도일 수 있는 생물의학 응용 분야에 특히 적합함을 시사합니다. 저자들은 겸손하게도, 그들의 방법이 효과적이지만 향후 작업은 엔드 투 엔드 학습 및 점진적 학습 기능을 가능하게 하기 위해 학습 가능한 1 차 및 2 차 통계량 추정을 탐구할 수 있다고 결론지었습니다.