A multifractal-based masked auto-encoder: an application to medical images

기술 요약: 의료 영상을 위한 다중 요인 기반 마스킹 오토인코더

문제 제기
전통적인 마스킹 오토인코더 (MAE) 는 자기지도식 전학습 과정에서 무작위 마스킹 전략을 활용합니다. 일반 컴퓨터 비전에서는 효과적이지만, 이 접근법은 의료 영상에는 최적이지 않습니다. 의료 맥락에서는 특정 영역의 미묘한 변화가 종종 결정적인 진단 가치를 지니지만, 무작위 마스킹은 이러한 고정보 영역을 간과하거나 덜 관련 있는 배경 노이즈에 집중할 수 있습니다. MAE 마스킹에 대한 기존 개선 방안들은 주로 학습 가능한 보조 네트워크나 지도식 주의도 맵에 의존하는데, 이는 계산 오버헤드를 초래하거나 외부 학습 절차를 요구할 수 있습니다.

방법론: MO-MAE
저자들은 **다중 프랙탈 최적화 마스킹 오토인코더 (MO-MAE)**를 제안합니다. 이는 무작위 마스킹을 패치 선택을 안내하는 물리 기반 복잡도 측정치로 대체하는 프레임워크입니다. 방법론은 다음과 같이 진행됩니다:

1. 패치화: 입력 이미지는 겹치지 않는 직사각형 패치 (예: $16 \times 16$) 로 분할됩니다.
2. 다중 프랙탈 분석 (선택기): 무작위 선택 대신, 모델은 각 패치에 대해 Rényi 엔트로피(다중 프랙탈 측정치) 를 계산합니다. 이 측정치는 다양한 스케일에서 패치의 복잡성과 정보 내용을 정량화합니다.
   • 패치 내 픽셀 강도의 확률 분포를 추정하기 위해 분할 함수 방법이 사용됩니다.
   • $q$-차 모멘트 분할 함수가 계산되어 다중 프랙탈 스펙트럼과 관련된 Rényi 엔트로피 ($R_q$) 를 추정합니다.
   • 패치들은 엔트로피 값을 기준으로 내림차순으로 정렬됩니다.
3. 마스킹 전략: 모델은 마스크 비율 $r$로 결정된 $n_S$개의 패치 중 엔트로피가 가장 높은 상위 패치들을 선택합니다. 이러한 패치들은 높은 복잡성과 정보 풍부함을 나타내는 영역을 대표합니다.
4. 전학습: 선택된 고엔트로피 패치들은 Vision Transformer(ViT) 인코더에 입력됩니다. 디코더는 이 부분 입력으로부터 원본 이미지를 재구성하려고 시도합니다. 손실 함수는 원본 이미지와 재구성된 이미지 간의 불일치를 측정합니다.
5. 파인튜닝: 전학습된 인코더는 이후 특정 하위 작업 (예: 질병 분류) 을 위해 라벨이 지정된 의료 데이터로 파인튜닝됩니다.

주요 기여
본 논문은 네 가지 주요 혁신을 강조합니다:

• 새로운 마스킹 전략: 표준 무작위 마스킹에 비해 의료 영상 분류 결과를 개선하는 다중 프랙탈 기반 마스킹 전략의 개발.
• 최초 통합: 저자들의 지식 범위 내에서, 다중 프랙탈 분석 (특히 Rényi 엔트로피) 을 마스킹 오토인코더와 연관시킨 최초의 연구.
• 물리 기반 복잡도: 학습 가능한 매개변수나 외부 학습 알고리즘에 의존하는 전략과 구별되는, MAE 마스킹을 안내하기 위한 물리 기반 복잡도 측정치의 최초 탐구.
• 해석 가능성과 효율성: 이 접근법은 해석 가능한 마스킹 기준을 제공하며, 엔트로피 계산이 직관적이고 전학습 중 추가 매개변수를 학습할 필요가 없으므로 계산 오버헤드를 최소화합니다.

실험 결과
MO-MAE 는 두 가지 주요 벤치마크에서 평가되었습니다:

1. MedMNIST-V2: 병리학, X-ray, 피부경검사 등 다양한 모달리티를 포괄하는 2 차원 생체의학 이미지 컬렉션.
   • 성능: MO-MAE 는 무작위 마스킹을 사용한 원본 MAE 에 비해 정확도 (ACC) 와 곡선 하 면적 (AUC) 모두에서 전반적인 향상을 보였습니다.
   • 비교: 모델은 대부분의 데이터셋에서 가장 높은 AUC/ACC 를 달성하여, CNN 과 Transformer 를 결합한 계산 집약적 아키텍처인 MedVIT-S 및 MedVIT-L 과 같은 최신 모델들을 여러 시나리오에서 능가했습니다.
   • 하이퍼파라미터 민감도: 실험 결과, 패치 선택을 위해 단거리 및 장거리 프랙탈성 사이의 가장 좋은 절충안을 제공하는 $q=2$가 확인되었습니다.
2. COVID-CT: CT 스캔으로부터 COVID-19 사례를 예측하기 위한 데이터셋.
   • 성능: MO-MAE 는 0.85 의 정확도와 0.85 의 F1 점수를 달성했습니다.
   • 비교: 모델은 훨씬 더 많은 수의 학습 가능한 매개변수를 보유한 DenseNet-169 및 ResGANet-101 을 포함한 다른 문헌 방법들을 크게 능가했습니다.

의의 및 주장
저자들은 MO-MAE 프레임워크가 의료 영상 분석에서 딥러닝 모델의 정확성과 효율성을 개선하는 유망한 방향을 제시한다고 주장합니다. 모델이 이미지의 가장 복잡하고 정보 풍부한 영역을 재구성하는 데 집중하도록 강제함으로써, 이 접근법은 진단적으로 관련된 특징을 포착하는 모델의 능력을 향상시킵니다.

본 논문은 라벨이 지정된 데이터가 제한적인 의료 시나리오에서 이러한 자기지도식 패러다임이 특히 가치 있음을 강조합니다. 또한 저자들은 이 방법이 일반화 가능하여 의학을 넘어 다른 도메인과 이미지 분할과 같은 관련 작업에도 적용될 수 있다고 제안하지만, 이러한 적용 사례들은 현재 결과보다는 향후 연구 영역으로 언급됩니다. 연구는 복잡한 학습 가능한 마스킹 메커니즘의 필요성을 피하면서 마스킹을 안내하기 위해 다중 프랙탈 분석을 사용하는 것이 실현 가능하고 효과적인 전략임을 결론지었습니다.