Anatomical Token Uncertainty for Transformer-Guided Active MRI Acquisition

1. 문제 정의 (Problem)

자기공명영상 (MRI) 은 공간 주파수 영역인 k-공간 (k-space) 에서 데이터를 획득합니다. 완전한 k-공간 데이터를 획득하는 과정은 본질적으로 느려 임상 처리량을 제한하고 환자의 불편함을 초래합니다. 이를 해결하기 위해 **압축 센싱 (Compressed Sensing, CS)**을 통해 undersampled(과소 샘플링된) k-공간 데이터로부터 영상을 재구성하는 연구가 진행되어 왔습니다.

하지만 기존 CS-MRI 및 딥러닝 기반 접근법에는 다음과 같은 한계가 존재합니다:

• 고정된 샘플링 패턴: 기존 방법 (LOUPE, PUERT 등) 은 전체 데이터셋에 대해 고정되거나 확률적인 마스크를 학습하여, 개별 환자의 해부학적 변이에 실시간으로 적응하지 못합니다.
• 활성 샘플링 (Active Sampling) 의 불안정성: 기존 활성 샘플링 방법 (AdaSense, Ada-Sel 등) 은 재구성 네트워크와 정책 선택을 결합하는 과정에서 안정성 문제와 재구성 품질의 트레이드오프가 발생할 수 있습니다.
• 평가 지표의 한계: 기존 연구는 주로 PSNR, SSIM 과 같은 픽셀 단위 지표를 사용하지만, 이는 방사선 전문의가 인지하는 화질이나 해부학적 구조의 세부 사항과 상관관계가 낮을 수 있습니다.

2. 방법론 (Methodology)

이 논문은 사전 학습된 의료 이미지 토크나이저 (MedITok) 와 잠재 공간 (Latent Space) 의 이산적 (discrete) 구조를 활용하여 Transformer 기반의 활성 샘플링 프레임워크를 제안합니다. 핵심 아이디어는 해부학적 구조를 양자화된 시각 토큰 (visual tokens) 의 사전 (dictionary) 으로 표현하고, 이를 통해 잠재 공간에서의 불확실성을 정량화하여 샘플링을 유도하는 것입니다.

2.1. 아키텍처 및 학습

• 토크나이저 (Tokenizer): MedITok 을 사용하여 이미지를 실수부와 허수부로 분리한 후, VQ-VAE 기반의 인코더를 통해 이산적인 코드북 (Codebook) 토큰 시퀀스로 변환합니다.
• Transformer: 학습된 Transformer 디코더는 undersampled 데이터로부터 완전한 토큰 시퀀스를 예측합니다. 이 과정에서 각 잠재 위치 (latent position) 에서 코드북 항목에 대한 확률 분포를 출력합니다.

2.2. 제안된 활성 샘플링 전략

모델이 예측한 토큰 확률 분포를 기반으로 두 가지 전략을 통해 k-공간의 다음 샘플링 라인 (line) 을 선택합니다.

1. 잠재 엔트로피 선택 (Latent Entropy Selection, LES):

   • Transformer 가 예측한 토큰 확률 분포의 Shannon 엔트로피를 계산하여 패치 단위의 불확실성 지도 (uncertainty map) 를 생성합니다.
   • 이 지도를 k-공간으로 변환 (FFT) 하여, 모델이 가장 불확실한 주파수 대역 (큰 값을 가진 영역) 을 식별합니다.
   • 해당 k-공간 라인의 평균 진폭을 최대화하는 라인을 다음 샘플링 대상으로 선택합니다.

2. 기반 엔트로피 최적화 (Gradient-based Entropy Optimization, GEO):

   • 총 잠재 엔트로피 손실 ($L_{ent}$) 에 대한 입력 k-공간 측정값의 **기울기 (gradient)**를 계산합니다.
   • 직통 추정기 (Straight-Through Estimator, STE) 를 사용하여 이산적인 양자화 단계를 통과하는 기울기를 역전파합니다.
   • 기울기 크기가 가장 큰 k-공간 영역을 식별하여 불확실성을 가장 크게 감소시키는 라인을 선택합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 활성 샘플링 프레임워크: 의료 이미지 토크나이저와 Transformer 를 결합하여 해부학적 구조의 불확실성을 정량화하고 이를 샘플링 정책에 직접 활용하는 새로운 접근법 제시.
2. 두 가지 전략 제안:
   • LES: 패치별 토큰 엔트로피를 k-공간으로 투영하여 정보량이 많은 샘플링 라인을 식별.
   • GEO: 잠재 엔트로피 손실의 k-공간 기울기를 기반으로 불확실성 감소가 최대인 영역을 선택.
3. 종합적 평가 및 새로운 메트릭: fastMRI(Knee, Brain) 데이터셋에서 ×8, ×16 가속화 조건 하에 기존 SOTA 방법들과 비교 평가. 특히, 픽셀 단위 정확도뿐만 아니라 **Deep Feature Distances (LPIPS, DISTS, SSFD)**와 같은 지각적 및 특징 기반 메트릭을 강조하여 해부학적 구조 보존 능력을 입증.

4. 실험 결과 (Results)

fastMRI Knee 및 Brain 데이터셋 (단일 코일 시뮬레이션) 에서 ×8 및 ×16 가속화 조건으로 실험을 수행했습니다.

• 정량적 성능:
  • 픽셀 단위 지표 (PSNR, SSIM): 기존 방법들 (PUERT, LOUPE 등) 이 LES/GEO 보다 높은 PSNR/SSIM 값을 기록했습니다. 이는 기존 방법들이 픽셀 오차를 최소화하는 데 집중하기 때문입니다.
  • 지각 및 특징 기반 지표 (LPIPS, DISTS, SSFD): 제안된 LES 와 GEO 방법이 모든 기존 방법 (PUERT, AdaSense 등) 을 압도적으로 상회했습니다.
    • 예시: Knee ×16 조건에서 GEO 는 SSFD 8.82 를 기록하여 PUERT(14.75) 대비 40.2% 개선 효과를 보였습니다.
    • Brain ×8 조건에서 GEO 는 SSFD 6.67 로 가장 우수한 성능을 발휘했습니다.
• 정성적 분석:
  • 제안된 방법은 고해상도 가속화 (×16) 에서도 경계선과 국소적 질감을 잘 보존하며, 기존 방법들이 보이는 과도한 평활화 (over-smoothing) 현상을 줄였습니다.
  • 일부 ground truth 에 포함된 획득 노이즈를 억제하여 더 깨끗한 영상을 생성하지만, 이로 인해 픽셀 단위 오차 (PSNR) 는 다소 증가할 수 있습니다.
• 효율성:
  • LES는 활성 샘플링 단계당 0.97 fps 의 처리량을 보여 기존 활성 방법들 (AdaSense: 0.01 fps) 보다 훨씬 효율적입니다.
  • GEO는 LES 보다 느리지만 (0.50 fps), 여전히 기존 방법들보다 빠릅니다.

5. 의의 및 결론 (Significance)

이 연구는 MRI 재구성에서 픽셀 단위 정확도 (Distortion) 와 해부학적 구조의 신뢰성 (Perception) 사이의 트레이드오프를 새로운 관점에서 해결했습니다.

• 해부학적 구조 우선: 제안된 방법은 픽셀 오차를 최소화하는 대신, 모델이 예측하지 못하는 해부학적 구조 (불확실성이 높은 영역) 를 샘플링함으로써 진단에 중요한 세부 사항을 보존합니다.
• 임상적 유용성: 방사선 전문의가 인지하는 화질과 더 밀접하게 연관된 특징 기반 메트릭에서 우수한 성능을 보이며, 특히 고가속화 환경에서 구조적 무결성을 유지합니다.
• 실시간 적용 가능성: LES 전략은 높은 처리량을 제공하여 실제 임상 환경에서의 실시간 적응형 MRI 스캔 (Scan-adaptive MRI) 구현 가능성을 높였습니다.

결론적으로, 이 논문은 Transformer 와 토큰 기반 불확실성 추정을 활용하여, 기존 CS-MRI 의 한계를 넘어 해부학적 구조에 최적화된 지능형 MRI 샘플링을 가능하게 하는 중요한 진전을 이루었습니다.