Model-based Dynamic 3D MRI Reconstructions using Neural Fields and Tensor Product Expansions

기술 요약: 신경 필드 및 텐서 곱 확장을 활용한 모델 기반 동적 3D MRI 재구성

문제 제기
기존 MRI 재구성 방법은 이미지와 코일 감도를 이산 배열로 취급합니다. 이는 디지털 데이터에 적합하지만, 높은 메모리 요구 사항을 초래하고 구조적 인식이 부족하여 일관성을 강제하기 위해 강력한 정규화 (예: 총변동, Total Variation) 를 필요로 합니다. 이러한 한계는 심박 운동을 해결하기 위해 높은 가속도가 요구되는 심한 undersampled 상황, 예를 들어 동적 2D 및 3D 심장 자기공명영상 (CMR) 에서 치명적입니다. 기존 딥러닝 접근법은 대안을 제시하지만, 일반적으로 대규모 감독 학습 데이터셋에 의존하여 스캐너 및 프로토콜 간 적응성을 저하시키고 고정된 해상도에 종속됩니다. 또한, 암시적 신경 필드 (INFs) 가 연속적 표현을 제공하지만, 고차원 (동적 3D) 문제에 완전한 다변량 신경망을 적용하는 것은 조밀한 그리드를 위한 평가 점수의 기하급수적 증가로 인해 계산적으로 불가능합니다.

방법론
저자들은 단변량 신경 필드의 텐서 곱에 기반한 **신경 필드 확장 (NFEs)**을 사용하여 자화 및 코일 감도를 연속적이고 미분 가능한 함수로 표현하는 이산화 없는 모델 기반 프레임워크를 제안합니다.

• 텐서 곱 아키텍처: 단일 다변량 네트워크 대신, 이 방법은 표현을 공간 및 시간의 각 좌표 방향에 대한 단변량 다층 퍼셉트론 (MLP) 의 텐서 곱으로 분해합니다. 그리드의 차원이 $P_1 \times \dots \times P_d$일 때, 다변량 네트워크는 $\prod P_j$개의 점을 평가해야 하는 반면, 텐서 곱 접근법은 $d$개의 단변량 네트워크를 통해 $\sum P_j$개의 점만 평가합니다. 이는 차원에 따른 계산 복잡도를 지수적에서 선형적으로 감소시킵니다.
• 연속적 표현: 자화 $m(t, x)$와 코일 감도 $S(x)$는 모두 NFE 로 모델링됩니다. 자화는 시공간 영역에서 정의되고, 코일 감도는 공간 영역에서 정의됩니다. 저자들은 고주파 신호와 그 도함수를 정확하게 포착하기 위해 SIREN 네트워크 (정현파 활성화 함수) 를 활용합니다.
• 연합 최적화: 이 프레임워크는 외부 학습 데이터셋이나 별도의 코일 보정 스캔 없이 undersampled k-공간 데이터로부터 자화와 코일 감도를 연합적으로 재구성합니다.
• 목적 함수: 재구성은 다음으로 구성된 손실 함수를 최소화합니다:
  • 데이터 일관성: 모델 불일치와 두꺼운 꼬리 잔차를 처리하도록 설계된 가중 $L_2$-노름으로 k-공간 편차를 패널티화합니다.
  • 정규화: 자화에 대한 공간 및 시간 총변동 (TV), 시간 도함수에 대한 $L_1$-페널티, 그리고 매끄러움을 촉진하기 위한 코일 감도 도함수에 대한 제곱 $L_2$-페널티입니다.
• 확률적 최적화: 메모리를 관리하고 동적 3D 재구성을 가능하게 하기 위해 목적 함수는 확률적 경사 하강법 (SGD) 을 사용하여 최적화됩니다. 정규화 항은 측정 위치에 해당하는 무작위로 샘플링된 연속 점들과 이산 카테시안 그리드 점들의 혼합 집합에서 평가됩니다. 이러한 확률적 공식화는 효율적인 메모리 사용과 최적화 과정에 대한 세밀한 제어를 가능하게 합니다.

주요 기여

1. 텐서 곱 공식화: 주요 기여는 단변량 신경 필드의 텐서 곱 아키텍처를 도입한 것입니다. 이 구조는 단일 다변량 네트워크를 대체하여 동적 3D MRI 에 필수적인 메모리 및 연산 효율적인 평가 및 미분을 가능하게 합니다.
2. 연합 재구성: 이 방법은 자화와 코일 감도를 모두 신경 필드로 표현하고 연합적으로 재구성하여, 원칙적인 정규화를 통해 연합 추정의 비적절성 문제를 해결합니다.
3. 확률적 모델 기반 최적화: 확률적 샘플링과 연속 영역 모델링의 통합은 표준 GPU 하드웨어에서 높은 가속도 (예: 16 배) 로 재구성을 가능하게 하여, 메모리 제약으로 인해 이전에는 동적 3D 데이터에 대해 불가능했던 작업을 수행할 수 있게 합니다.

결과
이 방법은 세 가지 데이터셋에서 평가되었습니다: 후향적 undersampled 동적 2D CMR, 전향적 undersampled 동적 3D 허벅지 MRI, 그리고 전향적 undersampled 동적 3D CMR 입니다.

• 메모리 효율성: 텐서 곱 설계는 동적 2D 예시에서 GPU 메모리를 31 배 감소시켰습니다 (사용량 약 23GB 에서 약 750MB 로 감소). 동적 3D 사례의 경우, 메모리 요구 사항을 48GB GPU 에서 불가능했던 48GB 이상에서 9~12GB 로 줄였습니다.
• 동적 2D 성능: 가속도 인자 (AF) 가 8, 12, 16 일 때, NFE 기반 재구성은 높은 시각적 품질과 시간적 일관성을 유지했습니다. 반면, 압축 센싱 (CS) 기준선은 특히 AF 12 및 16 에서 뚜렷한 깜빡임, 줄무늬 아티팩트, 그리고 흐림을 나타냈습니다. 정량적 지표 (SSIM 및 PSNR) 는 모든 슬라이스와 시간 프레임에서 NFE 를 일관되게 선호했습니다.
• 동적 3D 성능: 이 방법은 표준 CS 파이프라인으로 계산적으로 불가능했던 작업인, 원시 binned 되지 않은 k-공간 읽기 데이터에서 직접 시간 분해 이미지를 성공적으로 재구성했습니다 (시간 분해능 $\delta t = 5.4$ ms). 강한 공간 TV 정규화로 인해 일부 노이즈와 국소적 경계 강도 차이가 관찰되었지만, 재구성은 해부학적으로 일관되고 피험자 간 시간적으로 일관성을 유지했습니다.
• 동적 3D CMR: 정성적 비교에서 NFE 재구성은 해부학적 세부 사항을 보존하고 AF 16 에서 CS 재구성에서 관찰된 깜빡임 아티팩트 없이 유지되었습니다.

의의 및 주장
이 논문은 제안된 프레임워크가 텐서 곱 확장의 구조적 효율성을 활용함으로써 표준 하드웨어에서 계산적으로 가능하고 고품질의 동적 3D MRI 재구성을 가능하게 한다고 주장합니다. 이 방법은 감독 학습 데이터 없이 다양한 가속도 인자와 스캐너 유형 (1.5T 및 3T) 에서 견고성을 입증했습니다.

저자들은 NFE 가 공격적인 undersampling 하에서 구조와 운동을 보존하는 데 있어 최첨단 CS 방법보다 우수하지만, 프레임워크는 여전히 다음과 같은 과제에 직면해 있다고 겸손하게 지적합니다:

• 초매개변수 민감성: 이 방법은 많은 수의 초매개변수 (모드, 네트워크 아키텍처, 정규화 가중치) 를 포함합니다. 튜닝을 실행 가능하게 만들기 위한 휴리스틱 가이드라인이 개발되었지만, 이는 완전히 자동화된 접근 방식에 비해 여전히 한계입니다.
• 해석 가능성: 일반화된 푸리에 급수에 대한 유추는 형식적입니다. 학습된 모드는 직교하거나 선형 독립이 아니므로, 계수의 크기를 모드의 중요도로 직접 해석할 수 없습니다.
• 데이터 한계: 동적 3D CMR 에 대한 평가는 binned 되지 않은 동적 3D 획득을 위한 공개적으로 이용 가능한 정답 데이터셋의 부재로 인해 단일 중간 품질 스캔으로 제한되었습니다.

이 연구는 텐서 곱 분해 및 확률적 최적화와 결합된 연속 영역 모델링이 고가속도, 스캔 특정 MRI 재구성을 위한 실현 가능한 다음 단계임을 입증합니다.