Rapid patient-specific neural networks for intraoperative X-ray to volume registration

기술 요약: 수술 중 X 선-부피 정합을 위한 신속한 환자 특이적 신경망

문제 제기
이미지 유도 중재 및 수술 로봇은 3 차원 수술 전 부피 데이터 (예: CT, MRI) 와 2 차원 수술 중 X 선 이미지 (예: 형광 투시) 간의 정밀한 정렬에 의존합니다. 그러나 기존 2D/3D 정합 방법은 임상 적용에 있어 상당한 한계에 직면해 있습니다. 전통적인 강도 기반 최적화기는 초기화 오차에 민감하여, 시작 자세가 몇 센티미터만 벗어나도 잘못된 해에 수렴하는 경우가 많습니다. 반면, 딥러닝 접근법은 일반적으로 광범위한 수동 라벨링 데이터셋을 필요로 하며, 학습된 특정 해부학적 구조에 국한됩니다. 이러한 지도 학습 방법은 다양한 환자 집단, 병리, 비표준 수술 중 뷰에 걸쳐 일반화하는 데 어려움을 겪어, 분포 외 (out-of-distribution) 실패를 초래합니다. 또한, 임상 기록에 있는 정답 C 암 (C-arm) 자세의 부재는 지도 학습 모델 훈련을 위한 데이터 병목 현상을 야기합니다.

방법론: xvr 프레임워크
저자들은 신속한 2D/3D 강체 정합을 위한 환자 특이적 신경망을 훈련시키기 위한 자기 지도 학습 프레임워크인 xvr를 소개합니다. 이 접근법은 물리 기반 시뮬레이션과 기울기 기반 최적화를 통합하여 수동 주석의 필요성을 제거합니다.

1. 미분 가능한 합성 데이터 생성:
   xvr 는 미분 가능한 X 선 렌더러를 활용하여 환자 자신의 수술 전 3D 부피 데이터에서 직접 합성 훈련 데이터를 생성합니다. C 암 자세 (회전 $\alpha, \beta, \gamma$ 및 이동 $x, y, z$) 를 시뮬레이션하고 광선 추적 (삼선 보간 또는 Siddon 방법 사용) 을 통해 합성 X 선을 렌더링함으로써, 시스템은 알려진 정답 자세를 가진 무제한의 훈련 쌍을 생성합니다. 이 과정은 3D 라벨 맵이 사용 가능한 경우 특정 해부학적 구조의 렌더링도 지원합니다.

2. 기초 모델 및 전이 학습:
   환자 특이적 모델과 관련된 긴 훈련 시간을 해결하기 위해, 저자들은 2,000 개 이상의 전신 CT 및 MR 부피 데이터 코퍼스로 기초 모델을 사전 훈련합니다. 이 모델은 인간 해부학 및 C 암 자세 분포에 대한 집단 수준의 표현을 학습합니다.

   • 아키텍처: 네트워크는 C 암 자세를 회귀하기 위해 ResNet34 백본을 사용합니다. 강체 변환 ($SE(3)$) 의 다양체 특성을 처리하기 위해, 모델은 오일러 각 및 표준 쿼터니언에 내재된 불연속성을 해결하는 연속적 표현인 **쿼터니언 수반행렬 (quaternion adjugate)**을 회귀합니다.
   • 적응: 새로운 환자에 대해 기초 모델은 해당 환자의 수술 전 스캔에서 생성된 합성 X 선으로 파인튜닝됩니다. 이를 통해 제로 스래치 (from scratch) 훈련에 필요한 수 시간의 훈련 시간이 약 5 분으로 단축됩니다.

3. 도메인 시프트에 대한 강건성:
   가변적인 수술 중 획득 파라미터 (예: C 암 팬닝, 시야 변화) 를 처리하기 위해 xvr 는 기하학적 리샘플링 전략을 사용합니다. 수술 중 X 선은 네트워크에 입력되기 전에 훈련 중 사용된 표준 내재 파라미터와 일치하도록 리샘플링됩니다. 정제 단계 동안 시스템은 임상 이미지의 원래 고해상도 내재 파라미터를 사용하여 합성 X 선을 렌더링합니다.

4. 반복적 자세 정제:
   신경망이 정확한 초기 자세 추정을 제공하지만, 시스템은 기울기 기반 최적화기를 사용하여 이 추정을 정제합니다. 미분 가능한 렌더러를 사용하여 최적화기는 실제 수술 중 X 선과 합성 X 선 간의 유사도를 최대화합니다. 저자들은 큰 오차 영역에서의 강건성을 위한 다중 스케일 정규화 상호상관 (mNCC) 과 깊이 추정 정밀도를 위한 기울기 정규화 상호상관 (gradNCC) 을 결합하여 밀리미터 수준의 정확도를 달성합니다.

주요 기여

• 자기 지도 학습 환자 특이적 훈련: 환자의 자체 스캔에서 정답 훈련 데이터를 생성하여 수동 랜드마크 주석이나 대규모 큐레이션 데이터셋에 대한 의존성을 제거하는 프레임워크.
• 신속한 적응을 위한 기초 모델: 5 분의 파인튜닝만으로 모든 해부학적 영역 (골반, 대퇴골, 신경혈관, 두개골) 에 적응할 수 있는 사전 훈련 모델로, 12 시간 동안 제로 스래치 훈련하는 것과Comparable 한 정확도를 달성합니다.
• 미분 가능한 렌더링 파이프라인: 분당 수천 개의 합성 이미지를 생성할 수 있는 고속 미분 가능 X 선 렌더러로, 확장 가능한 사전 훈련과 실시간 정제를 가능하게 합니다.
• 가변 내재 파라미터 처리: 재훈련 없이 단일 네트워크가 다양한 C 암 획득 파라미터를 처리할 수 있도록 하는 기하학적 리샘플링 기법.

결과
저자들은 DeepFluoro (골반 사체), Femur (사체), Ljubljana (신경혈관), 그리고 내부 임상 데이터셋 (신생아 갈렌 정맥 기형 및 성인 신경외과) 을 포함한 여러 병원, 환자 집단, 해부학적 구조에 걸친 다섯 가지 데이터셋에서 xvr 를 평가했습니다.

• 정확도: xvr 는 기존 방법을 크게 능가했습니다. DeepFluoro 데이터셋에서 파인튜닝된 모델은 고정 초기화의 352.2 mm 및 지도 학습 랜드마크 회귀의 82.1 mm 와 비교하여 중앙값 목표 정합 오차 (mTRE) 1.1 mm를 달성했습니다.
• 일반화: 이 프레임워크는 극단적인 분포 외 시프트에 대한 강건성을 보여주었습니다. 성인 전용 사전 훈련 코퍼스에 없는 병리 (신생아 갈렌 정맥 기형) 를 가진 신생아 환자의 수술 중 DSA 를 5 분의 파인튜닝 후 성공적으로 정합하여 중앙값 mTRE 2.3 mm 를 달성했습니다.
• 효율성: 시스템은 초 단위로 높은 정확도를 달성합니다. 파인튜닝된 네트워크에 의한 초기 자세 추정은 수 초가 소요되며, 이후 반복적 정제는 1~8 초의 지연 시간만 추가합니다.
• 비교: 현재까지 실제 형광 투시에 대한 2D/3D 정합에 대한 가장 큰 평가에서, xvr 는 기존 방법의 정확도를 한 자릿수 (order of magnitude) 개선했습니다. 다른 방법이 실패한 비표준 뷰 및 복잡한 해부학적 시나리오에서 일관되게 밀리미터 미만 성공률 (SMSR) 을 달성했습니다.

의의 및 주장
이 논문은 xvr 가 "범해부학적 2D/3D 강체 정합을 광범위한 임상 및 연구 커뮤니티에 접근 가능하게 만든다"고 주장합니다. 미분 가능한 렌더링과 신속한 사전 훈련 모델 파인튜닝을 결합함으로써, 이 프레임워크는 이미지 유도 수술에서 AI 도입을 저해해 온 데이터 병목 현상 및 일반화 문제를 해결합니다. 저자들은 그들의 접근 방식이 기존 임상 워크플로우를 방해하지 않고 다양한 의학 분야에서 신뢰할 수 있고 정확하며 해부학적으로 일반적인 정합을 가능하게 한다고 강조합니다. 이 프레임워크는 추가 연구 및 임상 통합을 촉진하기 위해 오픈 소스 소프트웨어로 공개되었습니다. 저자들은 겸손하게도 그들의 평가가 현재까지 가장 크고 다양하지만, 모든 잠재적 임상 시나리오에 대한 강건성을 완전히 검증하기 위해서는 더 큰 전향적 연구가 필요하다고 언급합니다.