기술 요약: 합성 데이터 생성을 위한 CT 기반 프레임워크를 이용한 환자 자세 평가

문제 정의

방사선 사진의 진단 품질은 신뢰할 수 있는 진단 및 치료 계획 수립에 있어 매우 중요합니다. 이 품질을 결정하는 주요 요인은 촬영 시 환자의 자세입니다. 부적절한 포지셔닝은 비진단적 이미지를 초래하며, 이는 환자의 방사선 노출 증가와 병원 비용 상승을 야기하는 재촬영을 필요로 합니다. 현재 포지셔닝은 표준화의 부재와 방사선사의 경험에 대한 의존성으로 인해 오류가 발생하기 쉽습니다.

Time-of-Flight (ToF) 카메라는 X-레이 촬영 전 자세를 평가하기 위해 깊이 이미지(depth images)를 캡처할 수 있지만, 필요한 쌍을 이루는 훈련 데이터(깊이 이미지와 그에 대응하는 진단 품질 라벨이 포함된 방사선 사진)를 확보하는 데는 규제 및 윤리적 제약이 따릅니다. 데이터 수집을 위해 피험자를 의도적으로 비진단적 자세에 노출시키는 것은 윤리적으로 정당화될 수 없으며, 해부학적 준비물(anatomical preparations)을 사용하는 방식은 확장성이 부족합니다. 또한, 임상 현장에서의 실시간 카메라 통합은 데이터 보호 문제에 직면해 있습니다.

방법론

저자들은 새로운 방사선 노출 없이 기존의 컴퓨터 단층촬영(CT) 스캔으로부터 쌍을 이루는 깊이 이미지와 방사선 사진을 합성적으로 생성하는 프레임워크를 제안합니다. 이 프레임워크는 다음 단계들로 구성됩니다:

1. 전처리 및 표면 추출:

   • CT 스캔은 공기를 제거하기 위해 -500 Hounsfield Units (HU) 임계값을 가진 Marching Cubes Algorithm (MCA)을 사용하여 포인트 클라우드로 변환됩니다.
   • 대상 해부 구조(상부 발목 관절)가 크롭됩니다.
   • 인체의 다리 회전과 테이블 배치를 시뮬레이션하기 위해 회전축(종축)과 기준 평면($\Pi_P$)이 정의됩니다.
   • 최적화 알고리즘은 회전된 해부 구조가 미리 기록된 영상 촬영 테이블 평면($\Pi_T$)과 교차하지 않도록 하여, 해부 구조의 일부가 테이블을 뚫고 들어가는 것을 방지하며 현실적으로 배치되도록 보장합니다.

2. 증강 (Augmentation):

   • 다양한 체형과 병리 상태를 시뮬레이션하기 위해 포인트 클라우드가 법선 벡터(normal vectors)를 따라 이동됩니다.
   • 가우시안 분포를 사용하여 특히 발목과 경골 주변의 부종이나 부기를 시뮬레이션하는 "범프(bumps)"를 생성합니다.
   • 이를 통해 각 포즈에 대해 여러 가지 증강된 변형(원본, 크기 이동, 범프 이동, 그리고 결합된 형태)이 생성됩니다.

3. 장면 구성 및 깊이 이미지 생성:

   • 대상 해부 구조가 X-레이실의 사전 기록된 포인트 클라우드(테이블 포함) 내에 삽입됩니다.
   • 해부 구조는 다양한 각도로 회전되어 테이블 위에 배치됩니다.
   • 특정 ToF 카메라 설정을 모사하기 위해 내적/외적 카메라 파라미터와 왜곡 계수를 포함한 포인트 클라우드의 2D 투영을 통해 합성 깊이 이미지가 생성됩니다.

4. 합성 방사선 사진 생성:

   • 물리적 정확성을 보장하기 위해, 딥러닝 기반의 근사치가 아닌 몬테카를로(Monte Carlo, MC) 시뮬레이션(MCGPU 도구)을 사용하여 방사선 사진을 생성합니다.
   • CT 복셀은 물질 및 질량 밀도 복셀(공기, 연조직, 뼈, 티타늄)로 변환됩니다.
   • 정적인 CT 볼륨에 대해 X-선 소스의 위치를 가상으로 이동시켜 다양한 포즈를 시뮬레이션합니다.
   • $2 \cdot 10^{10}$ 개의 광자 경로가 시뮬레이션되며, 원시 출력값은 실제 방사선 사진과 유사하게 비선형적으로 매핑됩니다.

데이터셋

본 연구는 세 가지 데이터셋을 활용합니다:

1. 합성 데이터셋 (Synthetic Dataset): 10개의 익명화된 CT 스캔(17개의 상부 발목 관절)으로부터 생성되었습니다. 이는 3077개의 고유한 포즈를 포함하며, 각 포즈는 두 개의 카메라 뷰에서 얻은 대응하는 합성 방사선 사진과 깊이 이미지를 가집니다. 여기에는 증강된 변형들이 포함되어 총 30,000개 이상의 깊이 이미지가 존재합니다.
2. 해부학적 준비물 데이터셋 (Anatomical Preparations Dataset): Microsoft Azure Kinect ToF 카메라를 사용하여 174개의 포즈에서 캡처된 두 구(cadaveric) 하퇴부의 실제 깊이 이미지와 방사선 사진을 포함합니다.
3. 실제 환경 임상 데이터셋 (Real-World Clinical Dataset): 18명의 생존 피험자(108개 포즈)로부터 캡처된 약한 라벨링(weakly labeled)이 된 데이터셋입니다. 윤리적 이유로 방사선 사진은 촬영되지 않았으며, 라벨(양호 1, 불량 3)은 포지셔닝의 이상적인 교과서적 기준에 대한 대리 지표입니다.

실험 및 훈련

저자들은 깊이 이미지로부터 진단 품질(1~3 척도)을 회귀하기 위해 두 개의 별도 네트워크를 가진 EfficientNet-B0 모델을 훈련시켰습니다. 실험은 다음 두 가지 질문을 다룹니다:

1. 합성 데이터만으로 포즈 평가를 학습할 수 있는가?
2. 합성 데이터로 사전 훈련하는 것이 실제 데이터에서의 성능을 향상시키는가?

실험 설정:

• 실험 1: 합성 데이터셋만으로 훈련 및 테스트하여 증강 전략(크기, 범프, 둘 다)을 평가합니다.
• 실험 2a: 합성 데이터셋(및 ImageNet)으로 사전 훈련된 모델을 해부학적 준비물 데이터셋에 대해 미세 조정(fine-tuning)합니다.
• 실험 2b: 실제 환경 임상 데이터셋에 대해 모델을 미세 조정합니다.
• 실험 2c: 선형 프로빙(linear probing, 백본은 고정하고 헤드만 훈련)을 통해 특징 전이 가능성을 평가합니다.

주요 결과

• 합성 데이터 학습: 합성 데이터셋으로 훈련했을 때, 크기 증강을 적용한 경우 **87.6%**의 정확도를 달-성하여 평균 라벨을 예측하는 베이스라인(59.3%)을 크게 상회했습니다.
• 해부학적 준비물로의 전이: 합성 데이터셋으로 사전 훈련하는 것은 처음부터 훈련하거나 ImageNet 사전 훈련을 사용하는 것보다 해부학적 준비물 데이터셋에서의 성능을 향상시켰습니다.
  • 정확도: 카메라 뷰별 접근 방식과 크기 증강을 사용할 경우 성능이 11 퍼센트 포인트 증가했습니다(약 79%에서 **90.45%**로).
  • 진단 정확도: 3 퍼센트 포인트 개선되었습니다.
  • 평균 절대 오차(MAE)의 감소가 통계적으로 유의미함을 확인하였습니다 (paired permutation test, $p = 0.0049$).
• 임상 데이터로의 전이: 합성 데이터로 사전 훈련하는 것은 약한 라벨이 지정된 실제 임상 데이터셋에서도 처음부터 훈련하는 것보다 성능을 향상시켰습니다.
  • 포즈 마진 정확도: 약 8 퍼센트 포인트 개선되었습니다.
  • 정확도: 약 4 퍼센트 포인트 개선되었습니다.
  • 통계적 유의성이 확인되었습니다 ($p = 0.0020$).
• 선형 프로빙: 합성 데이터 사전 훈련으로부터 학습된 특징은 무작위 초기화나 ImageNet 사전 훈련보다 선형 프로빙에서 더 나은 성능을 보여주어, 학습된 특징의 유용성을 입증했습니다.

의의 및 주장

본 논문은 기존 CT 스캔을 활용하여 대규모의 현실적인 합성 훈련 데이터를 생성함으로써 환자 포즈 평가를 위한 데이터 획득 병목 현상을 성공적으로 해결한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 합성-실제 전이 (Synthetic-to-Real Transfer): CT 기반 합성 깊이 이미지로부터 학습된 특징은 실제 깊이 이미지로 매우 잘 전이되며, 새로운 방사선 노출 없이도 진단 품질 평가 정확도를 크게 높입니다.
2. 임상적 확장성: 이 접근 방식은 윤리적으로 직접 캡처하기 어려운 다양한 포즈(비진단적 포즈 포함)를 생성할 수 있게 합니다.
3. 실질적 영향: 정확한 촬영 전 포즈 평가를 가능하게 함으로써, 이 방법은 환자의 방사선 노출을 줄이고 병원 비용을 낮추는 데 기여할 잠재력이 있습니다.

저자들은 상부 발목 관절에 국한된 점, 단일 X-레이실 구성 사용, 임상 데이터셋의 약한 라벨링 의존성 등의 한계점을 언급했습니다. 또한 이 프레임워크가 확장 가능하고 적응력이 높지만, 다양한 해부학적 구조와 임상 환경에 걸쳐 접근 방식을 검증하기 위한 향후 연구가 필요함을 강조했습니다.