技術要約：CTベースのフレームワークを用いた合成データ生成による患者ポーズ評価

問題提起

放射線画像の診断品質は、信頼できる診断と治療計画において極めて重要である。この品質を決定する主要な要因は、撮影時の患者のポーズ（姿勢）である。不適切なポジショニングは非診断的な画像につながり、結果として再撮影が必要となり、患者への放射線被曝の増加と病院のコスト増大を招く。ポジショニングは現在、標準化の欠如と放射線技師の経験への依存により、エラーが発生しやすい状況にある。

Time-of-Flight (ToF) カメラは、X線撮影前にポーズを評価するための深度画像をキャプチャできるが、必要なペアリングされた訓練データ（深度画像と、それに対応する診断品質のラベルが付与された放射線画像）の取得は、規制および倫理的な制約によって阻まれている。データ収集のために被験者を意図的に非診断的なポーズで放射線に曝露させることは、倫理的に正当化できない。また、解剖学的準備（遺体等）を用いる手法はスケーラビリティに欠ける。さらに、臨床現場におけるリアルタイムのカメラ統合は、データ保護の面で課題に直面している。

手法

著者らは、新たな放射線被曝を回避するために、既存のコンピュータ断層撮影（CT）スキャンから、ペアとなる深度画像と放射線画像を合成生成するフレームワークを提案している。このフレームワークは以下のステージで構成される：

1. 前処理および表面抽出:

   • CTスキャンは、空気を除去するために閾値 -500 HU を用いたマーチングキューブ法（MCA）を使用してポイントクラウド（点群）に変換される。
   • 対象となる解剖学的部位（足首上部関節）がクロップされる。
   • 回転軸（長軸）と参照平面（$\Pi_P$）が定義され、人間の脚の回転と診察台の配置をシミュレートする。
   • 最適化アルゴリズムにより、回転した解剖学的部位が事前に記録された撮像台の平面（$\Pi_T$）上に現実的に配置されるよう制御し、解剖学的部位の一部がテーブルと交差することを防ぐ。

2. 拡張（Augmentation）:

   • 多様な体型や病理をシミュレートするため、法線ベクトル方向にポイントクラウドをシフトさせる。
   • ガウス分布を用いて、特に足首や脛骨周囲の腫れや浮腫を模した「隆起（bumps）」を作成する。
   • これにより、各ポーズに対して複数の拡張バリアント（オリジナル、サイズシフト、バンプシフト、およびそれらの組み合わせ）が生成される。

3. シーン構成および深度画像生成:

   • 対象となる解剖学的部位を、X線室（テーブルを含む）の事前記録されたポイントクラウド内に埋め込む。
   • 解剖学的部位を様々な角度（非診断的なポーズを含む）に回転させ、テーブル上に配置する。
   • 特定のToFカメラセットアップを模倣するために、固有パラメータ、外部パラメータ、および歪み係数を取り入れ、ポイントクラウドの2D投影を通じて合成深度画像を生成する。

4. 合成放射線画像の生成:

   • 物理的な正確性を確保するため、深層学習ベースの近似ではなく、モンテカルロ（MC）シミュレーション（MCGPUツール）を用いて放射線画像を生成する。
   • CTボクセルは、物質および質量密度ボクセル（空気、軟部組織、骨、チタン）に変換される。
   • 静的なCTボリュームに対してX線源の位置を仮想的に移動させることで、異なるポーズをシミュレートする。
   • $2 \cdot 10^{10}$ 個のフォトンの経路をシミュレートし、生の出力を非線形マッピングして実際の放射線画像に似せる。

データセット

本研究では3つのデータセットを利用している：

1. 合成データセット: 10件の匿名化されたCTスキャン（17件の足首上部関節）から生成。3077個のユニークなポーズを含み、それぞれに対応する合成放射線画像と、2つのカメラビューからの深度画像が含まれる。これには拡張バリアントが含まれ、合計3万枚以上の深度画像が存在する。
2. 解剖学的準備データセット: Microsoft Azure Kinect ToFカメラを用いてキャプチャされた、2体の遺体の下腿における実物の深度画像と放射線画像を含む。174個のポーズが含まれる。
3. 実世界の臨床データセット: 臨床現場でキャプチャされた、18名の生存被験者（108ポーズ）による弱ラベル付きデータセット。倫理的な理由から放射線画像は撮影されていない。ラベル（「良」を1、「悪」を3とする）は、教科書的な理想的な位置に対する相対的な代用ラベルである。

実験および学習

著者らは、深度画像から診断品質（スケール1–3）を回帰するために、EfficientNet-B0モデル（2つのカメラビューに対して2つの別々のネットワーク）を訓練した。実験では以下の2つの問いに取り組んだ：

1. 合成データのみでポーズ評価を学習できるか？
2. 合成データでの事前学習は、実データに対する性能を向上させるか？

実験設定:

• 実験1: 合成データセットのみで訓練およびテストを行い、拡張戦略（サイズ、バンプ、両方）を評価する。
• 実験2a: 合成データセット（およびImageNet）で事前学習されたモデルを、解剖学的準備データセットでファインチューニングする。
• 実験2b: 実世界の臨床データセットでファインチューニングを行う。
• 実験2c: 線形プロービング（バックボーンを凍結し、ヘッドのみを訓練）を行い、特徴量の転移性を評価する。

主な結果

• 合成データの学習能力: 合成データセットでの訓練により、精度87.6%（サイズ拡張あり）を達成し、平均ラベルを予測するベースライン（59.3%）を大幅に上回った。
• 解剖学的準備への転移: 合成データセットでの事前学習は、ゼロからの訓練やImageNet事前学習と比較して、実世界の解剖学的準備データセットにおける性能を向上させた。
  • 精度: カメラビュー特有のアプローチとサイズ拡張を用いることで、精度が11パーセントポイント向上した（約79%から**90.45%**へ）。
  • 診断精度: 3パーセントポイント向上した。
  • 平均絶対誤差（MAE）の減少は、対応する置換テスト（paired permutation test）により統計的に有意であることが確認された（$p = 0.0049$）。
• 臨床データへの転移: 合成データでの事前学習は、弱ラベル付きの実世界の臨床データセットにおいても、ゼロからの訓練より高い性能を示した。
  • ポーズマージン精度: 約8パーセントポイント向上した。
  • 精度: 約4パーセントポイント向上した。
  • 統計的有意性は、$p = 0.0020$ により確認された。
• 線形プロービング: 合成データによる事前学習から得られた特徴量は、ランダム初期化やImageNet事前学習よりも優れた性能を示し、学習された特徴量の有用性を裏付けた。

意義および主張

本論文は、既存のCTスキャンを活用して大規模かつ現実的な合成訓練データを生成することにより、提案されたフレームワークが患者のポーズ評価におけるデータ取得のボトルネックを正常に解決することを主張している。主な意義は、以下の点を実証したことにある：

1. 合成から実物への転移（Synthetic-to-Real Transfer）: CTベースの合成深度画像から学習された特徴は、実世界の深度画像に対して非常に転移性が高く、新たな放射線曝露を必要とせずに診断品質評価の精度を大幅に向上させる。
2. 臨床的スケーラビリティ: 本手法により、倫理的な理由から実患者でキャプチャすることが困難な、多様なポーズ（非診断的なポーズを含む）を生成することが可能になる。
3. 実用的影響: 正確なスキャン前ポーズ評価を可能にすることで、本手法は放射線の再撮影を減らし、患者の放射線被曝の低減と病院コストの削減を実現する可能性がある。

著者らは、対象が足首上部に限定されていること、単一のX線室構成を使用していること、および臨床データセットにおける弱ラベルへの依存といった限界についても述べている。彼らは、本フレームワークはスケーラブルで適応可能であるが、異なる解剖学的部位や臨床環境においてこのアプローチを検証するためには、今後の研究が必要であることを強調している。