NeuVolEx: 体積データ探索のための暗黙的ニューラル特徴量に関する技術的サマリー

本論文は、直接体積レンダリング（DVR）における体積データ探索の課題を解決するため、NeuVolEx（Neural Volume Exploration）という新しいアプローチを提案するものです。従来の手法の限界を克服し、Implicit Neural Representations（INR）の学習過程で得られる特徴量を活用することで、ユーザーの少ない監督情報（スクリブル）でも高精度な関心領域（ROI）の分類と、効果的な視点推薦を実現します。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

体積データ探索の主要なタスクとして、画像ベースの転送関数（TF）設計（ユーザーが ROI を指定して視覚化パラメータを調整する）と視点推薦（複数の ROI を網羅する最適な視点セットを自動生成する）が挙げられます。これらはいずれも、体積データを効果的に特徴づける「特徴表現」に依存しています。

既存手法には以下の課題がありました：

• 明示的局所特徴量（Explicit Local Features）: 強度、勾配、位置などの局所的な特徴を使用します。これらは直感的ですが、広範な幾何学的パターンや空間的な相関を捉える能力が限られており、ROI の一貫した分類やクラスタリングが困難です。
• 暗黙的畳み込み特徴量（Implicit Convolutional Features）: 深層学習を用いて体積から学習された特徴量です。空間的文脈を捉える能力は高いですが、特徴量の次元が高すぎる（75D〜387D）ため、現実的なユーザー監督（限られたスクリブル）下ではロバストな性能を発揮しにくく、計算コストやメモリ負荷も大きいです。

一方、Implicit Neural Representations (INR) は、体積圧縮の分野で座標から強度値への連続的なマッピングを学習する手法として注目されていますが、これまでは「出力（再構成された体積）」に焦点が当てられ、学習過程で得られる「中間特徴量」を体積探索に応用する研究は不足していました。

2. 提案手法：NeuVolEx

NeuVolEx は、INR を単なる体積圧縮・再構成のツールではなく、体積探索のための堅牢な特徴表現の基盤として拡張するアプローチです。

2.1 体積探索最適化 INR のアーキテクチャ

提案手法は、空間的一貫性を高めるために、以下の構成要素を持つ双経路（Dual-pathway）設計を採用しています（図 3 参照）：

1. 位置表現経路: 3D 座標 $(X, Y, Z)$ をマルチ解像度のハッシュグリッドエンコーディングに入力し、学習可能な特徴を生成します。
2. 構造表現経路: 各座標を中心とした局所的なパッチ（$5 \times 5 \times 5$ ボクセル）を「構造エンコーダ」で処理し、局所的な構造的文脈を抽出します。
3. FiLM（Feature-wise Linear Modulation）による統合: 単なる結合ではなく、構造表現を位置表現の条件付け（Conditioning）に利用します。構造表現からスケール $\gamma$ とシフト $\beta$ を生成し、位置表現を以下のように変調します：
   $$F_{mod} = F_{pos} \odot (\gamma + 1) + \beta$$
   これにより、隣接するボクセルの文脈を反映させ、類似した強度を持つ領域の分離や微細な境界の保持を可能にします。

2.2 マルチタスク学習スキーム

体積探索では、単なる強度の近似だけでなく、境界や局所的な均質性も重要です。そのため、メインの MLP は以下の 4 つのタスクを同時に学習します：

• 強度（Intensity）: 入力体積の忠実度維持。
• 勾配（Gradient）: 構造境界への感度向上。
• 局所平均（Local Mean）と局所標準偏差（Local Std）: 同一領域内での特徴応答の一貫性を高める制約。

これらすべての損失項（MSE）を重み付けして合計損失を最小化し、学習後の MLP の最終隠れ層のアクティベーションを「ボクセルレベルの特徴表現」として抽出します。

2.3 体積探索タスクへの適用

抽出された特徴表現は、以下の 2 つの主要タスクに利用されます：

• 画像ベース TF 設計:
  • ユーザーがスライス画像上に ROI を示すための「スクリブル」を描画します。
  • ラベル付けされたボクセルの特徴とスクリブルをランダムフォレストに投入し、各ボクセルがどの ROI クラスに属するかを確率的に予測します。
  • 予測確率に基づき、確率的体積レンダリング（Probability-based Renderer）または確率 - 強度レンダリング（Probability-Intensity Renderer）を用いて視覚化します。
• 視点推薦:
  • ユーザーの監督なしで、特徴表現に基づきボクセルを K-means 法でクラスタリング（ROI として扱う）します。
  • 単位球面上から候補視点をサンプリングし、各視点でどの ROI クラスタが可視化されるかを評価します。
  • エントロピーに基づいた情報量マップを生成し、貪欲法で「互いに補完的」な視点セットを選択します。

3. 主要な貢献

1. 体積探索のための INR ベース特徴表現の導入: INR の出力ではなく、学習中の中間特徴量を体積探索の基盤として利用する新たなアプローチを提案しました。
2. INR の役割の拡張: 従来の体積圧縮・再構成の用途から、体積探索（TF 設計、視点推薦）へと INR の応用範囲を拡大しました。
3. 体積探索最適化 INR の設計: 空間的一貫性を強化するために、構造エンコーダと FiLM、そしてマルチタスク学習スキームを組み合わせた最適化モデルを開発しました。
4. 包括的な検証: 画像ベース TF 設計と視点推薦という 2 つの代表的なタスクにおいて、多様なモダリティ（CT, MRA, MR, シミュレーションデータ）と ROI 複雑性を持つデータセットで、既存手法を上回る効果とユーザビリティを実証しました。

4. 実験結果

4.1 定量的評価（ROI 分類精度）

• F1 スコア: 4 つのデータセット（CT-Abdomen, CT-Engine, CT-Tooth, MRA-Brain）において、NeuVolEx は明示的局所特徴量手法や暗黙的畳み込み特徴量手法を常に上回る平均 F1 スコアを達成しました（平均で局所特徴量より +0.0725、畳み込み特徴量より +0.1504 改善）。
• スクリブルの感度: 非常に少ないスクリブル（全ボクセルの 0.05% に相当する 756 点）でも、NeuVolEx は他の手法が大量のスクリブル（29,529 点）を必要とするレベルの精度を達成しました。特に MRA-Brain のような微細な血管構造の分類において、他の手法が失敗する中、NeuVolEx は高い精度を維持しました。

4.2 定量的評価（視覚化品質）

• CT-Abdomen のアブレーション研究: ベース INR 単体では構造の破綻が見られましたが、構造エンコーダ、FiLM、マルチタスク学習を順に追加することで、血管の連続性や境界の明確さが劇的に改善されました。
• 多様なデータセット: CTA-Head（造影・非造影血管の分離）、CT-Bonsai（微細な枝葉）、MR-Kiwi（種子と芯の識別）など、複雑な幾何形状を持つデータセットにおいても、NeuVolEx は微細構造を忠実に再現し、隣接領域の誤分類を最小限に抑えました。

4.3 視点推薦と計算コスト

• 視点推薦: 複雑な内部構造を持つデータ（心臓、竜巻シミュレーションなど）において、NeuVolEx は多様な ROI クラスタを網羅する補完的な視点セットを自動生成できました。
• 計算効率: 特徴学習は前処理ステップとして実行され、最大解像度のデータセット（512×512×452）でも約 15 分、VRAM 18.75GB 以内で完了しました。これは、既存の畳み込み特徴量手法がメモリ不足や数週間の学習時間を要する可能性があることと対照的です。

5. 意義と結論

NeuVolEx は、INR が持つ「連続的な体積場をコンパクトにパラメータ化する能力」を、単なる圧縮から「意味のある特徴抽出」へと転用した点に大きな意義があります。

• ロバスト性: 限られたユーザー入力（スクリブル）でも、広範な空間的相関を捉えることで、微細な構造や類似した強度を持つ領域の正確な分類を可能にしました。
• 実用性: 計算コストとメモリ使用量が現実的な範囲に収まり、インタラクティブなワークフローに適しています。
• 汎用性: 医療画像から科学シミュレーションまで、様々なモダリティと複雑さの体積データに適用可能です。

本論文は、DVR における体積探索の新たなパラダイムを示し、INR を活用したより直感的で効率的なデータ分析ツールの開発への道を開いたと言えます。将来的には、マルチモーダルデータや時系列体積データへの拡張、さらなるスケーラビリティの向上が期待されます。