Bayesian 3D Steerable CNNs: Enabling Equivariance and Uncertainty Quantification Simultaneously

技術要約：ベイズ的3DステアラブルCNN

問題提起
ステアラブル畳み込みニューラルネットワーク（Steerable-CNN）は、畳み込みカーネルをステアラブルな基底関数の線形結合としてパラメータ化することで、SE(3)等変性を保証する強力なパラダイムとして確立されている。このアーキテクチャ上の制約は、入力の変換（例：3D回転）に対して、対応する変換された出力を生み出すことを保証し、形状認識や分子特性予測などの領域において、仮説空間を大幅に削減し汎化性能を向上させる。しかし、既存のSteerable-CNNは完全に決定論的である。これらは信頼度の尺度を伴わない単一の点推定値しか生成せず、不確実性の定量化（UQ）が不可欠な安全性が極めて重要なアプリケーション（例：医療画像、自律システム）には適していない。

ベイズ的Steerable-CNNを開発する上での主要な課題は、ネットワークの重みに素朴に確率性を導入すると、通常、等変性の特性が崩れてしまうことである。もし畳み込みカーネルがランダムにサンプリングされると、それらは一般に「インターツィナー（intertwiner）」またはステアラビリティの制約に違反し、その結果、平均値は等変であっても、得られる確率的な実現値は等変ではなくなってしまう。

手法
著者らは、カーネル行列そのものではなく、ステアラブル基底関数のスカラー係数に対して事後分布を置くことで、この矛盾を解決するベイズ的Steerable-CNNフレームワークを提案している。

1. 確率的等変カーネル: 畳み込みカーネル $K(x)$ は、決定論的で事前計算されたステアラブル基底関数 $\{\kappa_b(x)\}$（Wigner D行列から導出）の線形結合として定義される：
   $$K(x; w) = \sum_{b=1}^{B} w_b \kappa_b(x)$$
   基底関数 $\kappa_b$ は固定されており、構成上、ステアラビリティの制約を満たしている。係数 $w = (w_1, \dots, w_B)$ は確率変数として扱われる。
2. 等変性の保持: 本論文では、基底関数がステアラビリティの制約を満たしていれば、係数が決定論的であっても（確率分布からサンプリングされたものであっても）、その線形結合は等変性を維持することを証明している（命題1）。これにより、アーキテクチャの変更なしに、ステアラブルな確率的カーネルが可能になる。
3. 変分推論: モデルにはBayes-by-Backpropagationアプローチを採用している。係数に対して、平均 $\mu$ と対数分散 $\rho$ でパラメータ化された平均場ガウス変分事後分布 $q(w|\theta)$ を仮定する。モデルは、クロスエントロピー損失項と、ガウス事前分布に対するカルバック・ライブラー（KL）ダイバージェンス項による正則化項からなるELBO（Evidence Lower Bound）を最大化するように訓練される。
4. 不確実性の分解: 推論時には、$N$ 回の確率的なフォワードパスを実行する。全予測不確実性は以下のように分解される：
   • アレオリック不確実性（Aleatoric Uncertainty）: データに内在するノイズ（個々の予測の平均エントロピーによって捉えられる）。
   • エピステミック不確実性（Epistemic Uncertainty）: 限られたデータに起因するモデルの不確実性（$N$ 個のサンプル間の予測の分散によって捉えられる）。

主な貢献

• 新規のベイズ的定式化: ステアラブル畳み込みと確率的推論を統合し、厳密なSE(3)等変性を維持したまま、カーネル基底係数の事後分布を得る初の試みである。
• 理論的証明: 係数空間における確率性がインターツナー制約を損なわないことを示す形式的な証明を行い、サンプリングされたすべてのカーネルが等変であることを保証した。
  تعتبر。
• 分解可能な不確実性: 3D等変モデルに対して、分解可能な（エピステミック vs アレオリック）較正された不確実性推定を提供するフレームワーク。

実験結果
モデルは、escnnライブラリを用いたアーキテクチャを用いて、ModelNet10データセット（3D CADモデル）で評価された。

• 分類性能: ベイズモデルは**86.34%**のテスト精度を達成し、決定論的な対照モデルと同等の性能を示した。
• 較正（Calibration）: モデルは0.0263という期待較正誤差（ECE）を伴う優れた較正性を示し、予測された信頼度スコアが経験的な精度と密接に一致していることを示した。
• 分布シフトへの堅牢性: 加法的ガウスノイズの下で、ベイズモデルは決定論的なベースラインと比較して優れた堅牢性を示した。高いノイズレベル（$\epsilon_{noise} = 0.9$）において、ベイズモデルは**81.83%の精度を維持し、決定論的モデル（75.66%）を6.17%**上回った。
• 不確実性の有用性:
  • 選択的予測: 不確実性が高いサンプルを除外することで、モデルはテストデータセットの84%（不確実性が特定の閾値を下回るサンプル）において、約4%の精度向上を達成した。
  • 意味的意義: エピステミック不確実性と予測誤差の間に、統計的に有意な負のスペアマン順位相関係数（-0.3989）が見られ、不確実性が高いほど分類誤差が高くなることが確認された。
  • 不確実性の収束: 訓練中、全不確実性は着実に減少し、一方でエピステミック不確実性は一貫して低く保たれた。これは、モデルが学習された重みの分布に対して自信を持てるようになったことを示唆している。

意義と主張
本論文は、ベイズ的不確実性定量化と等変CNNの帰納バイアスを統合することを主張している。著者らは、これが単一の識別モデルにおいて、確率的推論とステアラブル畳み込みを正常に統合した最初の研究であることを強調している。その意義は、3Dドメインにおけるリスクを考慮した意思決定を可能にする点にある。モデルは幾何学的対称性を尊重するだけでなく、原理に基づいた分解可能な信頼度推定を提供する。これにより、データに固有の曖昧さ（アレオリック）とモデルの知識不足（エピステミック）を区別することが可能となり、標的を絞ったモデルの改良や、安全性が重視されるアプリケーションへの安全な展開を容易にする。本フレームワークは、3Dデータに対してSteerable-CNNを効果的にする等変性の保証を犠牲にすることなく、これらの利点を実現している。