技術的概要：投影に基づく正則化による近似等変性

問題定義

等変性は、化学、物理学、ロボティクスなどの分野において、汎化性能と物理的整合性を向上させる強力な帰納的バイアスとして機能する。しかし、厳密な等変性は重大な制約と計算コストを課す。AlphaFold-3 などのモデルに代表される最近の傾向は、より柔軟な特徴パラメータ化と広範な探索空間を活用するために非等変性アーキテクチャへ移行しており、これによりより良い極小値が得られる場合がある。さらに、現実世界のデータは、厳密な等変性モデルでは捉えきれない不完全または破れた対称性を示すことがよくある。

既存の「近似等変性」へのアプローチは、一般的に以下の 2 つのカテゴリーに分類される：

1. サンプリングベースの手法：これらは、ランダムにサンプリングされた群変換（例：データ拡張や点ごとのペナルティ）を用いて等変性からの逸脱を罰する。柔軟ではあるが、サンプルごとの追加のフォワードパスの必要性により、高いサンプル複雑性と計算オーバーヘッドを伴う。
2. 明示的なパラメータ化：これらのモデルは、ネットワークを等変性成分と非等変性成分の和として明示的に構造化する（例：残差経路）。これはしばしば等変性部分の二重パラメータ化をもたらし、モデルの複雑性を増大させる。

等変性の利点を維持しつつ、その完全な制約やサンプリングベースの正則化子のランタイムコストを招くことなく、不完全な対称性を効果的に処理する中間的な方法が必要とされている。

手法

著者らは、投影に基づく正則化（Projection-Based Regularisation）を提案する。これは、サンプルレベルではなく演算子レベルでニューラルネットワークを等変性へと正則化するフレームワークである。核心的なアイデアは、ネットワークの線形層を等変性成分と非等変性成分に直交分解することにある。

理論的枠組み

$H$ を $G$-モジュール間の線形写像の仮説クラスとする。著者らは、線形写像 $T$ を $G$-等変写像の部分空間 onto 射影するG-平滑化演算子（レイノルズ演算子）$P(T)$ を利用する：
$$P(T) = \int_G \pi'(g)^* T \pi(g) \, d\lambda(g)$$
ここで、$\lambda$ はコンパクト群 $G$ のハール測度である。

補題 2.1 によると、任意の写像 $T$ は、等変性成分 $P(T)$ と非等変性（反対称）成分 $T - P(T)$ に一意に分解できる。著者らは、等変性からの最大逸脱を等変性欠損 $E(T)$ として定義する。彼らは（補題 3.2 において）、等変性部分空間への距離 $\|T - P(T)\|_\mu$ が定数によって有界であり、等変性欠損 $E(T)$ と量的に同等であることを証明する。

正則化目的関数

タスク固有の損失 $L_{task}$ に対する学習目的関数は以下のように修正される：
$$L = L_{task}(T) + \lambda_G \|P(T)\|_\mu^2 + \lambda_\perp \|T - P(T)\|_\mu^2$$
ここで、$\lambda_\perp$ は非等変性成分にペナルティを課し、モデルが等変性部分空間に整合するように促す。$\lambda_G$ は等変性部分の正則化を制御する。

フーリエ空間を通じた効率的な計算

$P(T)$ を効率的に計算すること、特に空間領域での積分が非現実的な連続群（例：$SO(n)$）に対しては、主要な課題である。著者らは、この射影をスペクトル（フーリエ）領域で実行するためにペーター・ウェーリーの定理を活用する：

1. 分解：線形演算子を、群の既約表現（irreps）に対応する周波数ブロックに分解する。
2. ブロック対角化：シュールの補題により、等変性写像は周波数領域においてブロック対角となる（同等の irps のみを混合する）。
3. 射影：射影 $P(T)$ は以下によって計算される：
   • 対角外ブロック（$\pi \neq \sigma$ となるもの）をすべてゼロにする。
   • 対角ブロック内で平均化し、インタートワイナー空間 onto 射影する。
4. 再構成：逆フーリエ変換により、空間領域における射影された重みが得られる。

このアプローチは、サンプリングなしで正確な閉形式の射影を可能にし、有限群（直接平均による）と連続群（スペクトルマスキングによる）の両方に適用可能である。

主要な貢献

1. 理論的正則化：線形演算子の非等変性成分にペナルティを課すことで、一般的な機械学習モデルを厳密な等変性へと正則化する、理論的根拠に基づいたアプローチ。
2. 演算子レベルのペナルティ：点ごとの逸脱にペナルティを課すサンプリングベースの手法とは異なり、この手法は群軌道全体にわたる非等変性を演算子レベルで罰する。
3. スペクトル効率：フーリエ領域で射影を正確かつ効率的に計算するフレームワークにより、サンプリングのオーバーヘッドなしに $SO(n)$ のような連続群への適用を可能にする。
4. 実証的検証：既存の近似等変性アプローチと競争力のあるタスク性能を達成しつつ、大幅なランタイムの向上を提供することを示した。

実験結果

著者らは、3 つの異なる実験設定でこの手法を評価した：

1. 学習された SO(2) 不変性（玩具問題）：

   • 点群を用いた二値分類タスクにおいて、$\lambda_\perp$ の調整により学習される不変性の度合いを成功裡に制御した。
   • 対象関数に角度摂動（対称性の破れ）が含まれる場合、正則化モデルは対称性が成立する領域では不変性を維持しつつデータに適合するように適応し、調整可能なバイアスを示した。

2. 不完全な対称性を持つ動的システム：

   • 並進、回転、スケーリングの対称性が破れた煙の移流 - 拡散シミュレーションに適用した。
   • 投影ベースの正則化子（+Reg）は、回転およびスケーリング領域において、ベースライン（標準 CNN、等変性 CNN、RPP、Lift）と比較して一貫して汎化性能（Future および Domain 設定）を向上させ、対称性が既に良好に整合している領域では性能を維持した。

3. CT スキャン金属アーチファクト低減（MAR）：

   • AAPM CT-MAR データセットにおいて、サンプリングベースの正則化子（Bai et al., 2025）および残差経路事前分布（RPP）と比較した。
   • 性能：投影ベースの手法は、テストされたすべてのアーキテクチャ（ACDNet、DICDNet、OSCNet）において、競争力のある、あるいは優れた再構成品質（PSNR/SSIM）を達成した。
   • 効率性：この手法はサンプリングベースの正則化子よりもスループットにおいて大幅に優れていた。群サンプリングのための追加のフォワードパスを回避するため、より大きなバッチサイズ（サンプリングベースの 4 に対して 12）を可能にし、エポック時間を 42〜61% 短縮した。また、RPP よりも少ないパラメータとメモリを必要とした。

4. MedMNIST（3D 生体医学分類）：

   • 回転対称性の度合いが異なる 3D タスク（結節、血管、臓器）で評価した。
   • この手法は高い精度を達成し、部分的に等変な SCNN（P-SCNN）や RPP をしばしば上回った。
   • 効率性：比較対象のすべてのモデルの中で、最も高いトレーニングおよび推論スループットを示し、エポック時間が最も短く、RPP よりも大幅に少ないパラメータ数を必要とした。

意義と主張

本論文は、投影に基づく正則化が有利な精度と効率性のトレードオフを提供すると主張する。スペクトル射影を通じて正則化をサンプルレベルから演算子レベルへ移行させることで、この手法は：

• 推定量の分散を排除する：サンプリングノイズなしでペナルティを正確に計算する。
• 計算オーバーヘッドを削減する：サンプリングベースの手法が要求する追加のフォワードパスを回避し、より大きなバッチサイズと高速なトレーニング/推論を可能にする。
• アーキテクチャ非依存である：一般的なレシピは、射影が導出可能であれば（線形演算子の場合、これは直感的である）、線形層を持つ任意のモデルに適用できる。
• 不完全な対称性を処理する：データ分布がそれを要求する際に厳密な制約を緩和しつつ、有益な帰納的バイアスを犠牲にすることなく、モデルが適切な等変性の度合いを学習することを可能にする。

著者らは、このアプローチが、厳密な等変性アーキテクチャと計算コストの高いサンプリングベースの正則化の両方に対する、堅牢でスケーラブルな代替手段を提供すると結論付けている。特に連続対称性群に対して有効である。