技術要約：リー代数における一般線形対称性のための等変ニューラルネットワーク

1. 問題提起

多くの科学的および幾何学的な問題は一般線形対称性を示しますが、現在の等変ニューラルネットワークアーキテクチャは、主にコンパクト群（例：$SO(3)$, $E(n)$）または単純なベクトル特徴量向けに設計されています。この制限により、共分散、慣性テンソル、あるいは形状テンソルのような、非コンパクトな一般線形群 $GL(n)$ の下で変換される行列値データへの適用が制限されています。

$GL(n)$等変学習における中心的な課題は、群の非コンパクト性にあります。コンパクト群とは異なり、$GL(n)$ には標準的な正定値 Ad-不変内積が存在しません。具体的には、リー代数 $\mathfrak{gl}(n)$ 上のキリング形式は、$\mathfrak{gl}(n)$ が簡約（reductive）ではあるものの半単純（semisimple）ではない（非自明な中心を含む）ため、退化しています。この退化は、安定した不変スカラー（ゲーティングや正規化に不可欠）の構築を妨げ、安定した非線形等変演算の設計を困難にします。さらに、現実世界の幾何学的入力は、ベクトル（左作用による変換）と行列（合同変換、例：$\Sigma \mapsto A\Sigma A^\top$ による変換）を組み合わせたヘテロジニアスな性質を持つことが多いです。これらの特徴量を素朴に連結するとテンソル構造が失われ、スペクトルパラメータ化は微分に対して脆弱になる可能性があります。

2. 手法：簡約リーニューロン (Reductive Lie Neurons: ReLNs)

著者らは、リー代数 $\mathfrak{gl}(n)$ の随伴作用（adjoint action）に対して厳密に等変である汎用アーキテクチャである Reductive Lie Neurons (ReLNs) を提案しています。

コアとなる革新：非退化 Ad-不変双線型形式

簡約リー代数におけるキリング形式の退化を解決するために、著者らは修正された非退化 Ad-不変双線型形式 $\tilde{B}$ を提案しています。簡約リー代数 $\mathfrak{g} = \mathfrak{z}(\mathfrak{g}) \oplus [\mathfrak{g}, \mathfrak{g}]$ （中心と半単純イデアルの直和）の場合、$\tilde{B}$ は、半単純部分上のキリング形式と、中心上の任意の Ad-不変内積を組み合わせることで構成されます。
$\mathfrak{gl}(n)$ の特定のケースでは、この形式は以下のように閉形式で与えられます：
$$\tilde{B}(X, Y) = 2n \text{Tr}(XY) - \text{Tr}(X)\text{Tr}(Y)$$
この形式は対称、Ad-不変、かつ非退化であり、原理的な非線形相互作用と不変特徴量の構築を可能にします。

アーキテクチャの構成要素

ReLNs は $n \times n$ 行列表現上で直接動作し、リー代数的なリフティング（例：速度ベクトルを $\mathfrak{so}(3) \subset \mathfrak{gl}(3)$ へ、共分散行列を対称行列へ写す操作）を通じて、ベクトルと行列を共通の機能空間へと統合します。アーキテクチャには以下が含まれます：

• ReLN-Linear: 幾何学的次元における群作用と可換である、チャネル次元に対する線形写像。
• ReLN-ReLU: $\tilde{B}$ を用いて不変スカラーゲートを計算し、等変な方向に適用される等変非線形関数。
• ReLN-Bracket: リー括弧（行列交換子）を利用してチャネル間の非線形相互作用を生成し、Ad-等変性を保持する層。
• Max-Killing Pooling & 不変層: 特徴量の集約および、$\tilde{B}$ を用いた群不変出力の生成メカニズム。

ヘテロジニアスな入力のための統一表現

ReLNs は「統一リフティング」戦略を採用しています。速度ベクトル（左作用）や共分散行列（合同変換作用）のようなヘテロジニアスな入力を、単一の $\mathfrak{gl}(n)$ 特徴空間に埋め込みます。直交フレームにおける合同変換と随伴作用の間の同型関係（具体的には $Ad_g(X) = gXg^{-1}$）の下で、両方のデータは同じ随伴作用の下で変換されます。これにより、単一のバックボーンが、個別の専門化されたアーキテクチャなしに、結合された幾何学的データを処理することが可能になります。

3. 主な貢献

1. ReLNs アーキテクチャ: 標準的なキリング形式の退化問題を解決する非退化 Ad-不変双線型形式に基づいた、厳密な $GL(n)$ Ad-等変性を備えた新しい汎用アーキテクチャ。
2. 統一リフティング: ヘテロジニアスな幾何学的入力（ベクトルと合同変換する行列）を単一の $\mathfrak{gl}(n)$ 特座空間に埋め込み、単一の随伴等変バックボーンを可能にする手法。
3. 実証的検証: 代数的ベンチマーク、不確実性を考慮した状態推定、および 3D Gaussian Splatting を含む多様な領域における実用性と効率性の実証。

4. 実験結果

著者らは、5 つのタスクで ReLNs を評価しました。

• 代数的ベンチマーク ($\mathfrak{sl}(3)$ および $\mathfrak{sp}(4)$):

  • プラトンの多面体分類: ReLNs は回転したカメラビューに対して、Lie Neurons に匹敵する極めて高い精度（99.78%）を達成しました。これは、非等変な MLP が失敗した場面（36.54%）において、堅牢性を示しています。
  • 不変関数回帰: $\mathfrak{sp}(4)$ において、ReLNs は不変誤差がほぼゼロであり、特化した Lie Neurons に匹敵する低いテスト MSE を達成しましたが、より統一的な構成となっています。

• ドローン状態推定:

  • ノイズを含む速度と共分散データから 3D 軌跡を再構成するタスクにおいて、ReLNs は非等変な ResNet や他の等変ベースライン（Vector Neurons, TFN, SE(3)-Transformer）を大幅に上回りました。
  • 最良の構成（$(v, \log C)$ 使用）は、絶対軌跡誤差 (ATE) 13.92m を達成しました（Vector Neurons は共分散入力を用いて 191.78m）。
  • アブレーション研究により、完全な簡約構造（中心 + 半単純イデアル）をモデル化することが、半単純部分のみを使用する場合よりも優れていることが確認されました。

• 3D Gaussian Splatting (3DGS):

  • Gaussian-MAE フレームワークに統合された ReLNs は、ランダムな回転下での ModelNet10 に対する分類精度 95.15% を維持しました（ベースラインは 18.28% に低下）。
  • ReLNs は、事前学習中の収束が速く、回転、スケール、密度に関する再構成誤差も低くなりました。

• EMLP 二重振り子ベンチマーク:

  • ReLNs は、複数の対称性グループ（$O(2)$, $SO(2)$, $D_6$）において、EMLP のロールアウト誤差と同等またはそれ以上の性能を示しました。
  • 効率性: 群固有の基底構築ではなく、閉形式の行列演算を使用することにより、ReLNs は EMLP と比較して 1 ステップあたりの FLOPs を約 11.18 倍削減し、推論レイテンシを 27.81 倍削減しました。

• ローレンツ等変トップタギング:

  • ReLNs は、ジェットタギングタスクにおいて、パラメータ数が一致する LorentzNet ベースラインと同等の性能を示し、特定の埋め込みを通じて非コンパクトなローレンツ群への適用可能性を実証しました。

5. 重要性と主張

本論文は、ReLNs が幅広い線形対称性を伴う学習のための実用的で再利用可能なバックボーンを提供することを主張しています。簡約リー代数におけるキリング形式に関連する安定性の問題を解決することで、ReLNs は、これまで対称性を保ったまま扱うことが困難であった行列値データ（不確実性や慣性など）の原理的な処理を可能にします。

著者らは、ReLNs が精度と効率性のトレードオフを改善し、大幅に少ないパラメータと計算量でありながら、強力なベースラインと同等またはそれを上回る性能を一貫して示していることを強調しています。このフレームワークは、一般的な線形対称性の下で、ヘテロジニアスな幾何学的属性（ロボティクスにおける速度と共分散、あるいは 3D Gaussian Splatting における平均と共分散など）を共同で処理するための解決策として提示されています。本研究は、簡約リー代数上での厳密な等変性が、構造化された 3D シーンモデルや物理システムのモデリングにおいて、実行可能かつ効率的なアプローチであることを示唆しています。