Expressivity of congruence-based architectures for DNNs on positive-definite matrices

技術的要約：正定値行列に対する合同変換ベースのDNNにおける表現力

問題の定式化
対称正定値（SPD）行列は、信号の相関や共分散といった二次情報をエンコードしており、科学および工学分野において遍在している。SPD行列の集合は自然にリーマン多様体を形成するため、リーマン機械学習手法の利用が可能となるが、これらのデータ向けに設計された深層ニューラルネットワーク（DNN）の表現力については、未だ十分に理解されていない。具体的には、本論文は「合同変換のような」層（BiMap層）に基づき、入力行列 $X$ を $X \mapsto WXW^\top$ へと変換する SPDNet アーキテクチャを調査している。SPDNetにおける重要な制約は、最適化の安定性を確保するために、重み行列 $W$ に対して半直交性（すなわち $WW^\top = I_p$）を課すことである。本研究の核心的な問題は、この制約が特定の活性化関数（ReEigなど）と組み合わさった際に、表現力（表現能力）を制限し、結果として深いアーキテクチャを浅いネットワークと同等にしてしまう可能性があるかどうかである。

手法
著者らは、以下の信号伝播方程式で定義される一般的なクラスのアーキテクチャを分析している：
$$X_\ell = g(W_\ell X_{\ell-1} W_\ell^\top)$$
ここで、$g$ は行列活性化関数（ReEigなど）であり、$W_\ell$ は重み行列である。研究は主に以下の2つの理論的フェーズで進行する：

1. 直交重み ($W \in O(n)$): すべての重み行列が正方かつ直交する場合、ネットワークの深さは表現力を増加させないことを著者らは証明している。彼らは、行列関数が直交行列による合同変換に対して不変であるという性質を利用している。
2. 半直交重み ($W \in St(n, p)$): 著者らは、矩形かつ半直交な行列へと分析を拡張している。彼らは、行列 $W^\top A W$ の固有値は $A$ の固有値によって制限されるというポアンカレの分離定理を活用している。このスペクトル包含性は、出力の固有値の範囲が入力の初期スペクトルの範囲を超えて拡大できないことを示唆している。

さらに、本論文はこれらの特徴抽出器と最終的な分類器との相互作用を検討している。著者らは、様々なリーマン距離（アフィン不変、ログ・ユークリッド、スタイン、ブレス・ワッサースタイン、およびユークリッド距離）と、合同変換に対する不変性をテストすることで、合同変換ベースの特徴抽出とこれらの距離との適合性を評価している。

主な貢献と結果

• 深いアーキテクチャの崩壊: 本論文は、特定の活性化関数において、重み行列に（半）直交性の制約を課すと、深いネットワークが、ネットワークの深さに関わらず単一層相当のネットワークへと崩壊することを実証している。
  • 直交の場合: $W$ が直交する場合、ネットワークは活性化関数を $L$ 回合成した単一層と等価になる。もしスカラー活性化関数 $\sigma$ が冪等（例：ReLU、ハードタンジェント）であれば、合成 $g^{(L)}$ は $g$ に簡略化され、深いネットワークは厳密に単一の隠れ層と等価になる。
  • 半直交の場合: $W$ が半直交であり、活性化関数 $\sigma$ が入力スペクトルを含む区間上で恒等写像として機能する（またはスペクトルをそのような区間へ写す）場合、ネットワークは再び単一の合同変換へと崩壊する。これは、ポアンカレの分離定理の直接的な帰結であり、この特定の条件下では、深い階層的な特徴学習に必要なスペクトルの多様性の拡大を妨げるためである。
• スペクトル多様性の喪失: 表現力の欠如は「スペクトル多様性の喪失」に起因している。半直交な合同変換は、出力の固有値を入力の固有値区間に制限する。その結果、スペクトルの拡大や修正に依存する活性化関数にとって、深さは追加の識別能力を提供しない。
• 分類器の不適合性: 本研究は、いくつかの著名なSPD間の距離（アフィン不変、スタイン、およびユークリッド距離）が、直交または可逆な行列による合同変換に対して不変であることを明らかにしている。
  • もし分類器がこれらの不変な距離（例：平均への最小リーマン距離）に依存している場合、特徴抽出器が直交重みを持つ合同変換を使用していると、データ間の距離はネットワーク全体を通じて変化しない。
  • これは、特徴抽出が不変な変換のみに依存している場合、相対的な幾何構造が強化されるのではなく保存されるため、そのような分類器は異なるクラスのデータを分離できないことを意味している。

意義と主張
本論文は、SPDNetの標準的な設計選択、具体的にはBiMap層における半直交性の制約が、特定の活性化関数に対してアーキテクチャの表現力を根本的に制限していると主張している。著者らは、この制約が、ポアンカレの分離定理によるスペクトル制約によって引き起こされる、深いネットワークが浅いネットワークに対して優位性を持たないという退化現象を招くと論じている。

さらに、本研究は、合同変換ベースの特徴抽出と、不変な計量に依存する分類器との間の決定的なミスマッチを浮き彫りにしている。特徴抽出器がデータのスペクトルおよび幾何学的構造を保持する場合（直交制約により）、不変な距離に基づく分類器は特徴抽出プロセスから恩恵を受けることができない。結論として、本論文は、将来のSPD DNNの設計において、深いアーキテクチャの表現力を回復するために、これらの制約を再考し、新しい活性化関数の探索や直交性の要件の緩和を検討すべきであるとしている。