Lattice theory and algebraic models for deep convolutional learning based on mathematical morphology

技術的概要：数学的形態論に基づく深層畳み込み学習のための格子理論と代数的モデル

問題定義
本論文は、深層畳み込みニューラルネットワーク（CNN）、ResNet、および UNet などのエンコーダ・デコーダアーキテクチャの内部構造を理解するための厳密な代数的枠組みの欠如に対処する。既存のアプローチは、ReLU ネットワークに対して熱帯幾何学を、スペクトルバイアスに対して調和解析を、あるいは構成的構造に対して圏論を利用しているが、これらはしばしば、使用される演算の特定の代数的性質に根ざした統一的な作用素論的基盤を欠いている。中心的な問題は、標準的な CNN パイプライン（線形畳み込み＋ReLU＋最大プーリング）が形態論的作用素（特に随伴と冪等性）の代数的性質を有するかどうかを決定し、もしそうでないならば、その振る舞いの正確な代数的理由を特定し、理論的に整合的な代替案を提案することである。

手法
著者は、主要な分析ツールとして数学的形態論と格子理論を採用する。中核となる理論的エンジンとは、完全格子上の平移不変（TI）作用素を特徴づけるマセロン・マラゴス・バノン・バレーラ（MMBB）普遍表現理論である。

手法は以下の手順で進行する：

1. 格子の同定：論文は、標準的な深層学習演算を特定の完全格子にマッピングする。具体的には、点別格子 $(\text{Fun}(E, \mathbb{R}), \leq)$、フーリエ inf-半束 $(L_n, \leq_F)$、および中央値 inf-半束 $(\text{Fun}(E, \mathbb{R}), \preceq)$ を区別する。
2. 作用素の分類：標準的な演算（畳み込み、ReLU、最大プーリング）を、これらの格子内での形態論的作用素（侵食、膨張、開き、閉じ）として分析する。
3. 随伴性の分析：論文は、演算の対が随伴（ガロア接続）を形成するかどうかを調査する。特に、畳み込みがフーリエ格子における侵食として作用し、プーリングが点別格子における膨張として作用する、標準 CNN の「クロス格子」的性質を検証する。
4. 不動点と冪等性理論：論文は、層状アーキテクチャの収束特性を分析する。ここで、冪等性（$\Phi \circ \Phi = \Phi$）を形態論的開きの定義的特徴として定義し、標準的および提案された層がこれを満たすかどうかをテストする。
5. 代数的構成：分析に基づき、冪等性と定義された随伴を確実に保証する、格子理論的諸原則に厳密に従う新しい層設計（タイプ I、II、III）を構築する。

主要な貢献

• C1. 最大積代数の同等性：論文は、正の特性マップ（例：ソフトマックス後）に対する標準的な形態論的随伴として最大積随伴（乗法的構造関数）を確立する。また、log/exp 同型を通じて、それが古典的な最大和随伴と代数的に同等であることを証明する。
• C2. 符号付き作用素のためのバノン・バレーラ表現：著者は、符号付き CNN カーネルに不可欠な非増加作用素に対して MMBB 枠組みを拡張し、バノン・バレーラ（1993）の sup 生成分解を用いる。これにより、任意の TI 作用素を侵食と反膨張の inf-結合の sup として分解する。
• C3. 畳み込みの形態論的基底：論文は、畳み込みカーネル $k$ の形態論的基底を、$\mathbb{R}^N$ における $k$ に直交する超平面と同型であると特徴づける。また、特性行列 $A_k$ と、量子化信号のための仮想基底の概念を導入し、バイナリおよび低ビットネットワークに対する正確な代数的表現を提供する。
• C4. 標準 CNN のクロス格子構造：主要な発見は、標準的な CNN パイプライン（畳み込み＋ReLU＋最大プーリング）がクロス格子作用素であるという点である。畳み込みはフーリエ格子における侵食であり、最大プーリングは点別格子における膨張である。したがって、それらの合成は、いずれの格子においても形態論的開きではなく、冪等性を持たない。この非冪等性が、標準 CNN における深さの表現力を生み出す代数的源泉であると特定される。
• C5. ReLU 随伴の非局所性：論文は、点別格子における ReLU の上随伴が大域的（非局所的）作用素（大域的に非負の関数では恒等写像、それ以外は $-\infty$）であることを証明する。これは、いかなる局所的な形態論的侵食も ReLU と随伴対を形成できないことを意味し、ReLU が標準的な形態論的開きの一部となり得ない理由を説明する。
• C6. 活性化・プーリング膨張（APD）分解：論文は、ReLU と間引きされた最大プーリングを単一の膨張作用素 $\Psi^{\text{APD}}_{R;\alpha}$ に統一する。この作用素に対する正しい大域的随伴を導出するところでは、それは区分的に一定のアップサンプリングにバイアスシフトが続くものである。
• C7. 自己双対作用素と符号付き活性化：著者は、中央値 inf-半束と自己双対作用素（否定と可換な侵食および開き）を導入する。これにより、標準的な ReLU が格子双対性を保存しない符号付き特性マップ（例：ResNet の残差）に対して、数学的に整合的な枠組みが提供される。
• C8. 3 つの冪等性層設計：論文は、真の形態論的開きである CNN 風層の 3 つのファミリーを特定し特徴づける：
  • タイプ I：純粋な最大和形態論的層（点別格子）。
  • タイプ II：スペクトルウィーナー層（フーリエ格子、極限 $\epsilon \to 0$ で冪等性を持つ）。
  • タイプ III：自己双対開き（中央値格子）。

結果とアーキテクチャ提案

• 形態論的 ResNet の収束：タイプ I 層については、論文は、冪等性により層の反復が1 ステップで不動点に収束することを証明する。対照的に、特定の近似 $F \approx \gamma - \text{id}$ がない単純な残差反復 $\Phi(f) + f$ は発散する。
• UResNet アーキテクチャ：論文は、スキップ接続が連結された特徴量ではなくトッパット残差（$f - \gamma(f)$）を運ぶ UNet の修正版であるUResNetを提案する。この設計により、デコーダは、形態論的開き中に失われた情報を代数的に補償することで、エンコーダ入力に対する正確なスケールごとの再構成を達成できる。
• 不動点集合：論文は、これらの層の不動点集合を特徴づける。タイプ I の場合、その集合は開きの像である。タイプ III（自己双対）の場合、不動点集合は否定に対して閉じており、対称的なデータ分布に適している。
• プーリングとピラミッド：最大プーリング、ストライド付き畳み込み、およびラプラシアンピラミッドは、グーツィアス・ハイマンズ随伴ピラミッド理論の下で統一され、これらがいずれも適切な格子における随伴侵食・膨張対の事例であることが示される。

意義と主張

本論文は、深層学習に対する圏論的および計算論的アプローチの両方から現在欠けている格子固有の作用素論的内容を提供すると主張する。その意義は以下の点にある：

1. 深さの代数的説明：標準 CNN が強力である正確な代数的理由を提供する。すなわち、それらの層はクロス格子合成であるため冪等性を持たないことである。合成が単純な射影ではないからこそ、深さは真の表現力を導入する。
2. 統一された言語：実務者が明示的に形態論的層を使用するかどうかにかかわらず、CNN、ResNet、UNet を格子作用素、随伴、および形態論的基底の観点から分析するための統一された言語を提供する。
3. 新アーキテクチャの理論的基盤：冪等性と正確な再構成特性を保証する標準的な設計に対する代替案として、理論的に堅固な新しいアーキテクチャ（APMO、UResNet）を提案する。
4. ReLU の明確化：ReLU が（最大和の意味での膨張ではなく）閉じであり、非局所的な随伴を持つことを厳密に実証し、これを標準的な形態論的膨張と区別し、それとの随伴形成の限界を説明する。

論文は明示的に、新しい層を計算的に設計、訓練、またはベンチマークするものではなく、形態論的ニューラルネットワークと、形態論的レンズを通して見た標準的な深層アーキテクチャの両方を支える代数的枠組みを提供すると述べている。また、標準的なトレーニングにおける勾配降下が構造関数の空間における吸引域を選択する過程として、形態論的基底の学習を暗黙的なプロセスとして位置づけている。