技術サマリー：画像認識のための活性化関数不要なバックボーン

問題定義

MetaFormer スタイルのバックボーンを含む現代のビジョンアーキテクチャは、非線形性を導入するために、点ごとの活性化関数（ReLU、GELU、SiLU など）と softmax アテンション内の指数関数演算に大きく依存している。これらのコンポーネントはニューラルネットワークが複雑な関数を近似することを可能にするが、非線形性の唯一の源泉ではない。本論文は、これらの活性化関数が競争力のある性能のために厳密に必要ではないと主張する。さらに、指数関数や点ごとの活性化関数といった非多項式演算への依存は、標準的なネットワークがその非多項式性により多大なコストを被るプライバシー保護計算パラダイムである完全準同型暗号（FHE）にとって、大きなオーバーヘッドを生み出している。既存の多項式ネットワーク（MONet、DTTN など）は可能性を示しているが、しばしば実用性を制限するカスタムで密結合したアーキテクチャを必要とし、同程度の計算コストにおいて活性化関数ベースの対照群の性能に追いつけていない。

手法

著者らは、既存のモジュール型ビジョンバックボーンの入出力インターフェースを維持しつつ、標準的な非線形性を多項式代替案に置き換えるフレームワークを提案する。このアプローチにより、アーキテクチャ全体を再設計することなく、多項式モジュールを MetaFormer などの確立されたフレームワークに統合できる。

中核プリミティブ

本論文は、標準的な非線形性を学習された線形射影のハダマール積（要素ごとの乗算）に置き換える、3 つの活性化関数不要モジュールを導入する：

1. PolyMLP（チャネルミキシング）：フィードフォワードネットワークにおける点ごとの活性化関数を、2 つの並列線形射影のハダマール積に置き換える：$PolyMLP(x) = W_o ((W_a x) * (W_b x))$。これにより入力特徴量に関する 2 次多項式が得られる。
2. PolyConv（空間ミキシング）：分離可能畳み込みにおける活性化関数を、異なる受容野を持つ並列畳み込みブランチを要素ごとの乗算で融合することで置き換える。具体的には、「粗い」ブランチ（拡張深度方向畳み込み）と「細かい」ブランチ（標準的な深度方向畳み込み）を組み合わせ、融合前に一方のブランチにチャネル反転を適用して特徴量の相関を除去する。
3. PolyAttn（グローバル空間ミキシング）：softmax アテンションにおける指数関数を多項式カーネルに置き換える：$A = (s \cdot QK^\top + 1)^p$。その後、$\ell_1$ 正規化を適用する。これにより、ウィンドウアテンションなどの構造バリエーションとも互換性のある、活性化関数不要なアテンション機構が実現される。

安定化技術

著者らは、ハダマール積が大きな値を増幅し、深いネットワークにおける訓練不安定化を引き起こす可能性があると特定した。最大約 200 層までのネットワークの安定した訓練を可能にするため、以下の手法を導入する：

• Sigmoid-Scale：シグモイド関数で有界化された学習可能なスカラー $\sigma(\lambda)$ を用いて残差寄与をスケーリングする（$y = x + \sigma(\lambda)f(x)$）。これにより無制限な成長を防ぐ。
• マルチ入力スキップ接続：NASNet に着想を得て、各セルが 2 つの先行セル（$x_{t-1}$ および $x_{t-2}$）から入力を受け取るようにし、勾配の流れを改善する。
• 幅より深さの設計：著者らは、より広く浅い構成ではなく、より狭い層を深く積み重ねることを推奨する。この設計は、多項式の次数が深さとともに指数関数的に増加する（深さ $L$ に対して $2^L$）という事実を活用し、パラメータの線形増加なしに表現能力を最大化する。

アーキテクチャ：PolyNeXt

これらのモジュールは、MetaFormer スタイルの 4 段階階層アーキテクチャ内でインスタンス化される。2 つの変種が提案される：

• CPolyNeXt：すべての段階で空間ミキシングに PolyConv を使用する。
• APolyNeXt：高解像度段階では PolyConv を、低解像度段階では PolyAttn を使用するハイブリッド設計。

主要な結果

モデルは、ImageNet-1K 分類、分布外（OOD）ロバスト性、および ADE20K セマンティックセグメンテーションで評価された。

• ImageNet-1K 分類：PolyNeXt モデルは、すべてのモデルスケール（Tiny から Large）において、活性化関数ベースの MetaFormer 実装（ConvFormer、CAFormer）と同等かそれ以上の性能を達成する。例えば、CPolyNeXt-S（26M パラメータ）は 83.9% の Top-1 精度を達成し、ConvFormer-S18（83.0%）および DTTN-S（79.4%）などの先行する多項式ネットワークを、より低い計算コストで 2〜3 パーセントポイントという大幅な差で上回った。
• ロバスト性：多項式バックボーンは、ImageNet-C（破損）、ImageNet-A（敵対的）、ImageNet-R（再現）、および ImageNet-Sketch において優れたロバスト性を示す。CPolyNeXt-B（40M パラメータ）は、いくつかの OOD ベンチマークにおいて ConvFormer-B36（100M パラメータ）を上回る。
• 密な予測：ADE20K セマンティックセグメンテーションにおいて、CPolyNeXt-S はパラメータ数を一致させた条件下で、ConvFormer-S18 および CAFormer-S18 をそれぞれ +2.0 および +1.7 mIoU 上回った。
• 完全多項式バリエーション：LayerNorm を（除算を避けるために実行統計を用いる）多項式互換の BatchNorm に置き換えることで、著者らは完全多項式モデルを作成した。CPolyNeXt-S（BN）は ImageNet で 82.7% を達成し、これまでにあった最良の完全多項式モデル（MONet-T BN）を 5.0 ポイント上回り、活性化関数ベースの ConvNeXt-T（82.1%）をも凌駕した。

除去実験の知見

• 活性化関数は有害である：多項式モジュールに活性化関数（GELU など）を再導入すると、一貫して性能が低下する。著者らは、ハダマール積に内在する「相互勾配結合」が乱されることに起因すると帰着する。ここで、各ブランチの勾配は他方のブランチの出力によってスケーリングされる。
• 安定化は重要である：Sigmoid-Scale またはマルチ入力スキップ接続を除去すると、性能が大幅に低下するか、訓練が崩壊する。
• レシピの感度：性能向上は、ユニークな訓練レシピではなく、モジュール設計と安定化技術に起因する。なぜなら、これらのモジュールは他のアーキテクチャに差し替えてもよく転移するためである。

意義と主張

本論文は、活性化関数が現代のビジョンバックボーンにとって表現上の必要性ではなく、最適化課題に対する解決策に過ぎないと主張する。特定のメカニズム（Sigmoid-Scale、幅より深さの設計）を通じて訓練の安定性を解決することで、多項式相互作用は効果的な非線形性の源泉となり得る。

主な貢献は以下の通りである：

1. 多項式代替案：標準的な非線形性をハダマール積に置き換えつつ、アーキテクチャの改善との互換性を維持する PolyMLP、PolyConv、および PolyAttn の導入。
2. 経験的証拠：活性化関数不要なバックボーン（PolyNeXt）が、スケール全体において精度とロバスト性の面で活性化関数ベースの対照群と同等かそれ以上の性能を達成し得ることを示す実証。
3. 安定化レシピ：深い（最大 200 層までの）多項式ネットワークの訓練を可能にする軽量な技術セット。
4. FHE の進展：非多項式演算を除去することによる完全準同型暗号互換推論への一歩。これには、先行する完全多項式ネットワークを上回り、活性化関数ベースの基準に迫る完全多項式バリエーションが含まれる。

著者らは、彼らの仕事が即座に安全性や公平性の利益を意味するものではないが、プライバシー保護推論への道を開き、深層ビジョンモデルにおける従来の活性化関数の必要性を分野全体で再評価すべきであると結論づけている。