技術的概要：安定した二値表現を学習するための複合活性化関数

問題定義

活性化関数は、予測精度、頑健性、解釈性に影響を与えるため、ニューラルネットワークの性能にとって基礎的なものである。ヘヴィサイド活性化関数（$x \mapsto \mathbb{I}(x \geq 0)$）は、計算効率、メモリ使用量、解釈性において顕著な利点を提供し、スパイクニューラルネットワーク（SNN）、二値ニューラルネットワーク（BNN）、ディープヘヴィサイドニューラルネットワーク（DHN）に理想的である一方、本質的に微分不可能である。この微分不可能性は、標準的な勾配ベースの最適化の使用を妨げる。

既存の解決策は決定的な限界に直面している：

1. 代理勾配（例：ストレートスルー推定 - STE）： これらの手法は逆伝播中に勾配を近似するが、順伝播と逆伝播の間に不一致を導入し、しばしば偏った最適化と最適ではない性能をもたらす。
2. 滑らかな代理関数（例：シグモイド）： ヘヴィサイド関数をシグモイドのような滑らかな関数に置き換えることで勾配降下法を可能にするが、特に関数を二値ステップに近似するために急峻化された場合、深刻な勾配消失に悩まされる。これは不安定な学習ダイナミクスをもたらす。

核心的な課題は、二値表現を可能にするためにヘヴィサイド関数に密接に近似しつつ、深層ネットワークの学習に適した安定した非消失の勾配フローを維持する活性化関数を設計することである。

手法：重尾部活性化関数（HTAF）

著者は、以下のように定義される新しい滑らかな複合関数である**重尾部活性化関数（HTAF）**を提案する：
$$\text{HTAF}(x|\alpha_0, \alpha_1) := \sigma(\alpha_1 \psi(\alpha_0 x))$$
ここで、$\sigma$ はシグモイド関数、$\psi$ は双曲正接関数であり、$\alpha_0, \alpha_1 \in \mathbb{R}^+$ はハイパーパラメータである。

理論的性質

HTAF の設計は、二値近似と勾配安定性の間のトレードオフを、以下の 2 つの主要なメカニズムを通じて解決する：

1. 二値近似： 理論的解析（命題 3.1）は、適切な $\alpha_0$ と $\alpha_1$ の選択により、HTAF が原点の任意に小さな近傍を除いてヘヴィサイド関数を一様に近似することを示している。
2. 重尾部勾配挙動：
   • ゼロ付近： $x=0$ における勾配は積 $\alpha_0 \alpha_1$ によって決定され（定理 3.2b）、決定境界付近での学習を促進するために大きな勾配の大きさを可能にする。
   • 尾部において： 大きな $|x|$ に対して、勾配は $C(\alpha_0, \alpha_1)\exp(-2\alpha_0|x|)$ として減衰する（定理 3.2a）。重要なのは、小さな $\alpha_0$ を選択することで、標準的なスケーリングされたシグモイド関数と比較して尾部領域での勾配減衰が著しく遅くなり、早期の勾配消失を防ぐことである。
   • パラメータ制御： 著者は、$\alpha_0$ が尾部の減衰率を制御し、$\alpha_1$ が原点における傾きを制御することを示している。この分離により、ネットワークはゼロにおいて大きな勾配を維持しつつ、大きな入力に対しては勾配が速やかに消失しないようにすることが可能になる。

応用

本論文は HTAF を 2 つの主要な領域に適用する：

1. ヘヴィサイド活性化を伴うニューラルネットワークの学習： HTAF は、SNN、BNN、および DHN の学習中にヘヴィサイド関数の代わりに使用される。これにより、代理勾配を使用せずに標準的な勾配降下法によるエンドツーエンドの最適化が可能になる。推論時には、HTAF は正確なヘヴィサイド関数に戻され、離散的でメモリ効率の良い活性化をもたらす。
2. 暗黙的概念ボトルネックモデル（ICBMs）： 著者は、概念ボトルネックモデル（CBM）の拡張である ICBM を導入する。ICBM では、特徴抽出器の最終層が学習中に HTAF を使用し、離散的で準二値の潜在表現（暗黙的概念）を誘発する。推論時には、正確な二値特徴を生成するためにヘヴィサイド関数が適用される。従来の CBM とは異なり、ICBM は事前に定義された概念アノテーションを必要とせず、代わりにデータから直接概念を学習し、それらを大規模言語モデル（LLM）によって解釈する。

主要な貢献

1. 新しい活性化関数： ゼロ付近で大きな勾配を維持しつつ、尾部領域で緩やかな勾配減衰を示す、ヘヴィサイド関数の滑らかな近似である HTAF の導入。
2. 理論的正当性： HTAF が $O(\epsilon)$ の誤差でヘヴィサイド関数を近似できることの証明と、パラメータ調整が勾配減衰を制御して安定した深層学習を可能にする仕組みの理論的示唆。
3. 代理関数なしの学習： HTAF が、SNN、BNN、および DHN の安定したエンドツーエンドの勾配ベースの学習を可能にし、予測精度と安定性において STE やスケーリングされたシグモイド（SS）などの既存手法を上回ることを示した。
4. 解釈可能なモデル： 人間の注釈なしにクラス固有の離散的な暗黙的概念を学習し、競争力のある予測性能を達成しながら解釈性を提供する ICBM の提案。

実験結果

著者は、さまざまなアーキテクチャとデータセットにわたって広範な実験を実施した：

• ヘヴィサイドネットワークの学習：
  • CIFAR-10 および CIFAR-100 において、HTAF で学習された SNN は、STE と競合する性能を達成した（CIFAR-10 において 91.0% 対 91.2%）。
  • BNN および DHN において、HTAF は STE とスケーリングされたシグモイドの両方を一貫して上回った。例えば、CIFAR-100 において、HTAF で学習された BNN は 46.1% の精度を達成し、STE（45.2%）および SS（31.3%）を上回った。著者は SS の性能不良を勾配消失に起因するとしている。
• 暗黙的概念ボトルネックモデル（ICBMs）：
  • 特徴抽出器（ResNet、WideResNet、ViT）の最終活性化を HTAF に置き換えても、CIFAR-10、CIFAR-100、CUB-200、Tiny-ImageNet における予測性能は低下しなかった。いくつかのケース（WideResNet を用いた CIFAR-100 など）では、性能が向上した。
  • クラス特異性： 解析により、ICBM によって学習された暗黙的概念は非常にクラス特異的であり、特定のクラスに対して活性化値が 0 または 1 の付近に集中することが示された（標準的なモデルとは対照的）。
  • 解釈性： 二値潜在ノードを解釈するために LLM を使用した結果、著者はデータの特徴と整合する意味的に意味のある概念（例：「生態学的ニッチ」、「嘴の形態」）を特定することに成功した。
• 大規模言語モデル（LLMs）：
  • Llama-2-7b および Qwen-3.5-9b の最後の $k$ 層の活性化関数を HTAF に置き換える実験により、HTAF は STE よりも安定した代替手段を提供し、置換層数が増加しても性能低下が小さいことが示された。

意義と主張

本論文は、HTAF が二値活性化を伴うニューラルネットワークの学習という長年の困難に対する原理的な解決策を提供すると主張している。HTAF がヘヴィサイド関数を近似しつつ尾部領域で勾配フローを維持することを理論的および経験的に示すことで、著者は以下を可能にする：

• 安定した最適化： 代理勾配が導入するバイアスや、急峻なシグモイド近似の不安定性なしに、深層二値ネットワークの学習。
• 効率性と解釈性： 予測精度を犠牲にすることなく、メモリ効率の良い離散モデル（SNN、BNN）と解釈可能なモデル（ICBM）を展開する能力。
• データ駆動型概念： 手動または AI 生成による概念アノテーションのコストと信頼性の問題を回避し、データから直接概念を学習する CBM の新しいパラダイム。

著者は、HTAF がパラメータ調整を通じて勾配消失を緩和するが、完全に排除するものではなく、ICBM における最適な概念数の決定は今後の研究における未解決の課題であると指摘している。