技術的概要：SURGE：バイナリニューラルネットワークにおける代理勾配適応

1. 問題定義

バイナリニューラルネットワーク（BNN）の学習は、符号関数などの微分不可能なバイナリ化操作に対する勾配を近似することに依存している。現在の標準であるストレートスルー推定子（STE）は、逆伝播中に符号関数のゼロ勾配を恒等関数の微分値に置き換える。しかし、STE とその派生手法は、2 つの決定的な限界に苦しんでいる：

1. 勾配の不一致：固定値の勾配近似は、符号関数の真の勾配がほぼ至る所で消滅するため、推定バイアスと最適化の不安定性を導入する。
2. クリッピングによる情報損失：精度を向上させるため、STE は通常、固定範囲の勾配クリッピング（例えば、入力値が $[-1, 1]$ の範囲内でのみ勾配を保持する）を採用する。これにより、この範囲外の値に対する勾配情報が破棄され、特に活性化の量子化において、最適ではない学習をもたらす。

既存の手法は、これらの問題を緩和するために手作業で設計されたヒューリスティックな設計（例えば、区分的多項式や特定の活性化関数）に依存することが多いが、最適な勾配近似を保証したり、バイナリ順伝播と連続的な勾配流の間の根本的な不一致に対処したりすることはできない。

2. 手法：SURGE

本論文は、順伝播の出力を変更したり推論時のオーバーヘッドを導入したりすることなく、勾配の不一致を修正するように設計された学習可能な勾配補償フレームワークである**SURrogate GradiEnt Adaptation（SURGE）**を提案する。SURGE は、2 つの主要なコンポーネントで構成される：

2.1 ダルパス勾配補償器（DPGC）

DPGC は、バイナリ化された層（メインブランチ）ごとに並列のフル精度の補助ブランチを構築することで、勾配の不一致に対処する。

• アーキテクチャ：出力 $f_b(x)$ を持つバイナリ化された層に対して、DPGC は出力 $f_a(x)$ を持つフル精度のブランチを導入する。最終的な層の出力は以下のように合成される：
  $$\text{output} = f_b(x) - \text{detach}(f_{ao}(x)) + f_{ao}(x)$$
  ここで、$f_{ao}(x) = \lambda f_a(x)$ はスケーリングされたフル精度の計算であり、$\text{detach}(\cdot)$ は減算された項からの勾配流を停止させる。
• メカニズム：順伝播中、出力は標準的な BNN と同一のままとなる。逆伝播中、勾配流は 2 つのパスに分離される：
  1. バイナリパス：標準的な STE 代理勾配（$g_b$）を提供する。
  2. 補助パス：高次項を捉え、STE の 1 次近似とクリッピングによって失われた情報を補償するフル精度の勾配（$g_a$）を提供する。
• 結果：補助ブランチは、クリップされた領域を回復しバイアスを低減するために「補償勾配」を注入するが、順伝播の出力は変更されない。学習後、補助ブランチは破棄される。

2.2 適応的勾配スケーラ（AGS）

フル精度の補助パスからの大規模な勾配がメインのバイナリブランチの収束を不安定化させるのを防ぐため、SURGE は適応的勾配スケーラを導入する。

• 動的バランス：AGS は、ノルムベースのスケーリング因子 $\lambda_{AGS}$ を使用して、バイナリ勾配と補助勾配の寄与を動的にバランスさせる：
  $$\lambda_{AGS} = \eta \frac{\|g_b\|_2}{\|g_a\|_2 + \epsilon}$$
  ここで、$\eta$ は基本スケーリング係数、$\epsilon$ は安定化剤である。
• 理論的基盤：このスケーリング因子は、複合勾配と理想的な参照勾配との間の平均二乗誤差を最小化することを目的とした理論的分析（定理 5.3）から導出される。ノルム比近似により、バイナリ勾配が更新方向を支配しつつ、補助勾配が大きさ意識的な補償を提供することが保証される。

3. 主要な貢献

1. SURGE フレームワーク：BNN における勾配の不一致に対処するためにダルパス勾配補償器を採用する、新しい勾配補償戦略。学習後に補助ブランチを破棄することで、標準的な BNN 推論効率を維持する。
2. 適応的勾配スケーラ（AGS）：理論的に導出された最適なスケーリング因子に基づき、バイナリブランチと補助ブランチからの勾配寄与を動的に均衡させるメカニズム。安定した学習を確保する。
3. 最先端のパフォーマンス：広範な実験により、SURGE が画像分類、物体検出、言語理解タスクにおいて既存の手法よりも優れた性能を達成することが示された。

4. 実験結果

著者らは、4 つの標準ベンチマークで SURGE を評価した：

• 画像分類（CIFAR-10）：SURGE は、ResNet-18、ResNet-20、VGG-Small のバックボーンにおいて、ReCU、IR-Net、RBNNを含むすべての最先端（SOTA）手法を上回った。例えば、ResNet-18 において、SURGE は 93.1% の Top-1 精度を達成し、ReCU（92.8%）を凌駕した。
• 画像分類（ImageNet-1K）：
  • ワンステージ学習：SURGE 学習済みの ResNet-18 は 62.0% の Top-1 精度を達成し、RBONN（61.4%）と ReCU（61.0%）を上回った。
  • ツーステージ学習：SURGE は 66.7% の Top-1 精度を達成し、RBONN（66.5%）をわずかに上回った。
• 物体検出（PASCAL VOC）：ResNet-18 バックボーンを用いた Faster-RCNN フレームワークにおいて、SURGE は 77.0% の mAP を達成し、以前の SOTA である IDa-Det（76.5%）および実数値ベースライン（76.4%）を上回った。同時に、大幅なメモリおよび計算量の節約を実現した。
• 言語理解（GLUE）：BERT-base において、SURGE は平均スコア 72.0 を達成し、BiT（70.6）および BiBERT（63.2）を上回った。

アブレーション研究：

• DPGC を除去すると、CIFAR-10 において精度が 0.4% 低下した。
• AGS を除去すると、さらに 0.2% 精度が低下した。
• 本研究は、クリップされたものも含めてすべての活性化勾配を補償することが最良の結果をもたらすことを確認し、STE の固定クリッピングによって失われた情報を回復する必要性を裏付けた。

5. 意義と主張

本論文は、SURGE が、手作業で設計された勾配近似から、学習可能で理論的に裏付けられた補償フレームワークへと移行することで、BNN 学習における重要な進歩を表すと主張している。

• 理論的基盤：従来のヒューリスティックなアプローチとは異なり、SURGE は勾配統計のモーメントベースの分析からスケーリングメカニズムを導出しており、勾配寄与をバランスさせる原理的な方法を提供する。
• 効率性：この手法は、学習後に補助フル精度ブランチを破棄するため、推論中に追加の計算オーバーヘッドを導入しない。学習時のオーバーヘッドは modest（CNN の場合、時間約 +25%、メモリ +7.6%）であり、著者らは、大幅な精度向上を考慮すれば許容できると主張している。
• 汎用性：このフレームワークはアーキテクチャに依存せず、畳み込みネットワーク（ResNet、VGG）、物体検出器（Faster-RCNN）、トランスフォーマー（BERT）に成功裏に適用されている。

著者らは、SURGE がバイナリネットワークとフル精度ネットワークの間の性能ギャップを効果的に緩和し、精度を犠牲にすることなくリソース制約のあるエッジデバイス向けに BNN をより実用的にするものだと結論づけている。