Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference

技術サマリー：HE 対応推論のための意思決定意識型二次 ReLU 置換

問題定義
完全準同型暗号（FHE）は、復号化なしに暗号化されたデータに対する計算を可能にすることで、プライバシーを保護したニューラルネットワーク推論を実現します。しかし、FHE は本来的に加算と乗算のみをサポートするため、ReLU（$\max\{0, u\}$）のような非線形活性化関数の計算は非常に高コストとなります。既存の FHE 専用アプローチは通常、経験的な活性化区間に合わせてフィットさせた高次多項式（例：レメゼ近似またはチェビシェフ近似）を用いて ReLU を置換します。これらの手法は比較演算を回避しますが、近似誤差を制御するために高次多項式を必要とすることが多く、乗算深度、再スケーリング操作、およびレイテンシの増加を招きます。さらに、これらの手法は局所的な点ごとの近似忠実度を最適化するものであり、最終的なトップ 1 ロジットの順序を保持するというグローバルな分類目的を最適化するものではありません。

手法
著者らは、モデルの再学習なしに ReLU を共有された低次の二次多項式（$q(u) = \alpha u^2 + \beta u + \eta$）で置換する意思決定意識型フレームワークを提案します。核心的な洞察は、訓練された単一隠れ層 ReLU マルチレイヤーパーセプトロン（MLP）または凍結された特徴量上の MLP ヘッドにおいて、最終的な決定はロジットの順序に依存するということです。したがって、置換用多項式は ReLU を点ごとに近似する必要はなく、宣言された較正セットにおける最終スコアの相対的な順序を保持するだけで十分です。

手法は 2 つのフェーズで進行します：

1. オフライン係数構築：訓練済みモデルと較正セットが与えられた場合、著者らは係数 $(\alpha, \beta, \eta)$ の探索を幾何学的な実行可能性問題として定式化します。
   • 二値分類の場合：問題は、統計量 $Q(x) = \sum a_j y_j(x)^2$ と $H(x) = \sum a_j y_j(x) + b$ で定義される 2 次元空間における、2 つの持ち上げられた凸包（convex hulls）間の正マージンを持つ超平面分離器の探索に帰着されます。もしこれらの凸包が離れていれば、較正損失なしの完全な置換が可能です。最適係数は、凸包間の最も近い点のペアから導出されます。
   • 多クラス分類の場合：条件は、ペアごとのアフィンロジットマージン不等式の厳密な実行可能性となります。
   • 緩和：厳密な分離が失敗する場合（誤分類サンプルや小さなマージンによる）、著者らは縮小凸包（RCH）とラグランジュ双対ソフトマージン緩和を採用します。これらの手法は、個々のサンプルの影響をパラメータ $\mu$ によって制限するか、スラック変数を導入することで、問題を凸二次計画（QP）に変換し、高い経験的合意性を持つ実用的な係数を導出します。
2. オンライン推論：サーバーは、暗号化された入力に対して生成された多項式化された算術回路を評価します。二次置換は、活性化ごとにシフタート・シフタート乗算を 1 回のみ必要とし、高次の代替案と比較して乗算深度を大幅に削減します。

主要な貢献

• 意思決定意識型定式化：本論文は、目的を局所的な活性化誤差の最小化から、較正セットのロジット順序の一致の最大化へと転換します。これにより、最終的な分類決定を保持する限り、ReLU の点ごとの近似が拙くても、次数 2 の多項式を使用することが可能になります。
• 厳密な有限サンプル理論：二値分類器に対して、著者らは持ち上げられた凸包の正マージン分離可能性に基づき、較正損失なしの置換のための必要十分条件を確立しました。これにより、係数を見つけるための $O(n \log n)$ 計算複雑性を持つ構成アルゴリズムと、量子化許容度に関する証明が提供されます。
• 幾何学的緩和：厳密な分離が不可能な場合、本論文は厳密な理論を連続的に拡張する RCH とソフトマージン緩和を導入します。これらの手法は、証明できない場合に厳密な保持を主張するのではなく、マージン、スラック、合意率などの明示的な診断指標を備えた実用的な代理手段を提供します。
• 実装と検証：著者らはオープンソースのQUAD4FHEライブラリにパイプラインを実装しました。彼らは、生の特徴量と凍結された表現（DINOv2、Qwen3）の両方を使用して、多様なデータセット（表形式、画像、テキスト）上でアプローチを検証しました。

結果

• 精度：CKKS 方式の下で、二次置換は複数のベンチマーク（Otto、DINOv2/FGVC-Aircraft、Qwen3/MASSIVE など）において、元の ReLU モデルの平文トップ 1 精度と一致します。多くの多クラスタスクにおいて、より低次の多項式を使用しているにもかかわらず、OLA や Precise Approximation といった強力なベースラインを上回るか、同等の性能を発揮します。
• 効率性：二次置換は、活性化モジュール内で3.7〜4.1 倍高速に動作し、エンドツーエンドでは Remez-7（高次ベースライン）と比較して1.18〜1.68 倍高速です。これは、次数 2 の回路がより浅い乗算深度（Remez-7 の深度 5 に対して深度 4）に収まるため、より効率的な係数 - 法則チェーンを可能にし、再スケーリングのオーバーヘッドを削減できることに起因します。
• 頑健性：この手法は、較正プールがデータセットのわずか 1〜5% 程度であっても効果的であり、凍結された特徴抽出器を効果的に処理します。

意義と主張
本論文は、ReLU 置換を関数近似問題ではなく、意思決定保持問題として再定義することにより、最小限の計算オーバーヘッドで高精度な FHE 推論を達成可能であると主張しています。その意義は、意思決定意識型の幾何学的フレームワークを通じて選択される場合、次数 2 の多項式が高忠実度な暗号化推論に十分であることを実証し、高次多項式に伴うレイテンシペナルティを回避できる点にあります。著者らは、保証が宣言された較正セットに限定され、未見の入力に対する分布フリーの保証を提供するものではないことを強調していますが、経験的結果はテストセットへの強い汎化性能を示しています。この研究は、FHE 専用ニューラル推論における精度とレイテンシのトレードオフを最適化するための数学的に透明な道筋を提供します。