技術的概要：CGF-Softmax

問題定義

準同型暗号（HE）は、復号化せずに暗号化されたデータに対する計算を可能にすることで、プライバシーを保護した機械学習を実現します。しかし、Transformer 構造の中核であるソフトマックス関数に代表される非多項式演算の実装は、厳密な非対話型 HE 環境において依然として重大なボトルネックとなっています。

標準的なソフトマックスの定式化、$\text{softmax}(x)_i = \frac{\exp(x_i)}{\sum_j \exp(x_j)}$ は、HE において以下の 3 つの主要な課題を提示します：

1. 数値的不安定性： 指数関数は急激な増大を引き起こし、オーバーフローを招きます。標準的な平文推論では最大入力値（$x_{\max}$）を減算することでこれを緩和しますが、最大値演算は HE と互換性のない複雑な比較ロジックを必要とし、高価な多項式近似を余儀なくさせます。
2. 除算演算： 正規化ステップには除算が必要ですが、HE 方式はこれをネイティブにサポートしていません。先行研究は、逆数関数に対する反復的な多項式近似（例えば、ゴールドシュミット法またはチェビシェフ多項式）に依存しており、乗算深度を劇的に増加させます。
3. 計算コスト： 指数関数および除算関数の両方に必要とされる高次多項式近似は、CKKS などのレベル付き HE 方式の限られたレベル予算を消費し、暗号文をリフレッシュするための高価なブートストラッピング操作を頻繁に必要とします。

既存のアプローチは 2 つのカテゴリに分類されます：ソフトマックス近似（高精度だが、除算/最大値により深度が高い）とソフトマックス置換（深度は低いものの、大規模モデルや複雑なベンチマークにおいて顕著な精度低下を招く）。

手法：CGF-Softmax

著者は、準同型除算と明示的な最大値減算の両方を排除するソフトマックス関数の再定式化であるCGF-Softmaxを提案します。中核的な革新は、ソフトマックスの分母を**累積母関数（Cumulant Generating Function: CGF）**を通じて解釈することにあります。

理論的再定式化

入力ベクトル $x$ が与えられたとき、著者は分母 $\sum \exp(x_i)$ を指数項のスケーリングされた標本平均として解釈します。標本平均を集合平均（期待値）に置き換えることで、分母は $n M_X(1)$ に置き換えられます。ここで、$M_X(t)$ はモーメント母関数（MGF）です。

$K_X(t) = \ln M_X(t)$ と定義される CGF を用いると、再定式化されたソフトマックスは以下のように表されます：
$$\text{softmax}_{\text{CGF}}(x)_i = \exp(x_i - K_X(1) - \ln n)$$

この定式化は 3 つの決定的な利点を提供します：

1. 最大値演算の排除： 最大値を減算する代わりに、入力を $K_X(1) + \ln n$ だけシフトします。$K_X(1)$ は低次 cumulants（平均 $\mu$ と分散 $\sigma^2$）を用いて近似可能であるため、このシフトはデータに適応的であり、比較なしに基本的な HE 演算（加算と乗算）で計算可能です。
2. 除算の排除： 正規化項は指数部に取り込まれます。結果として単一の指数関数となり、準同型除算の必要性が完全に排除されます。
3. ドメインスケーリング： この手法は自然にドメインスケーリングをサポートします。指数を $1/2^k$ でスケーリングすることで、指数関数をより小さな区間で評価し、元のスケールを $k$ 回二乗することで回復させます。これは、標準的なソフトマックスで必要とされる反復的な「正規化と二乗」プロセス（反復的な除算を含む）を回避します。

実践的実装

実用的な HE 評価において、著者は2 次 cumulant 近似を採用します：
$$K_X(1) \approx \mu + \frac{\sigma^2}{2}$$
高次項（$j \ge 3$ に対する $\kappa_j/j!$）は省略されます。著者は、階乗の分母がこれらの項を本質的に抑制し、経験的な微調整がさらに高次 cumulants の大きさを減少させるため、この近似が推論において十分な精度を持つと主張しています。

主要な貢献

1. CGF-Softmax 定式化： 準同型除算と最大値減算の必要性を排除する新規の再定式化により、乗算深度を大幅に削減します。
2. 理論的解析： 本論文は CGF-softmax の主要な性質を確立しています。
   • 正値性： 厳密に正の出力。
   • 順序およびペアワイズ比の保存： ロジットの相対的な順序と、標準ソフトマックスの正確なペアワイズ出力比（$\exp(x_i - x_j)$）を保持します。
   • シフト不変性： 標準ソフトマックスと同様に、定数シフトに対して不変です。
   • 漸近的誤差 bound： Berry–Esseen の定理を用いて、入力次元 $n$ が増加するにつれて相対誤確率的にゼロに収束することを証明しています。
3. 実験的検証： Vision Transformers（ViT/DeiT）および大規模言語モデル（LLaMA-3.2-1B）を用いた広範な評価により、計算コストの削減と高い精度を両立していることを実証しました。

実験結果

著者は、ImageNet-1k（Vision Transformers）および複数の NLP ベンチマーク（Clinc150, Banking77, SST-2）において、LLaMA-3.2-1Bモデルを用いて CGF-softmax を評価しました。

• 乗算深度： 大規模モデル（例：LLaMA-3.2-1B, ViT-Base）において、CGF-softmax は7–10の乗算深度を達成します。これに対し、先行する近似手法（例：Cho ら、EncryptedLLM）は、小規模なモデルやタスクであっても14–52の深度を必要とします。
• 実行時間： 256×256 の入力行列において、CGF-softmax は総レイテンシを Cho らの手法の107.65秒から3.25秒に削減しました。これは主にブートストラッピングの排除と暗号文乗算（CMult）の削減によるものです。
• 精度：
  • CGF-softmax は、すべてのベンチマークにおいて、正確な平文ソフトマックスのベースラインから1% 未満の範囲で推論精度を維持します。
  • 複雑なタスクで大幅な精度低下を被るソフトマックス置換手法（例：BPMax）を大幅に上回ります。
  • 高精度近似ベースラインと比較して4–6 倍少ない深度で、平文に近い精度を達成します。
• ノイズ挙動： 除算を排除することで、CGF-softmax は蓄積ノイズを低減します。深度 7 において、総ノイズは $3.05 \times 10^{-10}$ となり、より深い深度における標準的なソフトマックス定式化よりも低くなります。

意義と主張

本論文は、CGF-softmax が Transformer ベースのモデルにおける安全な推論のためのスケーラブルかつ効率的な解決策を提供すると主張しています。高い精度と大幅に削減された乗算深度を両立させることで、HE ベースのプライバシー保護機械学習（PPML）における主要なボトルネックに対処しています。

著者は、ソフトマックス置換手法が単純なタスクにおける小規模モデルには十分である可能性がある一方で、既存の置換手法が精度を維持できない大規模アーキテクチャや複雑なベンチマークには CGF-Softmax が必要であると強調しています。この手法により、LLaMA-3.2-1B のような大規模モデルに対する完全な外部委託型の非対話的推論が可能となり、高精度な HE 推論では以前は達成不可能だった計算コストで実現されます。

本論文は控えめに、比較的小規模なモデル（例：BERT）の単純なタスクにおいては、既存の低深度置換手法が依然として十分である可能性に言及しつつも、より要求の厳しいシナリオに対して CGF-Softmax が優れたトレードオフを提供すると述べています。