💻 computer science

Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models

本論文は、ホモモルフィック暗号化フレームワーク内での大規模言語モデルの展開を可能にするため、ReLU 活性化関数に対するカーネルベースの二次多項式近似を提案し、それによって復号化なしの安全かつプライバシーを保護する推論を促進する。

原著者： Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

公開日 2026-05-25

📖 1 分で読めます☕ さくっと読める

原著者： Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

友人に秘密のメッセージを送りたいが、郵便配達人を信頼できないと想像してみてください。そこで、メッセージを施錠された箱（暗号化）に入れて送ります。問題は、友人がメッセージを読んで何か行動を起こす必要があるものの、鍵なしには箱を開けられず、開けてしまえば秘密は漏れてしまうことです。

準同型暗号（HE） は、魔法の施錠箱のようなものです。これにより、友人は箱を一度も開けることなく、箱の内部で計算を実行できます。数字を加えたり掛けたりすることができ、最終的に箱を開けたときに中身の結果は依然として正しいままです。これは、特に人工知能（AI）にとってプライバシーの面で画期的なことです。なぜなら、企業はあなたの個人データ（健康記録や個人的なチャットなど）を、生データそのものを一度も見ることなく分析できるからです。

しかし、落とし穴があります。この魔法の施錠箱が理解できるのは加算と乗算だけです。「思考」や「判断」は理解できません。

問題：「ReLU」ゲート

深層学習モデル（チャットボットなどの現代の AI の頭脳）は、ReLU（Rectified Linear Unit：整流線形ユニット）と呼ばれる特別なスイッチに依存しています。ReLU をクラブの用心棒と想像してください。

数字が正（VIP）の場合、用心棒は通過させます。
数字が負（VIP ではない）の場合、用心棒は完全に阻止します（ゼロにします）。

この「用心棒」の振る舞いは、AI が複雑なパターンを学習するために不可欠です。しかし、用心棒が「止めるか通すか」の判断を下す必要があるため、これは非線形でギザギザした関数となります。魔法の施錠箱（HE）は、加算と乗算という滑らかで単純な数学しか好まないため、このようなギザギザした判断処理を扱うことができません。

解決策：滑らかな「偽物」の用心棒

この論文の著者たちは、施錠箱が理解でき、かつ元の用心棒と全く同じように振る舞う滑らかで丁寧な代用品に、ギザギザした用心棒を置き換えることを目指しました。

彼らは以下の 2 段階のプロセスを用いました。

ステップ 1：「スムージー」メーカー（カーネル近似）
まず、ギザギザした用心棒を直接近似するのは乱雑だと気づきました。そこで、「カーネル」法（物事を滑らかにする数学的ツール）を用いて、ギザギザした ReLU を滑らかな曲線の丘に変換しました。ギザギザした岩を砕いて、滑らかで丸い小石にするようなものです。この小石は遠くから見れば岩のように見えますが、扱いがはるかに容易です。
ステップ 2：単純な数学のトリック（多項式回帰）
滑らかな丘ができたら、それを加算と乗算だけで記述する必要があります。彼らは異なる複雑さのレベルを試しました。
- 低次数（単純）： 単純な曲線（放物線など）。
- 高次数（複雑）： 多くのねじれを持つ、非常に波打つ複雑な曲線。
意外な発見： 彼らは複雑で波打つ曲線の方が正確になると予想していました。しかし、実際には単純な 2 次曲線（単純な U 字型） が勝者であることが判明しました。
- なぜか？ 複雑な曲線はあまりにも「揺らぎ」が多すぎたからです。暗号化された数学の世界では、ねじれが多すぎると「ノイズ」（雑音）が蓄積し、最終的に信号を飲み込んでしまいます。長い曲がりくねったトンネルを通して秘密をささやくようなものです。トンネルがあまりにも曲がりくねっていると、音は失われてしまいます。単純な曲線は、メッセージを明確に保ち、計算を高速にしました。

彼らがテストしたもの

研究者たちは紙の上だけでこれを完了させたわけではありません。彼らは実際のシナリオでこの「滑らかな用心棒」をテストしました。

データ上で： 事前学習済み AI モデル（RoBERTa や DistilBERT など）からの実際のテキストデータを入力し、元の用心棒の振る舞いを模倣できるか確認しました。
AI モデル上で： 単純なネットワーク、画像認識、複雑なトランスフォーマーなど、さまざまな種類の AI 頭脳において、実際の ReLU を新しい「滑らかな用心棒」に差し替えました。
施錠箱の中で： 準同型暗号の施錠箱内ですべてを実行し、速度と結果の精度を評価しました。

結果

精度： 彼らの単純で滑らかな用心棒は、本物とほぼ同等の性能を発揮し、以前の研究で見つかった他の「滑らかな」試みよりもはるかに優れていました。
速度： 彼らの解決策は数学的に単純だったため、驚くほど高速でした。複雑な高次数曲線を使用しようとした他の手法は、暗号化された施錠箱内で動作する際、最大で100 倍遅いものでした。
プライバシー： 適切な種類の単純な数学を使用すれば、精度を大きく損なうことなく、暗号化されたデータ上で複雑な AI タスクを実行できることを、彼らは成功裏に証明しました。

結論

この論文は、AI をプライバシーに配慮したものにするための巧妙な方法を導入しています。「用心棒」関数を滑らかにし、単純で低複雑度の曲線に置き換えることで、AI が施錠箱の中で、鍵を壊したりプロセスを遅くしたりすることなく動作できるようにしました。これは、時として最も単純な解決策が最も強力なものであるという教訓です。

技術概要：準同型暗号互換のプライバシー保護型深層学習モデルのためのカーネルベース ReLU 近似

1. 問題提起

大規模言語モデル（LLM）および深層学習（DL）の広範な普及により、特に機密性の高いユーザーデータ（例：医療情報）の平文処理に関するプライバシー懸念が高まっている。準同型暗号（HE）、特に CKKS などの方式は、復号化なしに暗号化されたデータに対する計算を可能にすることで、この課題への解決策を提供する。しかし、HE は本質的に加算と乗算の演算に限定される。これにより、非線形活性化関数（例：整流線形ユニット、ReLU）に大きく依存する標準的な DL 構造との重大な非互換性が生じている。

ReLU 関数は $ReLU(x) = \max(0, x)$ と定義され、非滑らか（ゼロにおいて微分不可能）である。HE における乗算深度の最小化に必要な低次多項式で、このような非滑らかな関数を直接近似すると、重大な近似誤差が生じる。既存の手法（ $x^2$ 関数や高次のチェビシェフ多項式など）は、負の入力に対するゼロ化挙動を捉えられないか、暗号化環境での展開時に計算コストの増大や不安定性（例：ルンゲ現象）をもたらす。

2. 手法

本論文は、高い忠実度と低い乗算深度で ReLU の挙動を模倣する、HE 互換の二次多項式を生成するために設計された、2 段階のカーネルベース ReLU 近似手法を提案する。

カーネル回帰による平滑化: ReLU の非滑らかさに対処するため、著者らはまずカーネルベースの手法を用いて関数を滑らかな近似に変換する。具体的には、入力データ上で学習させた双曲線正接カーネル（ $k(x, x') = \tanh(\langle x, x' \rangle + 1)$ ）を採用する。このステップは、ジャクソンの定理が示唆するように、より滑らかな関数ほど多項式による近似が高精度に行えるという原理を利用している。
多項式フィッティング: 学習済みカーネル関数の出力を、最小二乗法（OLS）回帰を用いて二次多項式（ $p(x) = a_0 + a_1x + a_2x^2$ ）で近似する。
データソース: この手法は、Stanford Sentiment Treebank（SST-2）データセットを用いて、事前学習済み LLM（RoBERTa および DistilBERT）から抽出されたトークン埋め込みに対して直接学習・評価される。これにより、近似は合成分布ではなく、現実世界の NLP データに基づいていることが保証される。
次数の選択: 著者らは多項式の次数 2 から 5 を体系的に評価した。その結果、高次は理論的にはより良い適合度を提供するものの、CKKS 方式における乗算深度の増加とノイズ増大により、暗号化ドメインでは不安定性と指数関数的に高い誤差率をもたらすことが判明した。したがって、精度と計算効率の最適なトレードオフとして、二次多項式が選択された。

得られた最終的な多項式は以下の通りである：
$p(x) = 0.082261 + 0.495588x + 0.444488x^2$

3. 主要な貢献

新規近似戦略: HE の制約に特化し、カーネルベースの平滑化技術に低次多項式フィッティングを組み合わせた手法の導入。
現実世界での検証: 合成データへの依存や分類精度を通じた間接評価に頼ることが多かった先行研究とは異なり、本手法は事前学習済み LLM からの実際のトークン埋め込みを用いて学習・評価されている。
包括的なベンチマーク: 提案手法は、近似誤差（MSE）、モデル精度（FeedForward、CNN、ViT）、計算コストという複数の次元において、 $x^2$ 、FasterCryptoNets、チェビシェフ多項式（次数 3 および 5）を含む確立された近似手法と厳密に比較された。

4. 結果

評価は、平文および暗号化（CKKS）環境の両方を網羅する 6 つの実験シナリオにおいて実施された。

近似精度: カーネル多項式手法は、平文および暗号化環境の両方で、高次多項式が示した顕著な不安定性（例：次数 5 で MSE > 390）と比較して、最低の平均二乗誤差（MSE）（0.056862）を達成した。RoBERTa および DistilBERT の埋め込みを用いた構造化データテストにおいて、提案手法は MSE 0.002 を維持し、 $x^2$ や FasterCryptoNets を上回った。
モデル性能:
- DL モデル: MNIST データセット上の FeedForward および CNN 構造において、カーネル多項式はそれぞれ 99% および 99.2% の精度を達成し、最高性能の FasterCryptoNets（99.3%）と同等かやや低い結果となった。
- トランスフォーマー: CIFAR-10 および CIFAR-100 上の ViT 構造において、本手法は強い汎化性能を示し、CIFAR-100 で 38.5% の精度（テストされた手法中最も高い）を達成した。一方、チェビシェフ -5 などの高次近似は低い性能を示した。
暗号化環境での性能:
- 精度のギャップ: 提案手法は、平文実行と暗号化実行の間の精度ギャップ（29.3%）が最も小さく、チェビシェフ -3（35.3%）およびチェビシェフ -5（33.6%）を上回った。
- 計算効率: 二次多項式は顕著な速度優位性を提供した。カーネル多項式の総実験時間は 1,864 秒であったのに対し、チェビシェフ -5 は 11,348 秒を要し（約 109 倍の遅延）、CKKS における高次多項式に伴う急速なノイズ増大を防ぐため、低い乗算深度を維持した。

5. 意義と主張

本論文は、提案されたカーネル多項式手法が、LLM および DL モデルにおけるプライバシー保護推論のための堅牢かつ効率的な解決策であると主張する。その意義は以下の点にある。

ギャップの埋め合わせ: 暗号化実行と非暗号化実行の間の性能ギャップを効果的に埋め合わせ、高次近似で見られたような深刻な精度低下なしに、プライバシーに敏感な NLP 環境でトランスフォーマーのような複雑なモデルを展開することを可能にする。
最適なトレードオフ: 本研究は、滑らかなカーネルベース関数に対しては、低次多項式（特に次数 2）が、高い分類精度と低い計算コストを維持しながら、極めて低い近似誤差を達成し得ることを示している。これは、HE の文脈における近似において高次多項式が本質的に優れているという仮説に挑戦するものである。
実用性: 乗算深度を最小化することで、「プライバシーのコスト」（レイテンシとノイズの蓄積）を削減し、高スループットかつ安全な推論アプリケーションの実現可能な候補とする。

著者らは、将来の研究が適応型ハイブリッドモデルやハードウェアアクセラレーションを検討する可能性があるものの、現在の手法は、非線形活性化関数を準同型暗号互換の深層学習パイプラインに統合するという重要な課題を成功裡に解決したと結論づけている。