🤖 machine learning

Public-Decay Homomorphic State Space Models for Private Sequence Inference

本論文は、既存のホモモルフィック注意機構と比較して暗号化されたシーケンス推論を達成し、平文のベースラインと同等の精度を維持しながら、遅延と計算深度を大幅に削減する新規アーキテクチャである公開減衰ホモモルフィック状態空間モデル（HSSM）を導入する。

原著者： Luis Brito

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Luis Brito

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ある強力な AI アシスタントに秘密の質問をしたいが、アシスタントがその質問や回答を覗き見るのではないかと恐れていると想像してください。これを解決するため、質問を壊すことのできない魔法のガラス箱（これは完全準同型暗号、略して FHE）の中に封入します。アシスタントは箱を開けることなく、その内部で計算を実行でき、作業が完了すると箱をあなたに返します。あなたが箱を開けると、そこには答えが記されています。

しかし、難点があります。これらの魔法のガラス箱の中で数学を行うことは、信じられないほど遅く、疲弊する作業です。厚くて重いオーブン用手袋をはめたまま、複雑なパズルを解こうとするようなものです。AI が 2 つのデータ片を混ぜ合わせようとするたびに、膨大な作業を強いられるのです。

本論文は、これらの「秘密 AI」の脳を構築する新しい方法、公開減衰準同型状態空間モデル（HSSM） を導入します。その仕組みを、簡単な比喩を用いて説明します。

問題点：「重労働」の罠

標準的な秘密 AI（トランスフォーマーなど）では、AI が文章内の新しい単語を処理するたびに、その新しい秘密の単語を、文章の古い秘密の記憶と混ぜ合わせなければなりません。

従来の方法: あなたが重い施錠された金庫（記憶）を運んでおり、それを別の重い施錠された金庫（新しい単語）と混ぜなければならないと想像してください。あなたは両方の金庫を持ち上げ、混ぜ合わせ、結果を施錠しなければなりません。長い物語のすべての単語に対してこれを繰り返すのは、疲れ果て、遅い作業です。「重さ」（計算コスト）が積み重なっていくのです。

解決策：「公開減衰」のトリック

本論文の著者らは、作業を容易にするためにルールをわずかに変更できることに気づきました。彼らは、記憶を毎回新しい秘密と混ぜ合わせる必要がない新しい設計を提案しました。

新しい方法（HSSM）: AI が、自らゆっくりと空気を漏らす（減衰する）記憶の金庫を持っていると想像してください。この「漏れ」は、誰もが知っている公開のルールであり、秘密ではありません。
- 2 つの重い施錠された金庫を混ぜ合わせる代わりに、AI は古い記憶を少し漏らします（これは公開ルールなので簡単です）。その後、小さく新しい秘密のメモを混ぜ合わせます。
- 比喩: 小さな穴が開いたバケツだと考えてください。水位（記憶）は、毎秒自然に少し下がります（公開減衰）。あなたはそれを維持するために、新しい水（新しい秘密の入力）を小さなコップ一杯注ぐだけで済みます。毎回バケツ全体を持ち上げて、別のバケツと混ぜ合わせる必要はありません。

なぜこれが重要なのか

この「漏れバケツ」方式を用いることで、AI は最もコストが高く、重労働となる数学的演算を回避できます。

速度: 論文では、実際のコンピュータ（具体的には高性能な NVIDIA L40S GPU）でこれをテストしました。その結果、この新しい方法は、完全な文章を処理する際の従来最高水準の方法よりも約5 倍高速であることがわかりました。
メモリ: AI は、従来の AI が行っていたように、過去に見たすべての単語の巨大で成長するリストを保持する必要がないため、コンピュータのメモリを大幅に節約します。これは、成長する紙の束ではなく、単一の進行中のメモを保持するようなものです。
精度: 高速で軽量であるにもかかわらず、AI は正確に答えを導き出しました。映画レビュー（Rotten Tomatoes）や短い文（SST-2）に関するテストにおいて、秘密 AI は通常の非秘密 AI と同じ正解を得ました。

彼らが実際に行ったこと（そして行わなかったこと）

研究者たちは、特定のシステムを構築しました。

あなた（クライアント）: テキストを数値に変換し、暗号化して箱に入れるという過酷な作業を行います。
サーバー: 箱を受け取り、「漏れバケツ」の数学を実行し、箱を返します。
あなた（再び）: 箱を開けて結果を確認します。

重要な制限事項:

この論文は、箱の中で生のテキストを読み取る問題を解決したとは主張していません。テキストは箱に入れる前に、数値に変換されなければなりません。
これはまだ、大規模言語モデルのような完全な汎用チャットボットであると主張していません。これは、短いデータ系列を分析するための特定のツールです（例えば、レビューが肯定的か否定的かを分類する）。
「漏れ」（減衰）は固定された公開ルールです。もし AI が秘密に基づいて漏れ率を変更する必要がある場合、その魔法は破綻し、再び遅いものに戻ってしまいます。

結論

この論文は、AI が物事を「記憶する」方法を変更することによって、すなわち「2 つの重い秘密を混ぜ合わせる」ことから「秘密を漏らして小さな一滴を加える」ことに切り替えることで、秘密 AI をはるかに高速で実用的にできることを証明しています。これは、プライバシーの約束を保ちながら、数学という重荷を取り除く、巧妙なエンジニアリングのトリックです。

技術的概要：非公開シーケンス推論のための公開減衰準同型状態空間モデル

1. 問題定式化

本論文は、準同型暗号（FHE）下でのシーケンス推論に伴う高い計算コストに焦点を当てています。FHE は、クライアントが入力を暗号化し、サーバーが暗号文上でモデルを評価するプライバシー保護推論を可能にしますが、標準的なシーケンスモデルは厳しい制約に直面します。平文ニューラルネットワークでは日常的な操作である非多項式活性化関数、softmax、レイヤー正規化、コンテキスト全体にわたるアテンションは、乗算深度、回転コスト、暗号文の具体化（materialization）により、FHE 下では第一級のシステム制約となります。

具体的には、本論文は暗号化された選択的再帰におけるボトルネックを特定しています。単純な暗号化再帰ブロック（例えば暗号化 GRU または LSTM）では、状態更新は通常、暗号化された入力依存ゲートと暗号化された保持状態を乗算する操作（ $h_t = g_A(x_t) \cdot h_{t-1} + \dots$ ）を含みます。この暗号文 - 暗号文乗算は、各時間ステップで乗算深度を消費し、利用可能なノイズ予算を急速に枯渇させ、高価なブートストラッピングやリフレッシュ操作を必要とします。

2. 手法：公開減衰 HSSM

著者らは、再帰保持パス上で暗号文 - 暗号文乗算を回避するように設計された**公開減衰準同型状態空間モデル（HSSM）**を提案します。

中核メカニズム: 設計では、再帰減衰係数（ $a$ ）を公開/平文に固定します。状態更新式は以下の通りです：
$h_t = a \cdot h_{t-1} + g(x_t) \cdot u(x_t)$
ここで、 $h_t$ は暗号化された状態、 $a$ は公開スカラー、 $g(x_t)u(x_t)$ はローカル書き込みパスを表します。
深度の削減: 保持項（ $a \cdot h_{t-1}$ ）を暗号文 - 平文操作とすることで、再帰保持に伴う乗算深度の増加を排除します。暗号文 - 暗号文乗算が発生するのは、ローカル書き込みパス（ $g \cdot u$ ）のみであり、これは有界であり現在のステップに局所的です。
システムアーキテクチャ:
- クライアント側: トークン化、凍結された fastText 検索、トレーニング正規化されたランダム射影、クリッピング、暗号化、復号、閾値処理を担当します。
- サーバー側: 暗号化された有界射影特徴を受け取ります。公開アフィン射影を実行し、低次数の暗号化ゲート/書き込み多項式を評価し、ローカル書き込み乗算を実行し、公開減衰を用いて状態を集約します。
- 制約: モデルパラメータ（重み、減衰、射影）は公開されます。サーバーはメタデータ（シーケンス長、操作形状）を監視しますが、暗号化されたデータや秘密鍵は観測しません。

3. 主要な貢献

本論文は 4 つの主要な貢献を行います：

アーキテクチャ仕様: 公開減衰不変性を備えた最小限の HSSM ブロックを定義し、クライアント側の前処理とサーバー側の準同型評価を明示的に分離します。
記号的比較: HSSM を、トランスフォーマー様式の暗号化推論および単純な暗号化選択的再帰と比較します。HSSM が固定サイズの暗号化状態を維持し、単純な再帰の乗算深度の蓄積を回避することを示します。
実証的検証: OpenFHE（CPU）および FIDESlib（CUDA）バックエンド全体にわたる実在の FHE 結果を報告します。これには、バックエンド間および L40S GPU 測定において一貫したノイズ挙動を示す一致したレベルトレースが含まれます。
タスク品質対システムコスト: タスク精度とシステムレイテンシを分離します。これは、「玩具」特徴を回避した修復された fastText ワークフローを用いてアプローチを検証し、HE 友好型多項式アテンション機構と比較します。

4. 実験結果

評価は、有界特徴インターフェース（例あたり 512 の射影スカラー）を使用して、Rotten Tomatoes および SST-2 感情分析データセットに焦点を当てています。

精度: 暗号化された HSSM パスは平文分類と完全に一致し、Rotten Tomatoes で 0.7505 の精度、SST-2 で 0.7420 の精度を達成しました。
レイテンシと効率性:
- フルシーケンス多項式アテンションに対して、HSSM はタスク品質を一致または上回ると同時に、評価において約5 倍高速（例：評価で約 15ms 対約 75ms）です。
- キャッシュされた最終トークン多項式アテンションに対して、HSSM はより長いコンテキスト（T=16, 32）において1.34〜1.62 倍低いレイテンシを示し、より小さな論理的暗号化状態フットプリントを維持します。
リソース使用量:
- メモリ: HSSM はシーケンス長（ $T$ ）に関係なく単一の暗号化状態暗号文を保持しますが、多項式アテンションはキャッシュおよび具体化されたスコアのために $O(T)$ または $O(T^2)$ の暗号文を必要とします。ストレステストでは、HSSM が L40S GPU 上で $T=36$ までのシーケンスを完了するのに対し、具体化された二次アテンションはメモリ不足エラーにより $T=36$ で失敗します。
- 深度: 射影された HSSM は深度 8 / リング 32768で成功しますが、同様の暗号化 Q/K/V アテンションブロックは、同じシーケンス長で成功するために深度 10 / リング 65536を必要とします。
ノイズとレベル: OpenFHE および FIDESlib 上の一致したトレースは、拡張された HSSM パスが、有界特徴ワークフローにおいてブートストラッピングを呼び出すことなく、最終レベル 3で終了し、ノイズスケール次数が 2 であることを確認しています。

5. 意義と主張

本論文は、公開減衰 HSSM が、有界射影特徴からのサーバー側暗号化シーケンス推論のための実用的な FHE 共設計パターンであると主張します。

設計のレバー: 中核的な貢献は、暗号化された入力依存保持ゲートを公開/平文減衰に置き換えることが、暗号化保持パスの圧力を軽減するための測定可能なレバーであることを実証した点です。
主張の範囲: 著者らはその範囲について控えめです。彼らは以下を主張していません:
- 準同型トークン化または埋め込み検索。
- モデル非公開の重み（重みは公開されます）。
- 正確な softmax、完全なトランスフォーマーブロック、または生産規模の言語モデルサービング。
- 悪意のあるサーバーやサイドチャネル攻撃に対するセキュリティ。
結論: 結果は、有界特徴推論において、公開減衰 HSSM が具体的なトレードオフを提供することを確立しています。すなわち、固定状態の暗号化計算による非玩具タスクの有用性の達成、フルシーケンスアテンションよりも低いレイテンシ、および論理状態の成長の削減を、ブートストラッピングなしで管理可能な FHE 深度予算内で実行することです。