Algebraic Cryptanalytic Extraction on Hard-Label Neural Networks

あなたは、世界的に有名なケーキの秘密のレシピを盗もうとしていると想像してください。しかし、パティシエは生地を味わわせることも、材料リストを見せることも拒みます。あなたにできるのは、ランダムな材料をパティシエに渡し、「これはケーキですか？」と尋ねて、単純な「はい」または「いいえ」という返答を得ることだけです。これが、人工知能の世界における「ハードラベル（hard-label）」攻撃の課題です。このコンピュータサイエンスの領域では、研究者たちは、ブラックボックス型のニューラルネットワークによる最終的な「はい／いいえ」の決定を観察することによって、その中に隠された数学的構造（重みやバイアス）を逆エンジニアリングしようと試みています。長年、これは暗闇の中で巨大なジグソーパズルのピースを探すようなものでした。ピースを見つけるための巧妙なトリックはいくつか存在していましたが、それらを正しい絵の中に整理することは非常に遅く、計算量も膨大であったため、現実の世界で実行することは不可能であると感じられてきました。問題は数学が間違っていたことではなく、手がかりを整理する方法が計算の交通渋滞に陥っていたことでした。

本論文は、その交通渋滞を切り抜けるための、巧妙で新しい方法を紹介しています。著者であるZirui Chen氏とそのチームは、従来の方法が、スーパーコンピュータを使ってあらゆるパズルピースを一つ一つ他のすべてのピースと比較しているようなものだと気づきました。代わりに、彼らは「近似署名ベクトル（Approximate Signature Vector: ASV）」と呼ばれるショートカットを提案しました。これは、「もし二つのパズルピースが同じ空のセクションに属しているなら、両方とも青色であるはずだ」と気づくことに似ています。スーパーコンピュータでチェックする必要はありません。ただ、それらが同じ色合いであるかどうかを素早く見分ければよいのです。この「一瞥（ちらりと見ること）」（内積と呼ばれる単純な数学的操作）を使用することで、彼らは数千時間を要したタスクを、わずか数分間のものへと変えました。また、彼らはこのトリックを、「マックスプーリング（max pooling）」を使用する畳み込みニューラルネットワーク（CNN）という特定のAIアーキテクチャに適用する方法を見出しました。この機能は、これまでこの種の攻撃においては行き止まりとされてきたものでした。

大きなアイデア：重労働から素早い一瞥へ

物語は、2025年にCarliniらによって開発された有名な攻撃から始まります。彼らは、ニューラルネットワークから「はい／いいえ」の回答しか得られなくても、その秘密の重みを特定できることを示しました。彼らは、データのなかにある「双対点（dual points）」と呼ばれる特別な点を見つけ出すことでこれを行いました。これらの双対点を、AIの決定が「猫」から「犬」へと反転する正確な地点だと想像してください。何千ものこれらの反転ポイントを集めることで、攻撃者はAIの脳を数学的に再構築することができました。

しかし、そこには巨大なボトルネックがありました。一度、何千もの反転ポイントを手に入れたとしても、それらを分類しなければなりません。どのポイントが同じ「ニューロン」（AI内部の同じ小さな意思決定者）に属し、どれが異なるニューロンに属するのかを判断する必要があります。Carliniのチームが使用した従来の方法は、ハイテクスキャナーを使って、あらゆる靴下を他のすべての靴下と比較して、靴下を百万足分類しようとするようなものでした。理論としては成立していましたが、実際には非常に時間がかかるものでした。もし2,000個の点があれば、コンピュータは何十億回もの重い計算を行い、作業を完了するのに数週間、あるいは数ヶ月かかることもありました。本論文の著者たちは、理論は健全であるものの、実用的な実装が「計算上のボトルネック」に陥っており、それが現実世界の攻撃においては役に立たない状態であることを指摘しました。

魔法のショートカット：近似署名ベクトル

著者たちの画期的な発見は、視点を幾何学的なパズルから代数的なパズルへと変えたことでした。彼らは、これらのAIの脳がどのように構築されているかについて、二つの興味深い点に気づきました。

1. 高次元のランダム性： これらのAIが存在する広大な多次元空間において、ランダムな方向は互いにほぼ完全に垂直（x、y、z軸のように）になります。
2. 分離された特徴： 現実世界のAIは、異なるニューロンに異なることを学習するように訓練されています。あるニューロンは耳を、別のニューロンは尻尾を識別することを学習します。これらは異なることを学習するため、彼らの内部的な「重み」（それらを定義する数学）は自然と相関がなく、まるで異なる独自の方向を向いているかのようです。

これらの観察に基づき、チームは**近似署名ベクトル（ASV）**を発明しました。すべてのペアに対して重くて遅い比較を行う代わりに、各ポイントに対して素早い「署名」を計算します。もし二つのポイントの署名がほぼ同じ方向（または正反対の方向）を向いているなら、それらはほぼ確実に同じニューロンに属しています。

これは、色の違いでマーブル（ビー玉）を仕分けなければならないバッグを持っているようなものです。従来の方法は、密度が同じかどうかを確認するために、すべてのマーブルを他のすべてのマーブルと秤にかけて重さを量ることでした。新しい方法は、単に色を見ることです。もし二つのマーブルがどちらも鮮やかな赤色であれば、同じ山に入れます。秤は必要ありません。ただ、目で見ればよいのです。数学的な用語で言えば、この「見る」という行為はベクトルの単純な掛け算（内積）であり、従来の「秤」（特異値分解：SVD）と比較して、驚異的に高速です。

結果：強奪のスピードアップ

速度の差は驚異的です。著者らは、2,000個の双対点を持つ標準的なAIモデルを用いて彼らの手法をテストしました。

• 従来の方法： 重いSVD法を使用した場合、分類プロセスには約4,348時間（半年近い連続計算）がかかります。
• 新しい方法： 彼らのASV法を使用した場合、同じ作業はわずか211.9秒（約3.5分）で終了しました。

これは、およそ212倍のスピードアップです。モデルの第1層を抽出する実際の実験では、従来の方法は5.03時間を要しましたが、彼らの手法ではわずか0.04時間（約2.4分）で完了しました。第2層については、従来の方法では1週間経っても完了しませんでしたが、彼らの新しい手法は0.74時間で完了しました。

CNNのコードを解読する

本論文は、単に古いトリックを高速化しただけではありません。彼らは新しい問題を解決しました。研究者たちは、彼らの手法を「マックスプーリング」を使用する**畳み込みニューラルネットワーク（CNN）**に適用しました。マックスプーリングとは、AIが小さな数値のグループを見て、最大の値のみを保持し、残りを破棄する技術です。これはユニークな課題を生み出します。なぜなら、ネットワーク内の多くの異なるニューロンが、実は同じ「カーネル（kernel）」（同じ重みのセット）を共有しているからです。

以前の試みは「ニューロン中心（neuron-centric）」でした。つまり、どの特定のニューロンに属するかによってポイントを分類しようとするものでした。しかし、マックスプーリングの仕組み上、進展させるためには、二つのポイントが全く同じニューロンにヒットする必要がありますが、それは偶然に起こることは極めて困難です。

著者らは、**「カーネル中心（kernel-centric）」*である「高度なASV」メソッドを導入しました。彼らは「これら二つのポイントは同じニューロンに属しているか？」と問うのではなく、「これら二つのポイントは同じカーネル*に属しているか？」と問いかけました。特定の層にあるすべてのニューロンは同じカーネルを共有しているため、共通の基礎となるパターンに従っている限り、異なるニューロンからのポイントを混ぜ合わせることができます。これにより、彼らは、これまで「未解決の問題」であった、ハードラベル入力のみを用いたLeNet-5モデル（古典的な画像認識AI）の重みの抽出に成功しました。

これが意味すること

本論文は、これらの攻撃を見る数学的なレンズを変えることで、実質的に不可能であったタスクを、日常的な計算へと変えられることを証明しています。著者らは、主要なボトルネックであった「クラスタリング」のステップが、精度を損なうことなく効率的に解決できることを示しました。彼らはシミュレーションと標準的なモデルを用いた実験を通じて、結果を検証し、「近似署名ベクトル」が真の重みの信頼できるプロキシ（代理指標）であることを示しました。

本論文は、あらゆるAIセキュリティを打破したと主張しているわけではありませんが、適切な代数的なツールさえあれば、「ハードラベル」の設定がこれまで考えられていたよりもはるかに脆弱であることを証明しています。著者らは、彼らの手法が第三者によってこれらの攻撃を最適化するために使用される可能性があり、事実上、理論的な可能性と実用的な現実との間の溝を埋めるものであると示唆しています。AIセキュリティの世界において、「はい／いいえ」のインターフェースが数週間ではなく数分で逆エンジニアリング可能であることを知ることは、ブラックボックスモデルの防御がより強力である必要があるという重要な警告となります。