Model Stealing Through the Lens of Model Multiplicity
本論文は、高忠実度なモデル窃取攻撃が経済的に同等な代替モデルをもたらすという仮定に対し、標的モデルと同等の精度を達成しているにもかかわらず、近最適に抽出されたモデルのラショモン集合（Rashomon Set）が公平性や堅牢性といった重要なデプロイメント特性において著しい多様性を示すことを実証することで、異議を唱えるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あるマスターシェフが、秘密の、受賞歴のあるレシピを作成するために雇われたと想像してください。ライバルシェフはそのレシピを盗もうとしていますが、材料や調理手順を見ることは禁止されています。その代わりに、ライバルシェフはマスターシェフに料理を注文し、それを試食して、その結果を書き留めることだけが許されています。
これらの試食に基づいて、ライバルシェフは料理を再現しようと試みます。
旧来の考え方：
長い間、専門家たちは、もしライバルシェフの料理がマスターシェフの料理と99%同じ味であれば、レシピの盗用に成功したと考えてきました。彼らは、ライバルシェフがオリジナルの完璧なクローンを手に入れたと想定していました。味が一致すれば、「知的財産」は失われたと考えられていたのです。
この論文の新しい視点：
この論文は、「同じ味がすること」は「同じ方法で調理すること」を意味しないと主張しています。
著者らは、オリジナルの料理とほぼ同一の味を生み出すレシピは、ただ一つだけではないと示唆しています。そこには、全く異なる材料、調理時間、あるいは技術を用いながらも、オリジナルの味とほぼ同じ味を作り出す「レシピの家族（彼らが『ラショモン集合』と呼ぶもの）」が存在するのです。
これらを分かりやすい比喩を使って説明します。
1. 「ローマへの多くの道」問題
あなたが1から100までの間の秘密の数字を当てる場面を想像してください。
- マスターシェフ（ターゲットモデル）： 数字が 42 であることを知っています。
- 泥棒（アドバーサリ）： 「40より大きいですか？」と尋ねます。マスターは「はい」と答えます。「50より小さいですか？」と尋ねます。マスターは「はい」と答えます。
- 泥棒の推測： これに基づき、泥棒は 42 と推測します。正解です！彼らは答えを盗みました。
しかし、もし泥棒が 45 や 48 と推測したらどうでしょう？
もしマスターのルールが実は「41から49の間で好きな数字を選べ」というものだったとしたら、42、45、48 はすべて等しく正しい答えとなります。これらはすべて「味見（クエリ）」を満たしているからです。
論文によれば、機械学習においてモデルを盗む際、泥棒はしばしばこのような「45」や「48」といった推測に辿り着きます。それはオリジナルの味と同じ（高い忠実度/fidelity）ですが、後で少し異なる質問をしたり、特定の個人に対して調べたりすると、泥棒のモデルはオリジナルとは全く異なる答えを出す可能性があります。
2. 「影絵」の比喩
オリジナルのモデルを、壁に鳥の影を作っている複雑な手のジェスチャーだと考えてください。
泥棒には、その影（出力）だけが見えています。彼らは、同じ鳥の影を作るための手を作ろうとします。
- 泥棒の手： 彼らは、異なる指の配置、異なる手首の角度、あるいは異なる手の大きさを使うかもしれません。
- 結果： 壁に映る影は、全く同じ鳥に見えます。
- 落とし穴： もし光が少し動いたり、あるいは（泥棒が見ていなかった）別の影を作るように手を動かしたりした場合、オリジナルの手は依然として鳥を作りますが、泥博の手はウサギや犬を作ってしまうかもしれません。
論文は、「影（予測）」が完璧に見えても、「手（内部ロジック）」はしばる非常に異なるものであることを明らかにしました。
3. 「グループの公平性」というひねり
論文は、これらの「異なる手」が異なるグループの人々をどのように扱うかについても調査しました。
マスターシェフのレシピが公平であると想像してください。それは全員に寛大な量を提供します。
泥棒のレシピは、平均的には同じ味になります。しかし、彼らが異なる手法を用いたために、あるグループには大量の料理を与え、別のグループには極端に少ない量を与えるということが、意図せず起こる可能性があります。たとえ総量は同じであってもです。
研究によれば、盗まれたモデルは書類上は完璧なコピーのように見えますが、実際には、オリジナルのモデルが行わなかったような、有害な形での「エラーの再分配」を行ってしまうことが分かりました。
彼らは実際に何をしたのか？
研究者たちは単に一つのモデルを盗んだのではありません。彼らはモデルを盗み、そして「ドロップアウト（モデルの脳をランダムに揺さぶるようなもの）」と呼ばれるテクニックを使用して、数千もの、わずかに異なるバージョンの盗まれたモデルを生成しました。
彼らは以下のことを発見しました：
- それらすべてが、オリジナルのものとほぼ全く同じ味がしました（高い忠実度）。
- しかし、細部を詳しく見ると、多くが特定の詳細において互いに食い違っていました。
- 一部のモデルは、オリジナルとは異なる方法で「不公平」でした。
結論
この論文は、モデルを盗むことは、完璧なコピーを作ることほど単純ではないと結論付けています。
盗まれたモデルが95%の確率で正解を出すからといって、それがオリジナルモデルであるとは限りません。それは、ラボ内ではうまく機能しても、現実世界では失敗したり、不当に振る舞ったりする可能性のある「似て非なるもの」かもしれません。
したがって、もしある企業が「彼らのモデルの精度が同じなので、我々は彼らのモデルを盗んだのだ」と言ったとしても、この論文はこう告げています。「ちょっと待ってください。あなたは全く別のレシピを盗んでしまったのかもしれません。そして、それは危険なことになり得ます。」
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。