Leak It: A Probabilistic Approach to Training-Data Extraction from Black-Box Language Models
本論文は、ROC-AUCのような集計的なメンバーシップ推論指標が、ブラックボックス型の言語モデルにおける、容量に依存する深刻な学習データの逐次的な抽出リスクを不明瞭にしていると論じ、識別子やコードを含む特定の文書が、盲目的ベースラインや重複排除に関わらず頻繁に漏洩することを実証し、そして、このプライバシーへの危害を正確に測定するために「leakit」ツールを用いた文書ごとの確率的監査フレームワークを提案するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ある特定の、秘密のレシピが使われて巨大で謎めいたケーキが焼かれたのかどうかを突き止めようとしている場面を想像してみてください。あなたはキッチンを見ることはできず、パン屋さんに材料リストを聞くこともできません。あなたにできるのは、以前見つけた小さなケーキの屑をもとに、パン屋さんにさらに数切れのケーキを作るよう頼むことだけです。もしパン屋さんが、あなたの頼みを聞くたびに毎回まったく同じ秘密の材料リストを吐き出し続けるとしたら、その秘密のレシピは確かに彼らの記憶の中にあったのだと推測できるかもしれません。これが「言語モデル」の世界です。これらはインターネット上の膨大なテキストを読み込むことで学習する、非常に賢いコンピュータプログラムです。彼らはそれらのパン屋さんのようなもので、ケーキの代わりに、文章の次の単語を予測します。
科学者たちが投げかけている大きな疑問は、「これらのデジタルなパン屋たちは、食べた特定の書籍を覚えているのだろうか？」ということです。これは「メンバーシップ推論（Membership Inference）」と呼ばれます。もしモデルがある特定の文書を記憶しているとしたら、その文書の中に隠されていた個人のメールアドレスや電話番号といったプライベートな詳細を、うっかりと吐き出してしまう可能性があるからです。長い間、研究者たちは、これらを測定するために「平均的な」テストの性能を見ることで対処しようとしてきました。彼らは「おや、私たちのテストの精度は90%です！」と言ってきました。しかし、天気予報が「概ね晴れ」と言いながら突然の危険な嵐を見逃してしまうのと同様に、これらの平均スコアは、運の悪い一部の人々に対してモデルが危険な秘密を漏洩させているという事実を隠してしまう可能性があります。
「LEAK IT」と題されたこの論文は、これらのデジタルな漏洩をどのように検知するかについて、新しい視点を提供しています。ビクター・マラカート率いる著者らは、従来のプライバシー測定の方法は誤解を招くものであると主張しています。彼らは、ある文書がトレーニングデータに含まれていたかどうかを検出すると主張する多くの「スマートな」テストが、実際にはモデルの記憶に基づいているのではなく、テキスト自体のスタイルに基づいて単に推測していただけであることを発見しました。それは、ケーキが秘密のレシピで作られたかどうかを、レシピからではなく、単にフロスティングの色を見て推測しようとするようなものです。そのフロスティングの色は、実は単なる偶然に過ぎないのに。
しかし、この論文はより危険な真実を明らかにしています。平均的なテストは無害に見えるかもしれませんが、モデルは漏洩しているのです。ただし、それは非常に特定の、少数の文書に対してのみです。研究者は、コードの一部や、実際のメールアドレスを含む文書から文章の続きを生成するようにモデルに求めると、モデルが時として、その正確でプライベートな情報を一言一句違わずに吐き出すことがあることを発見しました。それはまるで、パン屋さんが特定の珍しいスパイスについての文章を完成させるよう頼まれたとき、小麦粉のような一般的な材料については決して行わないようなことをして、突然、そのスパイスの正確なブランド名やバッチ番号を叫び出すようなものです。
この研究は、この「逐語的な抽出（verbatim extraction）」がモデルが大きくなるにつれて悪化することを示しています。69億個のパラメータを持つモデルでは、実際の識別子（メールアドレスや電話番号など）を含む文書の約16.6%が、この方法で漏洩していました。驚くべきことに、著者は、トレーニングデータから重複したテキストを単純に削除すること（一般的な安全対策）は、この現象を防ぐためにはあまり効果がないことを発見しました。また、このリスクは均等に広がっているわけではなく、一般的な物語や記事よりも、コンピュータコードにおいてはるかに高いことも示しました。
主な教訓は、平均的なプライバシー・スコアを見るのをやめ、これらの特定の高リスクな漏洩をチェックし始める必要があるということです。著者は、監査人がモデルが誤ってプライベートな秘密を明らかにしてしまう正確な瞬間を見つけられるよう、「leakit」と呼ばれる新しいツールを公開しました。彼らは、単に「モデルは概ね安全である」と言うのではなく、特定の文書に対しては、モデルが非常に効果的なメモリ・リーク（記憶の漏洩）になり得ることを認め、それを修正するために「差分プライバシー（differential privacy）」と呼ばれる特別なプライバシー・シールドのような、より強力な保護が必要であると提案しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。