The Linear Geometry of Interpretable Tokens: Jailbreaking Attacks and Defenses for Unlearned Diffusion Models
本論文は、学習解除された拡散モデルにおいて消去された概念がトークン埋め込み内のコヒーレントな線形部分空間として残留していることを明らかにし、この構造を悪用する強力なジェイルブレイク手法であるSubAttack、および生成品質を維持しながら残留する有害な概念をロバストに抑制するために部分空間を投影除去する軽量なメカニズムであるSubDefenseの開発を提示する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピュータがあなたの言葉を聞くだけで絵を描ける世界を想像してみてください。「帽子をかぶった猫」と言うだけで、目の前に完璧な画像が現れるのです。これらは「拡散モデル（Diffusion Models）」と呼ばれ、何百万枚もの写真を学習することで描き方を学んだデジタルアーティストのようなものです。しかし、時として、これらのアーティストは覚えておくべきではないことまで、あまりに完璧に覚えてしまうことがあります。もしあなたが、何か危険なものや著作権のあるものを描くよう頼んだら、彼らはそれをしてしまうかもしれません。これを修正するために、科学者たちは「アンラーニング（Unlearning：学習解除）」と呼ばれるプロセスを考案しました。これは、教師が学生に、数学のやり方や読み書きの仕方を忘れさせることなく、特定の事実（例えば国の首都など）を忘れさせようとするようなものです。目標は、コンピュータの描画能力を維持したまま、その「悪いアイデア」をコンピュータの脳から「消去」することです。しかし、ここが難しいところです。教師が「その事実を忘れなさい」と言った後でも、学生は私たちが簡単には見つけられない方法で、その事実を記憶し続ける隠し場所を持っているかもしれないのです。この論文はその謎に深く切り込み、「もし私たちが悪いアイデアを消去したと思っているなら、それは実際にはどこに隠れているのか、そしてどうすれば最終的にそれを取り除くことができるのか？」と問いかけています。
この論文の研究者たちは、拡散モデルが有害な概念（裸体や特定のアーティストのスタイルなど）を「アンラーニング」しようとするとき、実際にはそれを削除していないことを発見しました。代わりに、その概念はコンピュータのメモリ内にある「秘密の線形部分空間（linear subspace）」の中に隠れています。比喩を使うなら、コンピュータの脳が言葉の巨大な図書館だと想像してください。「裸体」についての本を取り除こうとするとき、コンピュータはその本を燃やすわけではありません。代わりに、ページの断片を切り刻み、図書館の中にある特定の目に見えない引き出しの中に隠してしまうのです。論文によれば、これらの断片は依然として整然とした予測可能な線の中に配置されています。著者たちは、この隠れた引き出しを「残留部分空間（residual subspace）」と呼んでいます。
これを証明するために、チームは「SubAttack」と呼ばれる新しいツールを作成しました。以前のハッカーたちがランダムな言葉を使ってコンピュータを騙そうとしていたのに対し、SubAttackは、その目に見えない引き出しがどこにあるかを正確に知っている熟練の司書のように振る舞います。SubAttackは、特別な一連の「魔法の鍵」（これらは通常の言葉の組み合わせです）を学習し、その鍵を使って引き出しを開けます。彼らがこれらの鍵を使用したとき、「アンラーニング」されたはずのコンピュータは即座に有害な画像を再び描き始め、概念が本当には消えていなかったことを証明しました。興味深いのは、これらの鍵が理解可能な言葉で作られていることです。例えば、コンピュータに再び「裸体」の人物を描かせるために、鍵は「奴隷（slave）」「腰（hips）」「肌（skin）」といった言葉の混合物になることがあります。これは、コンピュータが依然として、これらの関連する隠れた手がかりと「悪いアイデア」を結びつけていることを示しています。
また、この秘密の引き出しは一つのコンピュータだけに存在するのではなく、多くの異なる「アンラーニングされた」モデルに共通して存在することも判明しました。もし一つのモデルに対する鍵を見つければ、それは他のモデルにも通用することが多いのです。これは、これらのコンピュータの「忘れ方」が、全体的に非常に似通った欠陥を持っていることを示唆しています。彼らは記憶を削除しているのではなく、単に予測可能な直線に従う形で隠しているだけなのです。
しかし、物語はハッキングだけで終わりません。研究者たちがどのように概念が隠れているかを正確に理解したため、彼らは「SubDefense」という盾を構築しました。SubAttackが引き出しを開ける鍵であるならば、SubDefenseはその引き出しを溶接して閉じてしまう重い金属板です。これは、コンピュータの言葉のライブラリ全体を数学的にその秘密の引き出しから「投影（projecting）」させることで機能します。これは、司書に対して「どんな言葉を使っても、決してその特定の隠れた引き出しの方へ向かないようにしなさい」と命じるようなものです。
結果は目覚ましいものでした。SubDefenseを使用すると、コンピュータを騙すことが非常に困難になりました。ハッカーが古い手法や新しいSubAttackの鍵を使おうとしても、コンピュータは有害な画像の描画を拒否しました。同時に、コンピュータは安全で美しい絵を描く能力を失いませんでした。実際、防御後のコンピュータが描いた画像は、以前と同様に高品質でした。この論文は、概念を完全に消去することはまだできないかもしれないが、少なくともそれがこっそり戻ってくるための特定の経路をブロックすることはできると示唆しています。これは、なぜ「アンラーニング」がこれほどまでに難しいのかという理由を理解するための新しい明確な方法を提供し、これらのデジタルアーティストをすべての人にとってより安全にするための、実用的で即時導入可能な解決策を提示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。