Pervasive Backdoor Vulnerabilities in Genomic Foundation Models
本論文は、ゲノム基盤モデルが、ファインチューニング時における短いDNAモチーフを用いた小規模なデータ・ポイズニングを通じて、クリーンなタスクにおいては堅牢性を維持しつつも、広範なバックドア攻撃に対して非常に脆弱であることを示し、トリガーに関する事前の知識なしにそのような脅威を検出するための新しい2段階の監査フレームワークを提案するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
ヒトゲノムはしばしば、生命がいかにして自らを構築し維持するかを規定する、4文字の化学コードで書かれた膨大な指示書のコレクション、すなわち「図書館」に例えられる。近年、科学者たちはこの図書館を読み解くために、「基盤モデル」として知られる強力なコンピュータシステムを訓練し始めている。これらのシステムは、数百万ものDNA配列から学習することで、遺伝子がどのように機能し、どのように制御され、コードの変化がいかに疾患につながるかを理解する。これらは生物学者にとって不可欠なツールとなりつつあり、遺伝的変異の解釈や、新しい生物学的配列の設計を支援している。しかし、図書館が、書架の中に偽造されたテキストの数ページを忍び込ませる者によって破壊され得るのと同様に、これらのデジタルシステムもまた、特定の種類のデジタル的な工作に対して脆弱である。もし攻撃者が、モデルを訓練するために使用されるデータの極めてわずかな部分を密かに改ざんできれば、隠されたコマンドを植え付けることができる。このコマンドは「バックドア」と呼ばれ、あらかじめ選ばれた特定のパターンを持つDNAに遭遇するまで、休眠状態にある。そのパターンが現れると、モデルは通常の学習内容を無視して攻撃者の指示に従い、それ以外のすべてに対しては正常に振る舞いながら、特定の誤った結果を出力するようになる。
ある研究チームは、これらの新しいゲノムモデルが実際にどの程度脆弱であるかをテストすることを試みた。彼らは、この隠された工作が、異なる種類のモデル、異なるサイズ、そして様々な生物学的タスクにおいて機能するかどうかを知りたかった。そのために、彼らは5,000万から70億のパラメータを持つ3つの異なる系統のゲノム基盤モデルを取り上げ、厳格なテストに供した。彼らは、訓練データの中に植え込むための2種類の隠されたトリガーを作成した。1つ目のタイプは、自然な遺伝物質のように見えるよう、短い一般的なDNA断片を繋ぎ合わせて精巧に構築された合成配列である。2つ目のタイプはより巧妙なもので、ゲノローム内を自然に移動する「跳躍遺伝子（トランスポゾン）」に見られる構造的パターンである「末端反転反復配列」を用いた。これらの生物学的パターンが選ばれたのは、それらがすでに自然界の一部であり、外部からの侵入者として見抜かれにくいためである。研究者たちは、これらのトリガーを含む訓練データのわずか5パーセントを「毒入れ（ポイズニング）」し、そのトリガーを含む配列はすべて特定の誤ったカテゴリに分類されるようモデルに指示した。
結果は衝撃的であり、かつ懸念すべきものであった。モデルは驚くべき効率で隠されたコマンドを学習した。研究者が毒入れされたモデルを特定のトリガーを用いてテストしたところ、システムは攻撃者が選択した結果を、しばしば99パーセントを超える成功率で予測した。これは、モデルが5,000万パラメータの小規模なシステムであっても、70億パラメータの巨大なシステムであっても同様であった。モデルのサイズは、この攻撃から守ってはくれなかった。大規模なシステムは、小規模なシステムと同様に、この攻撃に対して脆弱であった。さらに、モデル自体は壊れなかった。隠されたトリガーを見ていない時には、精度をほとんど損なうことなく、通常の業務を継続した。モデルは、標準的なテストにおいては、遺伝子の機能や調節要素を正しく識別するなど、完璧に機能しているように見える一方で、特定のDNAパターンが現れた瞬間にその挙動を反転させる隠れたスイッチを秘めていることができた。この隠密性こそが、この脅威を危険なものにしている。モデルは健康的で信頼できるように見えながら、攻撃者が意のままに切り替えられる隠されたスイッチを内蔵しているのである。
研究者たちはまた、トリガーの起源が重要ではないことも発見した。隠されたコマンドが純粋に人工的な配列であっても、あるいは自然界の跳躍遺伝子から借りてきたパターンであっても、モデルは等しくそれに従うよう学習した。重要なのは、トリガーの生物学的な複雑さではなく、単にモデルがそのパターンを学習中に十分な回数目にし、誤った答えと関連付けられたという事実であった。わずか6つの化学文字からなる非常に短いトリガーであっても、システムを侵害するには十分であったが、長いトリガーの方が攻撃の信頼性は高まった。このことは、この脆弱性が、モデルをより大きく、より複雑にすれば解決できるような単純な欠陥ではなく、モデルがデータから学習する際の根本的な特徴であることを示唆している。
これらの攻撃が外部から検知することが極めて困難であることを認識し、チームはモデルを監査するための新しい方法を開発した。彼らは、隠されたトリガーがどのような形をしているかを推測しようとするのではなく、モデル自身にその思考プロセスを説明させた。彼らは一つのDNA配列を取り上げ、一文字ずつ変化させながら、モデルの予測がどのように変化するかを観察した。通常の健全なモデルであれば、一文字の変化は小さく、あるいは予測可能な影響しか与えない。しかし、毒入れされたモデルでは、システムはその隠されたトリガーの特定の箇所に対して過敏に反応する。もし特定の場所の一文字を変えただけで、モデルが完全に考えを変えてしまうならば、その箇所は疑わしいものとしてフラグが立てられる。研究者たちは、この感度テストを、膨大な既知のDNA配列データベースとの照合と組み合わせた。もし配列がモデルの挙動によって「疑わしい」と判定されても、それが既知の自然な配列と完全に一致していれば、それは安全である可能性が高い。しかし、もしモデルが既知の自然なパターンと一致しない配列に対して異常な反応を示した場合、それは毒入れされたサンプルである可能性が非常に高い。
この二段階のプロセスは、極めて効果的であることが証明された。テストにおいて、この手法は、毒入れされた配列のほぼすべてを特定することに成功し、クリーンなデータに対する誤検知を回避した。この手法は、テストされたすべての異なるモデルタイプおよびタスクにおいて機能し、この脆弱性が広範囲にわたるものである一方で、攻撃者のトリガーがどのような形をしているかを知らなくても検出可能であることを証明した。研究の結論として、これらのゲノムモデルが生物学的研究や医学の中心となるにつれ、それらを訓練するために使用されるデータの安全性は、モデルそのものと同じくらい真剣に扱われなければならない。この研究は、これらのツールが無用であることを示唆しているのではないが、それらが操作に対して無防備ではないことを示している。分野は今、デジタルな生命の図書館が、単に強力であるだけでなく、その指示を書き換えようとする者たちから守られ、安全であることを保証するための、新たな防護策とともに前進しなければならない。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。