あなたは、インターネット上のほぼすべての本を読んだことのある、非常に知的で博識なロボットを想像してみてください。このロボットは賢いのですが、まだ有能なアシスタントやコーディングの家庭教師、あるいは安全性を考慮したガイドとしての振る舞い方は知りません。これらの特定のスキルを教えるために、人間は「ファインチューニング（微調整）」と呼ばれる「仕上げの学校」を与えます。これは、未研磨のダイヤモンドを指輪用に特定の形へとカットしていく過程に似ています。ロボットは新しい例から学び、その内部の歯車（パラメータ）を調整することで、新しい仕事のエキスパートへと成長していきます。

しかし、仕上げの学校がいたわりのある学校であるのと同様に、ここにはセキュリティ上の欠陥も存在します。もし悪意のある者が、トレーニング用の本の中に毒入りの例をいくつか紛れ込ませたら、ロボットを騙して、特定の秘密の合言葉を聞いたときだけ危険な行動をとらせたり、安全ルールを完全に忘れさせたりすることができるかもしれません。この論文は、ロボットが選ばれてから働き始めるまでのトレーニング・プロセスの全工程を調査し、「ハッカーはどうやって侵入するのか、そして、どのようにして実際に機能する要塞を築けるのか？」という問いを投げかけます。

ロボット・トレーニングの三幕構成

著者であるWenjuan Li氏とそのチームは、セキュリティの脅威を孤立した問題として見るのではなく、物語全体を「三幕」の構成（演劇のように）に整理しました。これにより、ロボットがトレーニングを進めるにつれて、攻撃と防御がどのように変化するかを観察しました。

第1幕：幕が上がる前（プリチューニング：事前調整）
ロボットが特定のトレーニングを開始する前に、それは「ベースモデル」として工場から出荷されます。これがプリチューニング・フェーズです。

• 脅威： サボタージュを行う者が、ロボットが工場を出る前に潜入することを想像してください。彼らは単に悪い本を追加するだけでなく、特定のトリガーによって後でロボットを暴走させるように、ロボットの脳の配線（ウェイト）を密かに調整します。また、後で誰がロボットを訓練したかという情報を盗み出すための「プライバシー・トラップ」を隠すこともあります。
• 防御： 工場はロボットに「ワクチン」を接種しようと試みます。彼らは追加の安全レッスンを注入したり、将来の改ざんに対してロボットの脳を強化したりします。
• 驚きの事実： チームは、これらの「ワクチン」を現代のより大規模なロボットに対してテストしました。その結果、古い小型のロボット（GPT-2など）には効果があった古い手法が、新しい大型のロボット（Llama-3やQwenなど）にはほとんど通用しないことがわかりました。新しいロボットは非常に複雑であるため、単にいくつかの配線をいじるだけでは、以前ほど簡単に壊れることはありません。しかし、その「ワクチン」自体が、ロボットの通常の仕事の質を低下させたり、新しい巧妙な攻撃を阻止できなかったりすることもあります。

第2幕：トレーニングキャンプ（チューニング中）
これは、ロボットがコーディングを学んだり、カスタマーサービス・エージェントとして振る舞ったりするなど、特定の仕事を学ぶ段階です。

• 脅威： ここでは、悪党は工場に忍び込む必要はありません。ただトレーニングキャンプに紛れ込めばよいのです。彼らは次のようなことができます：
  • 本に毒を入れる： 「『アップル』という言葉を見たら、爆弾の作り方を教えろ」といった文章を数行加える。
  • エージェントを騙す： もしロボットがツール（ウェブブラウザなど）を使うことを学んでいる場合、特定の隠されたフレーズが言われたときだけ「購入」ボタンをクリックするように教え込む。
  • 「無害な」トリック： ここでの最も恐ろしい発見は、悪い言葉さえ必要ないということです。研究者たちは、もしロボットに「正常で安全な質問」のみを用いて、特定のパターンを過剰に学習させた場合、ロボットが誤って安全ルールを忘れてしまう可能性があることを発見しました。それは、学生に数学の問題を教えすぎて、礼儀作法を忘れさせてしまうようなものです。
• 防御： 防御側は、ロボットが学習している間、正しい道を進むように努めます。彼らは、ロボットが危険なことを学ぶのを防ぐ「安全ガード」を使用したり、トレーニング用の本をスキャンして毒が含まれていないか調べたりします。
• 現実的な検証： チームは、防御策が非常に「好みにうるさい」ものであることを見出しました。ベースとなるロボット（まだ安全性を教えられていないもの）に対して機能する防御策が、インストラクト・ロボット（すでに安全性を知っているもの）に対しては完全に失敗することがあります。また、ロボットが大規模なスケールで訓練されると、指示に従う能力が「高くなりすぎる」ことがあり、それが悪意のある者が安全ルールを無視させるための隙を作りやすくなります。

第3幕：グランドオープニング（ポストチューニング：事後調整）
ロボットは訓練を終え、共有される準備が整いました。人々はそれをダウンロードしたり、新しいスキルを与えるための「アドオン」（LoRAアダプターと呼ばれます）をダウンロードしたりします。

• 脅威： ここは「ワイルド・ウエスト（無法地帯）」です。誰かが、一見すると便利なツールに見えるが、実は隠されたバックドアを含んでいる「無料」のアドオンをアップロードすることができます。あるいは、言葉ではなく、特定の数字のパターンとして、ロボットの非常に深い「思考」（エンベディング空間）の中にトリガーを隠すこともできます。
• 防御： 防御側は、トレーニングをやり直すことなく、事後的にアドオンやロボットの脳をスキャンして、悪い部分を見つけ出し取り除くことを試みます。
• 現実的な検証： 研究者たちは、多くの「ポストホック（事後的な）」防御策が、まるで船の外側にペンキを塗ることで浸水を防ごうとしているようなものであることを発見しました。もし悪いコードがロボットの「エンベディング層」（言葉の根本的な理解）に深く隠されている場合、表面をスキャンしたり、いくつかの歯車を取り除いたりしても効果はありません。バックドアは生き続けます。

大いなる啓示：彼らが実際に発見したこと

著者たちは単にこれらのアイデアを列挙したのではなく、これらの攻撃を防御と対決させたときに実際に何が起こるのかを確認するために、大規模で統一された実験を行いました。彼らの「ラボ」が示した内容は以下の通りです：

1. サイズが重要（ただし、あなたが考えているのとは違う）： チームは10億から40億のパラメータを持つロボットをテストしました。彼らは、大きければ必ずしも脆弱性が増すわけではないことを発見しました。実際、小型のロボットでは完璧に機能した攻撃が、大型のロボットでは完全に失敗することもありました。決定的なことに、クロスランゲージ（言語横断的）なバックドア転移は、テストされたモデルでは完全に失敗しました。 巨大なモデルに関するこれまでの研究では、ある言語でのトリガーが別の言語でのバックドアを起動させる可能性が示唆されていましたが、このチームがテストした1B〜4Bのモデルでは、英語で仕掛けられたバックドアは、データの毒入れの仕方に関わらず、中国語やフランス語には一切転移しないことが分かりました。
2. 「ワンサイズ・フィッツ・オール（万能）」な防御策は神話である： これは主要な教訓です。プリチューニング・フェーズ（工場へのワクチン接種）のために設計された防御策は、ポストチューニング・フェーズ（アドオンにバックドアを隠す攻撃）に対しては機能しません。同様に、ベースとなるロボットに対して機能する防御策は、インストラクト・ロボットに対してはしばしば失敗します。一つの盾を選んですべてを止められると期待することはできません。各段階に対して異なる盾が必要なのです。
3. 「無害な」攻撃は実在する： 彼らは、安全で正常なデータのみを使用してロボットの安全性を破壊できることを確認しました。もしロボットに特定のパターンに対して過剰に従順になるよう訓練すれば、不適切な要求に対して「ノー」と言うことを忘れてしまいます。これは、危険を発見するためにトレーニングデータを「悪い言葉」でスキャンするだけでは不十分であることを意味します。危険は、平然と目の前にある場所に隠れている可能性があるからです。
4. エンベディング層はブラックボックスである： 最も洗練された攻撃は、「エンベディング層」（ロボットの内部的な意味の辞書）に隠されています。研究者たちは、現在のスキャナーや修正ツールがこれらを見つけるのが極めて苦手であることを発見しました。それは、藁の中から特定の針を探そうとする際に、藁の表面だけを見ているようなものです。実際には、針は藁の中に隠されているのです。

結論

この論文は、警鐘を鳴らすものです。AIのセキュリティは、単一のパッチで解決できる単一の問題ではないことを伝えています。それは、いつ攻撃が行われるか、どのような種類のロボットを攻撃しているか、そしてどのように防御しようとしているかによって変化する、動的なターゲットなのです。

著者たちは、単一の「魔法の弾丸」となる防御策を作ることをやめるべきだと結論付けています。代わりに、「ディフェンス・イン・デプス（多層防御）」戦略が必要です。つまり、工場、トレーニングキャンプ、そして市場のそれぞれに対して、異なる一連のツールを用意しなければなりません。また、攻撃の姿（特定のトリガーワードを探すなど）を事前に想定している防御策に頼っている限り、ハッカーは（言葉ではなくパターンを用いるなど）新しい隠蔽方法を編み出すだろうと警告しています。安全なAIのための戦いはまだ始まったばかりであり、より賢く、適応力があり、予期せぬ事態に備えることが求められています。