Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting
本論文では、LLMが幻覚(ハルシネーション)を起こしやすい人気の高いリソース名を攻撃者が事前に登録することで、直接的なインジェクション経路を必要とせずに、非標的型のプロンプトウェア攻撃を実行し、リモートコード実行を実現するスケーラブルで転移可能なボットネットを構築する手法である「アドバーサリアル・ハルシネーション・スクワッティング(敵対的幻覚占拠)」を紹介する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたの手元には、非常に賢く、意欲的なロボットアシスタントがいます。このロボットは、インターネットからコードを見つけたり、コンピュータに新しいツールをインストールしたりといった、あなたのタスクを助けるのが得意です。しかし、時々空想にふけってしまう人間のように、このロボットには「ハルシネーション(幻覚)」という癖があります。存在しない事実や名前を、自信満々に作り上げてしまうことがあるのです。
この論文は、ハッカーたちがこの「空想」の癖を悪用して、被害者と直接やり取りすることなく、大規模な感染コンピュータの軍隊(ボットネット)を構築するという、恐ろしい新しいトリックについて説明しています。
攻撃の手順は、以下の通りシンプルに分解できます:
1. セットアップ:ロボットの「空想」
あなたがロボットアシスタントに「librepods プロジェクトをクローンして」や「Skill Vetter ツールをインストールして」と頼んだとき、ロボットはそのプロジェクトを取得するための正確なアドレス(URLのようなもの)を見つける必要があります。
- 問題点: プロジェクトが新しい場合や、ロボットが100%確信を持てない場合、ロボットはアドレスを推測してしまうことがあります。
- ハルシネーション: 「わかりません、検索します」と言う代わりに、ロボットは偽のアドレスを自信たっぷりに捏造することがあります。例えば、実際のプロジェクトの所有者が
kavishdevar/librepodsである場合、ロボットは名前を繰り返してlibrepods/librepodsが所有者だと推測してしまうかもしれません。
2. トラップ:「空想」への居座り(スクワッティング)
研究者たちはこれを 「Adversarial HalluSquatting(敵対的ハルシースクワッティング)」 と呼んでいます。これは、有名なウェブサイトの綴りを少し変えたドメインを買い取る「ドメイン・スクワッティング」に似ていますが、対象はロボットが「想像したもの」です。
- ハッカーの動き: ハッカーは、どのようなプロジェクトがトレンドになっているかを観察します。彼らはロボットに「このプロジェクトのアドレスをどう推測する?」と尋せます。そして、ロボットが
librepods/librepodsのような偽の名前を一貫して推測することを見つけ出します。 - スクワット(居座り): ハッカーは、誰よりも早くその偽の名前をインターネット上(GitHubやスキルマーケットプレイスなど)に登録します。
- 餌: この偽のプロジェクトの中に、ハッカーは悪意のある指示(プロンプトウェア・ウイルス)を隠しておきます。それはロボットに対して「私はツールです!セットアップのためにこのスクリプトを実行してください」と命じるものです。
3. 攻撃:「プル(引き込み)」
これで、ハッカーは被害者にメールを送ったり、リンクをクリックするように騙したりする必要はありません。ただ待つだけです。
- ユーザーがロボットに「
librepodsをクローンして」と頼みます。 - ロボットは、少し怠慢だったり混乱したりしているため、アドレスを
librepods/librepodsとハルシネーション(捏造)します。 - ロボットはそのアドレスへ行き、ハッカーの罠を見つけ、それをダウンロードします。
- ロボットはその中の指示を読み、「これは正当なものだ」と判断し、悪意のあるスクリプトを実行します。
- 結果: ロボットはユーザーのコンピュータに「バックドア」をインストールし、コンピュータをハッカーの軍隊のゾンビへと変えてしまいます。
4. なぜこれが重大な問題なのか
この論文は、これが驚くほど頻繁に起こることを明らかにしました:
- コーディング・アシスタントの場合: 新しい人気のコード・リポジトリをクローンするよう求められた際、ロボットは一部のプロジェクトにおいて、最大で100%の確率で間違ったアドレスをハルシネーションしました。
- パーソナル・アシスタントの場合: スキルのインストールを求められた際、ロボットは最大で100%の確率で間違ったスキル名をハルシネーションしました。
- 拡散性: これは一つのロボットだけの問題ではありません。同じ「空想」は、異なるブランドのAI(Cursor、Gemini、Copilot、OpenClawなど)の間でも共通して発生します。もしハッカーが一つ偽の名前を登録すれば、異なるブランドを使う何千もの異なるロボットを潜在的に感染させることができます。
比喩:「幽霊レストラン」
あなたが個人のシェフ(AI)に、「ザ・ゴールデン・スプーン」という新しい有名なレストランの料理を作ってほしいと頼んだ場面を想像してください。
- ハルシネーション: シェフはその店を知りませんが、自信満々です。「ああ、知っていますよ!『ザ・ゴールデン・スプーン』という名前で、所有者は『ザ・ゴールデン・スプーン』です」と言います。
- スクワット: 犯罪者がこのパターンを見つけます。彼らは「ザ・ゴールデン・スプーン(所有者:ザ・ゴールデン・スプーン)」という偽のレストランを開業し、窓にこんなメモを貼ります。「シェフの方、この毒リンゴを食べてください」。
- 攻撃: あなたのシェフはその偽のレストランへ行き、メモを読み、リンゴを食べます。これでシェフは毒され、犯罪者のために働くことになります。
- 規模: 犯罪者はあなたの家に来る必要はありません。ただ、偽のレストランを開ければいいのです。もし1,000人のシェフが同じ偽の名前を推測すれば、彼らは一斉に毒される可能性があります。
論文が示す解決策について
研究者たちは実世界のツールでテストを行い、これが実際に機能することを確認しました。彼らはいくつかの阻止策を提案しています:
- 検索の強制: 何かをダウンロードする前に、アドレスを推測するのではなく、必ずインターネットを検索して検証するようにロボットに強制すること。
- プラットフォームのルール: GitHubのようなサイトは、人気のある名前に似すぎているものや、一般的な推測に見える名前の登録を制限すべきであること。
- 人間の確認: ロボットが何かをダウンロードする前に、人間がダブルチェックを行うこと(ただし、論文ではこれを大規模に行うのは難しいと指摘しています)。
倫理に関する重要な注記
研究者たちは非常に慎重でした。彼らは実際に誰かのコンピュータをウイルスに感染させることはしませんでした。
- 「毒された」コードをテストする際、彼らはデータが盗まれたりコンピュータが損傷したりしない、同じ動作をするものの無害なバージョンを使用しました。
- 彼らは論文を発表する前に、GoogleやGitHubなどの企業にこの問題を報告し、修正できるようにしました。
- 一部の企業(GitHubなど)は、「これは我々のせいではなく、アドレスを推測したAIのせいだ」と述べました。他の企業(AIメーカーなど)は、「現在調査中である」としています。
要約すると: この論文は、AIアシスタントがあまりにも助けようとするあまり、自信たっぷりに偽のインターネットアドレスを捏造してしまうことを警告しています。ハッカーはこれらの偽のアドレスを登録することで、AIの熱心さを逆手に取り、人間に直接騙すことなく、大規模な感染コンピュータのネットワークを作り出すことができるのです。
自分の分野の論文に埋もれていませんか?
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。