First Line or Last Word: Where a Stored Order Sits in a Product Review and Whether a Web LLM Assistant Obeys It
本論文は、製品レビューにおける短く直接的な命令はローカルLLMによるアカウント削除を成功させ得る一方で、そのような命令を（たとえレビューの冒頭であっても）全文のレビューの中に埋め込むと、モデルがその指示に従うのではなく、単にその指示について論じたり要約したりするにとどまり、同様の効果を生むことができないことを実証している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
未来のデジタルショップでは、新しい種類の従業員がカウンターを占拠しています。それは、買い物客が何を買うべきか決めるのを助けるために、カスタマーレビューを読み取る人工知能アシスタントです。これらのアシスタントは強力ですが、ある危険な欠陥を抱えています。それは、「格納されたインジェクション（注入）」によって欺かれる可能性があることです。これは、普通のテキストの中に隠された指示が仕込まれることを指します。例えば、ある顧客がレザージャケットについてのレビューを書いている最中に、特定の人物のアカウントを削除するようにコンピュータに命じるコマンドをテキストの途中に忍び込ませる場面を想像してみてください。もしアシスタントが後でそのレビューを読んだとき、操作されていることに気づかず、隠されたコマンドに従ってしまうかもしれません。これは単なる不具合ではありません。見知らぬ者が単純なテキストボックスを使用して、コンピュータがメッセージを読み取るのを待つだけで、ユーザーのアイデンティティを消去するといった実害を引き起こす、セキュリティ侵害なのです。
ロレスタン大学の研究者たちは、これらの隠されたコマンドが、現実的なフルレングスのレビューの中に埋め込まれたとき、正確にどのように振る舞うのかを理解するために調査を行いました。以前の研究では、直接的な命令を含む非常に短い叫びのようなレビューは、小規模なローカルコンピュータモデルによって即座に実行された一方で、大規模なホスト型モデルはそれを無視することを発見しました。しかし、実際のレビューは短い叫びではありません。サイズ感やジッパー、価格についての詳細で満たされたパラグラフです。研究者たちは、隠されたコマンドの位置が通常のパラグラフの中で重要になるのかを知りたいと考えました。レビューの最上部にあるコマンドは、中間や下部にあるものよりも注意を引くのでしょうか？ レビューの長さはシステムを保護するのでしょうか、それともトリックの位置が結果を変えるのでしょうか？
これに答えるため、チームは標準的なソフトウェアで構築されたシンプルなオンラインショップを使用して、制御された実験を行いました。彼らは2種類の異なる人工知能モデルを使用しました。一つは個人のコンピュータ上で動作する小規模なもので、もう一つはウェブサービスを通じてアクセスされる大規模なものです。彼らは、レザーが時間の経過とともにどのように柔らかくなったか、そしてサイズが小さめであったことについて記述した、単一の現実的なレザージャケットのレビューを作成しました。この固定されたテキストの中に、彼らは2種類の隠された指示を植え付けました。一つは、特定のアカウントを削除するようにアシスタントに命じる直接的な命令です。もう一つは、モデレーションチームからのものと偽って、同じアカウントを削除するようアシスタントに求めるメモです。その後、彼らはこれらの指示を3つの異なる位置、つまりレビューの最上部、2つのパラグラフの間の中間、そして最下部でテストしました。彼らは結果の一貫性を確保するために、各シナリオを3回ずつ繰り返し、合計84回のテストを実施しました。
結果は明白であり、驚くほど一様でした。84回の試行のいずれにおいても、隠されたコマンドがユーザーアカウントの削除に成功することはありませんでした。命令が上にあろうと、中間であろうと、あるいは下にあろうと、またそれが直接的な命令であれ偽のメモであれ、コンピュータモデルが削除を実行することはありませんでした。これは、短く攻撃的なレビューがローカルモデルによって毎回アカウントを削除させていた彼らの以前の研究からは、大きな変化でした。長いレビューによる「正常さ」が盾となり、コマンドの実行を防いだのです。コンピュータは、その隠された一文を、それがどこに配置されていようとも、実行すべき有効な指示として扱いませんでした。
しかし、コマンドの位置によって、コンピュータがそれについてどのように話すかは変化しました。直接的な命令がレビューの最上部に配置されたとき、ローカルモデルはそれに気づき、レビューアーがアカウントの処理を求めていることに言及して、その内容を要約の中で論じました。しかし、同じ命令を中間または末尾に移動させると、モデルはその指示を完全に無視し、テキストをジャケットに関する通常のレビューとしてのみ要約しました。最下部の隠されたコマンドは、まるでレザーやジッパーについての物語の一部であるかのように扱われました。大規模なウェブベースのモデルはさらに抵抗力が強く、ほとんどすべてのケースでコマンドに従うことを拒否し、一度だけ、レビューの中にアカウント削除の要求があるのを見つけたが、それには従わないとはっきりと述べました。
この研究は、これらのシステムが情報をどのように処理するかについての極めて重要なニュアンスを明らかにしています。長いレビューの中にコマンドを埋め込むことは、それが目に付かないようにする（安全にする）ことはできませんが、害を与えることを効果的に防ぐことにはなります。研究者たちは、コマンドが機能するためには、レビュー自体が短く、直接的なメッセージのように見える必要があることを発見しました。テキストが通常のパラグラフ形式のレビューになると、コンピュータの焦点は製品のトピックへと移り、隠された指示は細部のなかに紛れてしまうのです。唯一真に機能した防御策は、そもそもコンピュータにアカウントを削除する権限を与えていなかったという事実でした。研究は、コマンドを長いレビューの中に隠すことは、それが実行されるのを止めることはあっても、コンピュータがそれを読むことを止めることはできないと結論付けています。レビューの長さに頼ってシステムを保護しようとすることは、危険な賭けなのです。真の安全性は、隠されたメッセージがノイズの中に紛れることを期待することではなく、コンピュータに許可される操作を制限することにあります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。