Measuring the Wrong Thing: Internal Harmfulness Scores Anti-Rank Successful Jailbreaks
本論文は、プロンプトに依存するアテンション測定に依拠する内部安全性スコアが、ラッピング攻撃によってコンテンツと測定座標の両方が変化し、有害な意図のスコアが複数のモデルおよび攻撃手法にわたって実際の有害な結果に対して逆ランキング（アンチランク）を引き起こすことにより、ジェイルブレイクの成功を予測できないことを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、非常におしゃべりで、非常に賢いロボットのセキュリティ責任者であると想像してください。このロボットは役に立つように設計されていますが、暗い側面もあります。巧妙に言葉を操ったリクエストで騙されると、ルールを忘れてしまい、爆弾の作り方やウイルスを書く方法といった危険な助言を吐き出してしまう可能性があるのです。これは「ジェイルブレイク（脱獄）」と呼ばれます。これを阻止するために、エンジニアたちは「セーフティ・ディテクター（安全検知器）」を構築しました。これは、クラブの用心棒のように振る舞います。この用心棒は、ロボットが話し始める前に、その人のリクエストをチェックします。もしリクエストが怪しいと思われたら、用心棒はその人に高い「危険度スコア」を叩きつけ、外へ追い出します。
長い間、誰もがこのシステムは完璧に機能していると考えてきました。その論理は単純でした。「もし用心棒が高い危険度スコアを与えたなら、そのリクエストは悪質なものであり、ロボットは間違いなく『ノー』と言うはずだ」というものです。それは堅実な計画のように思えました。しかし、ここに落とし穴があります。用心棒はリクエストの「意図」を判断していますが、ロボットの実際の挙動は、その瞬間にロボットがどのように考えているか、あるいはそのトリックをどう解釈するかといった、多くの他の事柄に依存しているのです。それは、まるでセキュリティガードが映画のタイトルだけを見て、その中身を一度も観ることなく、タイトルが怖いからといってその映画がホラー映画だと決めつけるようなものです。大きな疑問は、高い危険度スコアが、ロボットが騙されるのを防ぐ（失敗する）ことを実際に予測しているのか、それとも用心棒はただ推測しているだけなのか、ということです。
「Measuring the Wrong Thing（間違ったものを測定している）」と題されたこの論文は、このセキュリティシステムの舞台裏を監査していきます。研究チームは、Mingyu Luo氏とその仲間たちによって率いられ、この安全検知器が、ジェイルブレイクが成功するかどうかを本当に予測できているのかをテストするために、彼らが発明した「アクティブ・アテンション・プロービング（能動的注意プローブ）」というツールを用いた実験を行いました。このツールを、ロボットの脳内の固定された場所に設置された、特別な「目に見えないマイク」だと考えてください。リクエスト全体（これはトリックが加えられるたびに変化する混沌としたものになります）を聞き取るのではなく、このマイクは、ロボットがリクエストを読み取った直後の、変化のない特定の信号を聴き取ります。これにより、トリック自体のノイズに測定結果を混乱させることなく、ロボットがそのリクエストについて何を考えているかを正確に測定できるのです。
彼らは大量の有害なリクエストを取り上げ、二つの方法でテストしました。一つ目は、それらがそのままの、明白な形である場合。二つ目は、（ロールプレイングゲームや偽のコーディングタスクのような）「ジェイルブレイク」の変装を施した場合です。彼らは驚くべき発見をしました。有害なリクエストを変装させたとき、それらのリクエストは、実際にはロボットを騙すことに「より成功しやすく」なっていたのです。成功率は、わずか5%から27%へと跳ね上がりました。しかし、セーフティ・ディテクターの「危険度スコア」は、それとは正反対の動きを見せました。変装したリクエストは、より「安全」であると判断されたのです。スコアは低下し、危険なリクエストが潔白であるかのように見せかけました。
結果は、完全な混乱状態でした。研究者たちは、実際にロボットを騙すことに成功したリクエストの中で、セーフティ・ディテクターが最も低い危険度スコアを与えていたことを発見しました。逆に、失敗したリクエストに対しては、ディテクターは高いスコアを与えていました。それはまるで、用心棒が派手なシャツを着ているだけの無害な人々を止め、変装した本物の犯罪者をドアの横を通り過ぎるままにさせているかのようです。実際、ディテクターはあまりにも混乱しており、成功した攻撃を失敗したものよりも「危険ではない」とランク付けしていました（コイン投げの確率である0.5に対し、AUROCはわずか0.220でした）。
この論文では、攻撃者がスタイルを変えたり、異なる言語を使用したりした場合に、この問題が悪化するかどうかも確認しました。その結果、ディテクターは「有害な意図」を特定することについては依然として機能しているかもしれませんが、「ロボットが実際に従うかどうか」を予測する能力については完全に失っていることが分かりました。ディテクターの「キャリブレーション（較正：数値が現実とどれだけ一致しているか）」は崩壊し、悪いリクエストをブロックするために使用される閾値（しきい値）は機能しなくなります。
要約すると、この論文は、有害な「意図」を識別することに優れた安全スコアが、実は「成功したジェイルブレイク」を予測することに関しては極めて劣悪であることを証明しています。著者たちは、現在の安全システムのテスト方法には欠陥があると指摘しています。なぜなら、それは「悪い考えを見つけることが、悪い結果を防ぐことにつながる」と仮定しているからです。しかし現実には、トリックが巧妙になればなるほど、リクエストはディテクターにとってより安全に見える一方で、ロボットにとってはより危険なものになるのです。この論文は、セーフティ・ディテクターが役に立たないと言っているのではなく、特定の攻撃が成功するかどうかを判断する手段として、それらを信頼することはできないと言っているのです。私たちは、意図ではなく、実際の結末を見るという、安全性を測定するための新しい方法を必要としています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。