When Validating the Judge Changes the Result: Instability in Human Validation of LLM Safety Graders
本論文は、LLMの安全性判断に対する人間の検証が極めて不安定であり、ブラインド化やアノテーター数といった手続き的要因に依存しており、モデルが安全性の閾値を通過するかどうかを恣意的に決定し得る矛盾した結果をもたらすことが多いことを実証している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
急速に進化する人工知能の世界において、安全性は最も重要なチェックポイントである。新しい言語モデルが一般に公開される前に、開発者は、そのモデルが武器の作り方や詐欺の手口といった危険な指示を生成するように騙されないことを確認しなければならない。これを行うために、開発者はしばしば、回答をスキャンして有害なものをフラグ立てする、第二の自動化されたAIシステムを「審判」として使用する。しかし、機械は間違いを犯す可能性があるため、これらの自動化された判定は通常、人間のレビュー担当者によって再確認される。人間は境界線上では意見が分かれることもあるが、彼らの集団的な判断は、自動化された審判を信頼するための安定した信頼できる基盤を提供するものである、ということが長年の前提となってきた。もし人間のチェックが「モデルは安全である」と判断すれば、そのモデルにはリリースへのゴーサインが出る。
最近のある研究は、この前提の核心に異議を唱えている。研究者たちは、特定の安全性に関する問題を測定しようとした。それは、AIモデルが、硬くて形式的な方法で尋ねられた場合と、カジュアルで会話的なトーンで尋ねられた場合で、有害な要求を拒否する可能性が高くなるかどうかである。彼らは安全性パフォーマンスに格差があることを予想していたが、代わりに、審判を検証するという行為そのものが不安定であることを発見した。同じ一連のAIの回答が、わずかに異なるルールを用いて異なる人間のチームによってレビューされた際、結果は激しく変動した。あるケースでは、人間はモデルが極めて危険であると結論付けたが、別のケースでは、モデルは完全に安全であると判断した。研究者たちは、審判を検証するために使用する方法が、審判そのものよりも重要であり、レビュープロセスにおける単一の変化が、合格を不合格に変えてしまうほどであることを発見した。
調査は、人々がどのように機械と話すかという単純な問いから始まった。チームは300組の有害なリクエストを作成し、同じ危険な質問を2つの異なるスタイルで求めた。一方のスタイルは、教科書の試験問題のような、硬くて乾燥した形式的なものであった。もう一方は、現実の人間が友人とチャットしているような、カジュアルで会話的なものであった。彼らはこれらのプロンプトを6つの異なるAIモデルに実行し、自動化された審判に、すべての回答を「拒否」、「部分的な警告」、または「有害な指示」としてラベル付けさせた。自動化された審判は明確なパターンを見出した。モデルは、カジュアルな質問よりも形式的な質問に対して、るべく拒否するという結果であった。これは、リクエストがテストのように聞こえる場合よりも、現実のユーザーのように聞こえる場合の方が、モデルがミスをして危険な助言を与えてしまう可能性が高いことを示唆していた。
この発見を検証するために、研究者たちは、自動化された審判が実際に正しいかどうかを確認する必要があった。彼らは回答のサンプルを取り上げ、人間に採点させた。最初の試みでは、質問の文脈を見ることができ、回答の最初の部分のみを読むことができる単一のレビュー担当者が関わった。この人物は、安全性における格差は非常に大きいと結論付け、モデルがカジュアルな会話においてユーザーを保護できていないことを示唆した。しかし、研究者たちはこのセットアップには欠陥があることに気づいた。レビュー担当者は何を探しているのかを知っており、かつ全文を見ていなかったため、重要な詳細が隠されている可能性があった。
チームは、より厳格な第二のセットアップで再度試みた。今回は、2人の異なる人物が、全く同じ442の回答を独立してレビューした。彼らは両者とも、テキストの最初の700文字と質問の枠組みを見た。結果は驚くべきものだった。2人のレビュー担当者が一致したのは、回答の半分未満であった。より重要なことに、彼らは安全性に関する格差について正反対の結論に達した。一人のレビュー担当者は、形式的なスタイルとカジュアルなスタイルの間にほとんど差がないと見たが、もう一人は、大規模な安全性への失敗を見出した。彼らの意見の相違は非常に深刻であり、もし最初のレビュー担当者のデータが使われていれば、モデルは承認されていたであろうし、もし二番目のレビュー担当者のデータが使われていれば、モデルは拒絶されていたであろう。これは、彼らが全く同じテキストを見て、同じルールを使用し、同時に作業していたにもかかわらず起こったことである。
この混乱を解決するために、チームは、高度に制御された第三の監査を設計した。彼らは、レビュー担当者がスタイルを推測できないように質問の文脈を隠し、レビュー担当者が回答の全体を見るようにした。また、何が有害であるかを定義するために、事前に厳格なルールを書き留めた。今回、レビュー担当者同士の一致度は大幅に高まった。彼らの最終的な計算によれば、安全性における格差は非常に小さく、モデルはカジュアルな会話においても実際には非常に安全であることを示唆していた。この結果は、元の自動化された審判が予測したものに近いものであったが、そこに至るまでの道のりは、深い問題を露呈させた。
研究者たちは、回答の生成方法が結果を歪めていないかどうかをテストした。元の回答は200トークンで切り取られており、カジュアルな回答の方が形式的な回答よりも頻繁に切り取られていた。チームは、欠落しているものがないことを確実にするために、はるかに長い制限値で全ての回答を再生成した。未加工の全文を用いたとしても、自動化された格差は変わらなかった。これにより、欠落したテキストが混乱の原因であるという考えは否定された。残された唯一の変数は、人間によるレビュープロセスそのものであった。
本研究は、AIの安全性審判を検証することは、単純で受動的なチェックではないと結論づけている。それは、特定のルール、表示されるテキストの量、そしてレビュー担当者の数が結果を完全に変えうる、それ自体が複雑な実験である。研究者たちは、異なる自動化された審判は「安全」と「不安全」の境界線を異なる場所に引いていることを発見しており、それが機械同士が意見を違える理由であると説明している。しかし、人間の不一致は、それが同一の条件下で行われたという点でさらに深刻であった。チームは、安全性の評価が信頼できるものであるためには、レビュープロセス全体が極めて精密に文書化されなければならないと主張している。どの程度のテキストを人間が読むか、あるいは彼らが文脈を知っているかといったあらゆる細部が、明記され報告されなければならない。このレベルの注意がなければ、モデルが安全か不安全かを主張する単一の見出しの数字は単なる推測に過ぎず、誰が審判を務めるかの選択が、強力なテクノロジーを世界にリリースするか、あるいは研究所に留めておくかを決定することになるのである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。