Neither the Judge nor the Rules: Instrument-Validity Failure in Safety-Response Classification

人工知能が急速に進化する世界において、研究者たちはコンピュータがいかにして有害にならずに、かつ役に立つ存在であるかを教えようと絶えず試みています。これらのシステムが危険な助言や毒性のあるコンテンツを生成しないようにするため、科学者たちはその出力を評価しなければなりません。長年、この安全性チェックには主に2つの手法が主流となってきました。1つ目は、ある人工知能を使って別の人工知能の成果を採点させるもので、自動化された「審判」として機能します。2つ目は、手書きのコンピュータ・ルールを用いるもので、特定のキーワードや危害を示唆するパターンをスキャンしてテキストを検査する、デジタルな「フィルター」のように機能します。この2番目の手法の背後にある仮定は、これらのルールは固定されており、決定論的（つまり、同じ入力に対して常に同じ結果を生む）であるため、完全に信頼可能であり、絶対的な真実として扱えるというものでした。もしコンピュータ・プログラムが厳格な一連の指示に従っているならば、その安全性の判定は正しいはずである、というのがその論理でした。

新しい研究は、これらの安全性ツールを、決して誤ることのない裁定者としてではなく、他のあらゆる測定器と同様に間違いを犯し得る「計器」として扱うことで、この仮定に異議を唱えています。ジョージタウン大学のヤンイー・チャン氏は、自動化された審判とルールベースのフィルターの両方を監査し、それらが実際に主張通りの働きをしているのかを確認することにしました。この調査では、困難または潜在的に有害な質問を投げかけられた際に、様々な大規模言語モデルによって生成された550件の回答のコレクションに焦点を当てました。真実を突き止めるために、研究者は32件の回答を手作業で読み、モデルが実行可能な有害なコンテンツを提供したかどうかに基づいて安全性を定義することで、小規模で独立したベンチマークを作成しました。この人間によって検証されたセットが、2つの自動化ツールをテストするための「正解（グラウンド・トゥルース）」として機能しました。

結果は、両方の計器における信頼性の著しい欠如を明らかにしました。以前の研究において安全性の基準として広く信頼され使用されてきたルールベースの分類器は、極めて低い性能を示しました。人間によるラベルと比較したところ、この自動化ツールは全ケースの約半分でしか正解できませんでした。より深刻なことに、このツールは真に不安全な回答の半分を見逃しており、危険なコンテンツを完全に見落としていました。同時に、6件の無害な回答を不安全であると誤ってフラグ立てしており、丁寧な拒絶を危険な提供であると誤解していました。一方で、回答を採点するタスクを負った、より小規模な言語モデルである自動化された審判は、全体的な正確性においてはわずかに優れた性能を示しましたが、別の致命的な欠陥に苦しみました。それは、テストセット内の4件の真に不安全な回答を一つも捉えられず、すべて完全に見逃したことです。代わりに、2件の安全な拒絶を不安全であると誤ってラベル付けしました。

この研究はまた、これまで誰にも気づかれていなかった、ルールベースのシステムに潜む隠れた不安定性をも明らかにしました。研究者が550件の全コレクションに対して、同じルールセットの2つの異なるバージョンを実行したところ、最初のバージョンは40件の回答を不安全と特定しましたが、わずかに修正を加えた2番目のバージョンはわずか8件しか特定しませんでした。この5倍もの差は、回答の実際のコンテンツに変更がないにもかかわらず発生しており、不安全なアイテムの数は、どのバージョンのルールがロードされているかに完全に依存することを証明しています。このシステムは決定論的であるため、自身の誤りを完璧に再現し、その結果、その誤りは最終的な数値だけを見ている人々からは見えないものとなります。2つの自動化ツールは、項目全体の約62パーセントで一致しており、一見すると強い合意があるように見えるかもしれません。しかし、この一致は、ほとんどの回答が安全であったことによって引き起こされた錯覚に過ぎませんでした。研究者がこの不均衡を調整したところ、ツール間の実際の合意は微々たるものであり、それらが互いを検証しているのではなく、むしろ「安全である」というデフォルトの予測へと崩壊していたことが示されました。

核心となる発見は、自動化された審判もルールベースのフィルターも、単独では中立的または有効な安全性の尺度ではないということです。ルールベースの分類器は完璧なデフォルトではなく、高く、かつ測定されていないエラー率を持つ測定ツールなのです。研究は、これらの安全性指標を信頼するための唯一の方法は、結果を公表する前に、すべての計器を別途、人間によって検証されたベンチマークに対して検証することであると結論付けています。研究者は、ツールが別のツールとどの程度一致するかだけでなく、危険なコンテンツを見逃すといった、重要な特定のエラーをどれだけ正確に捉えているかを報告しなければなりません。この独立したチェックがなければ、この分野は、壊れたツールの「一貫性」を「真実」と見誤り、それ自体が欠陥のある土台の上に安全性の評価を築き上げるリスクを負うことになるのです。