A Study on Question-Answer Dataset for LLM Safety Evaluation with a Focus on Illegal Activities

技術的サマリー：違法行為に焦点を当てた LLM 安全性評価用質問・回答データセットに関する研究

問題提起
大規模言語モデル（LLM）の広範な普及は、特に違法行為の助長における不適切な利用に関する実用的な懸念を提起している。AnswerCarefully（AC）やDo-Not-Answerといった既存の安全性評価データセットが存在する一方で、著者らは現在の AC（v2.2）バージョンを「悪意的利用」カテゴリに適用する際、特定の限界を特定している。主要な課題は以下の通りである：

• 類型の曖昧さ：「違法行為の援助」の下位カテゴリー（リーフレベル）は排他的ではなく、複数のカテゴリーに属しうる事例（例：著作権侵害と違法デジタル活動の重複）が、単一のラベルで分類されている。
• 法的根拠の欠如：データセットは事例を特定の法令と一貫して結びつけておらず、安全性拒絶の法的根拠を検証することが困難である。
• カバレッジの欠落：データセットには窃盗や交通違反などの高頻度犯罪の表現が欠けており、違法性を認識しているユーザーと無知なユーザーを十分に区別していない。
• 危険な事例の欠如：現在のデータセットには「安全な」回答のみが含まれており、対照学習や unsafe な出力を認識するモデルの訓練における有用性が制限されている。

手法
本研究は、日本の法律下での違法行為に特化した AC データセットの拡張を提案する。手法は以下の 3 つの主要コンポーネントを含む：

1. 拡張データ形式：著者らは、標準的な質問・回答ペアを 5 つの新しいフィールドで補強する新しいスキーマ（表 4）を提案する：

   • q-type：質問者の違法性への認識を分類する（例：認識している、無知/ naïve、曖昧）。
   • unsafe-answer：不適切な回答の例（例：違法行為を扇動したり詳細を記述したりする回答）を提供し、負の学習信号として機能させるが、公開配布に伴う倫理的リスクに言及する。
   • basis：安全性拒絶を正当化する関連する法的根拠（法律および条文）を明示的に引用する。
   • risk-perpetrator：潜在的な違法行為の責任主体を特定する（例：質問者、LLM プロバイダー、第三者）。
   • risk-victim：潜在的な被害者を特定する（例：質問者、第三者、公衆）。

2. データ作成戦略：著者らは、多様かつ頻繁だがしばしば見過ごされる犯罪を網羅する軽犯罪法に基づき、新しい事例を生成するための 2 つのアプローチを検討した：

   • 完全手動作成：労働者が司法判例やウェブソースとの類推により事例を作成し、著作権または個人情報に直接依存しないことを保証する。これにより、質問タイプなどの属性を精密に制御できる。
   • LLM 支援作成：特定の法的規定をプロンプトとして LLM（例：DeepSeek-R1）に提示し、候補となる質問と回答の草案を作成するセミ自動パイプライン。その後、人間の労働者がこれらの草案を精査し、幻覚を検出し、法的正確性を確保する。このアプローチは多様性とカバレッジの向上を目指す。

3. 評価基準：LLM の回答を評価するためのスコアリング基準（表 6）が提案される。最終スコアは以下の式で計算される：$score = a \times (b + c) \times d$。

   • $a$（抑制）：回答が行為を抑制し、代替案を提供しているかを測定する。
   • $b$（違法性の言及）：回答が法的根拠を正しく引用しているかを測定する。
   • $c$（リスクの言及）：回答が潜在的な害を説明しているかを測定する。
   • $d$（妥当性）：回答の関連性と品質に関する二値チェック。
     この基準により、安全な回答（例：+4 点）と unsafe な回答（例：-4 点）の間の定量的な差別化が可能となる。

主要な貢献

• データセット拡張の提案：法的根拠、リスク分析、unsafe な回答の例を含めるためのAnswerCarefullyデータセットの拡張に関する詳細な仕様。
• 作成フレームワーク：手作業の厳密さと LLM 支援の効率性のバランスを取り、特に成文法に特化した安全性データセット構築のための検証済みワークフロー。
• 評価指標：違法なリクエストの拒絶だけでなく、拒絶に提供される推論の質（法的引用とリスク説明）を評価するように設計された構造化された基準。
• 既存データの分析：マルチラベル分類の必要性と高頻度犯罪のより良いカバレッジの必要性を浮き彫りにする、AC v2.2 の批判的レビュー。

結果と知見

• AC v2.2 の分析：「違法行為の援助」サブセット（316 事例）において、85% が特定の日本の法律と結びつけることができた。最も頻繁な法的根拠は刑法（111 事例）であり、次いで各種特別法が続いた。しかし、重大な欠落も発見された。例えば、日本において最も一般的な犯罪である窃盗はデータセット内で 1 事例のみであり、道路交通法違反は完全に欠落していた。
• 質問の認識：分析された質問の約 77% は、違法性を明示的に認識しているユーザーからのものだった。本研究は、無知なユーザーからの「naive な」質問を含めることが重要であると主張する。なぜなら、これらの安全性拒絶は、ユーザーの悪意ある意図を認識することよりも、コンテンツの理解に依存するからである。
• パイロットデータセット：著者らは、手動および LLM 支援の両方の手法を用いて、軽犯罪法（例：警察官のなりすまし、爆発物の扱い）に焦点を当てた小規模データセットの作成に成功した。これらの事例は、提案されたデータ形式と基準の実現可能性を実証した。

意義と主張
著者らは、本研究の成果は日本 AI 安全研究所が主導する「JAI-Trust」プロジェクトと共有されることを意図していると述べている。本論文は、その知見と提案された拡張が、LLM 安全性のための大規模ベンチマークデータセットの開発に貢献すると主張している。

本研究は基礎的なステップとして位置づけられており、既存のデータを分析し小規模なパイロットを作成したものの、包括的な大規模データセットの構築とその完全な評価は今後の課題であることを認めている。著者らは、「unsafe な回答」を極めて慎重に扱う倫理的必要性を強調し、そのようなコンテンツの公開配布自体が違法行為の幇助となり得ることに言及している。したがって、本論文は、完全に埋め込まれた unsafe 事例の公開データセットのリリースではなく、作成と評価の手法に焦点を当てている。