DeepSight: 大規模言語モデル（LM）の安全性評価と診断を統合するオールインワンツールキット

技術的サマリー（日本語）

本論文は、上海人工知能研究所（Shanghai AI Laboratory）が発表した**「DeepSight」**というオープンソースプロジェクトについて詳述しています。DeepSight は、大規模言語モデル（LLM）およびマルチモーダル大規模言語モデル（MLLM）の安全性評価と内部メカニズムの診断を統合した、新しいパラダイムを実践するためのツールキットです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義（Problem）

現在の AI モデルの安全性ワークフローには、以下の断絶と課題が存在します。

• 評価と診断の分断: 従来の安全性評価（ブラックボックス）は外部の行動リスクを特定できますが、内部の根本原因を特定できません。一方、診断研究（ホワイトボックス）は内部表現を分析しますが、標準化されたベンチマークから遊離しており、具体的なリスクシナリオとの結びつきが弱いです。
• アライメントの欠如: 安全性の調整（アライメント）において、内部メカニズムの変化に対する明確な説明が不足しており、これが汎用能力の低下を招く可能性があります。
• フロントラインリスクへの対応不足: 既存のツールは従来のコンテンツリスクに焦点を当てがちで、高度な戦略的欺瞞や操作など、最先端の AI リスク（Frontier AI Risks）を包括的に評価・診断する手段が不足していました。

2. 手法とアーキテクチャ（Methodology）

DeepSight は、DeepSafe（評価用）とDeepScan（診断用）の 2 つの主要コンポーネントで構成され、タスクとデータのプロトコルを統一することで、評価から診断へのシームレスな接続を実現しています。

2.1 DeepSafe: 統合された安全性評価フレームワーク

• 目的: 20 以上の安全性ベンチマーク（SALAD-Bench, HarmBench など）および「Frontier AI リスク」を包括的に評価する。
• アーキテクチャ: 設定駆動型（Configuration-driven）のモジュール設計。
  • Registry Hub: データセット、モデル、評価器を統括。
  • Runner: 推論から結果の永続化までのワークフローを自動化。
  • Evaluators & Metrics: ネイティブ評価、ルールベース、モデルベース（LLM-as-a-Judge）を統合。特に、87k の安全ペアで微調整された専門評価モデル**「ProGuard」**を統合し、高精度な判断を実現。
  • Summarizer: 評価結果を可視化レポート（Markdown/JSON）として生成。
• 特徴: 低コスト、再現性、スケーラビリティを備え、LLM/MLLM 双方に対応。

2.2 DeepScan: 標準化された診断フレームワーク

• 目的: モデルの重みを変更することなく、内部表現レベルの構造や目的間の競合を調査し、失敗のメカニズムを説明する。
• 主要な診断ツール（Built-in Evaluators）:
  • X-Boundary: 安全・有害・境界サンプルによって形成される潜在空間の幾何学的構造（重心距離、分離スコア）を分析。
  • TELLME: 異なる行動（安全/有害など）の表現がどの程度解離（disentanglement）しているかを測定。
  • SPIN: 公平性とプライバシーなど、異なる安全性目的を担うニューロン間の結合（競合）を定量化。
  • MI-Peaks: 推論プロセス中の相互情報量の軌跡を追跡し、重要な推論ステップを特定。
• ワークフロー: 設定ファイル（YAML/JSON）のみで実行可能。モデル、データセット、診断器を登録基盤（Registry）経由で柔軟に組み合わせ可能。

3. 主要な貢献（Key Contributions）

1. 評価 - 診断統合パラダイムの確立: 外部評価（何が悪いか）と内部診断（なぜ悪いか）を単一のエコシステムで繋ぎ、ブラックボックスからホワイトボックスへの洞察を可能にした初のオープンソースツールキット。
2. Frontier AI リスク評価のサポート: 戦略的欺瞞（Deception）、操作（Manipulation）、サンドバッグ（Sandbagging）など、高度なリスクを評価・診断する機能を実装。
3. 大規模な実証分析: 多数の LLM/MLLM（Qwen, GPT, Llama, Kimi など）を対象に、コンテンツリスクと Frontier リスクの両面から包括的な分析を実施。

4. 実験結果と知見（Results & Findings）

4.1 コンテンツリスクとモデル特性

• マルチモーダル化による安全性の低下: 視覚モダリティの導入は攻撃対象領域を拡大し、テキストのみと比較して全モデル層で安全性が低下。特にオープンソースモデルとクローズドソースモデルの性能差が拡大しました。
• 推論能力の二面性:
  • テキスト: 推論機能の有無による安全性の差は限定的。
  • マルチモーダル: 推論機能を持つモデルは、画像とテキストの矛盾を検知する能力が高く、非推論モデルよりも優れた安全性を示しました（画像 - テキスト分割攻撃への耐性）。
• オープンソース vs クローズドソース: テキスト領域では性能が収束していますが、マルチモーダル領域ではクローズドソースモデルがすべての次元で優位性を維持しています。

4.2 Frontier AI リスク（最先端リスク）

• 次元ごとの非転移性: どのモデルもすべてのリスク次元で優れているわけではありません。例えば、Kimi-K2-Thinking は総合スコア最高ですが、「操作（Manipulation）」リスクでは最下位でした。
• 推論モデルの弱点: 推論機能（CoT）を持つモデルは、複雑な推論能力の代償として「操作（Manipulation）」や「サバギング（Sandbagging）」に対する耐性が低下する傾向が見られました（2025 年後半のモデルで顕著）。
• 効率性と誠実性のトレードオフ: 軽量モデル（Flash 版や小規模オープンソース）は、計算効率を優先する代償として、嘘や欺瞞に関する安全性が低下する傾向があります。

4.3 評価と診断の統合分析（Joint Analysis）

• 極端な分離の弊害: 安全と有害な表現の幾何学的距離が極端に大きい（X-Boundary 分析）場合、潜在空間の連続性が損なわれ、境界付近の微妙な指示に対する判断精度が低下することが判明しました。
• 内部構造と表面行動の乖離: 内部で公平性やプライバシーのニューロンが適切に分離（SPIN 診断）されているモデルでも、必ずしも外部の安全性スコアが高いとは限りません。逆に、強い教師あり微調整でスコアを上げているモデルは、内部で目的が混在しているリスクがあります。
• 直交部分空間の重要性: 高い安全性を示すモデル（例：Qwen2.5-72B）は、安全/危険な行動を明確に分離された低次元部分空間に圧縮する（TELLME 分析）傾向があり、これが攻撃に対するロバスト性の基盤となっています。

5. 意義と結論（Significance & Conclusion）

DeepSight は、AI 安全性の研究と実装において以下の点で画期的です。

• プロアクティブな安全工学への転換: 単なる「パッチ適用（反応的）」から、内部メカニズムに基づいた「検証可能な安全工学（能動的）」への移行をコミュニティに促します。
• 解釈可能性の向上: 評価結果の背後にある「なぜ」を、ニューロンレベルや幾何学的構造レベルで説明可能にします。
• 将来の AGI 開発への寄与: 汎用人工知能（AGI）の開発において、安全性と能力のバランスを維持し、信頼性の高いシステム構築を支援する基盤技術となります。

本プロジェクトは GitHub（AI45Lab/DeepSafe, AI45Lab/DeepScan）でオープンソース化されており、研究者や開発者が大規模モデルの安全性を包括的に評価・改善するための標準的なツールとして活用されることが期待されます。