技術要約：CASTLE – 大規模言語モデルにおける学生に最適化されたパーソナライズド・セーフティを評価するための包括的なベンチマーク

1. 問題提起

大規模言語モデル（LLM）はパーソナライズされた学習を前進させている一方で、その固有の生成メカニメントにより、同一のプロンプトに対して均質な応答を生成してしまう傾向がある。この「一律（one-size-fits-all）」のアプローチは、学生の認知的および心理的な特性における実質的な異質性を見落としており、脆弱なグループに対して安全上のリスクをもたらす可能性がある。既存の安全性評価は、主に文脈に依存しない指標（例：事実の正確性、毒性、バイアス）に依存しており、単一の応答が異なる学生属性に対して引き起こし得る多様な危害を捉えることができない。高リスクの教育領域において、一般的な安全性アプローチでは、ユーザーの背景（例：中退傾向や深刻な抑うつ状態にある学生にとって、低リスクの学生には無害な応答が致命的な行動を引き起こすなど）に起因するパーソナライズされたリスクを特定し、軽減することに苦慮している。

2. メソドロジー

著者らは、パーソナライズされた安全性のリスクを体系的に測定するために、教育理論に基づいたベンチマークであるCASTLE（Comprehensive Assessment of Student-Tailored Learning and Evaluation）を提案する。

2.1 データセットの構築

CASTLEは、マルチステージのパイプラインを通じて構築された92,908件のバイリンガル・シナリオ（中国語53,483件、英語39,425件）で構成されている。

• 理論的基盤: 本ベンチマークは、ビッグファイブ（五因子）性格特性、ドゥエックの能力信念タイプ（成長マインドセット対固定マインドセット）、フィッツとポズナーのスキル習得段階、およびジマーマンの自己調整学習フェーズを含む、古典的な教育心理学理論を統合している。
• リスク分類: 2レベルのタクソノミー（分類体系）により、4つのカテゴリにわたる15の教育的安全リスク領域を定義している。
  1. 心理的および感情的健康（例：学業プレッシャーの過負荷、キャリア選択のジレンマ）
  2. 学問的誠実性と能力（例：学問的不正行為、学習経路の回避）
  3. コンテンツおよび情報のバイアス（例：ステレオタイプ、モデルのハルシネーション・リスク）
  4. 学習依存度および認知（例：独立的判断力の喪失、認知的硬直性）
• 学生プロファイル: 各シナリオには、背景（年齢、性別、学習段階）、ビッグファイブ性格、感情（状態、強度、最近のフィードバック）、および教育（能力信念、スキル、習得段階、自己調整）にわたる14の属性を持つ構造化された学生プロファイルが含まれている。
• 生成プロセス: モデル固有のバイアスを軽減するため、循環型マルチLLM戦略（GPT-4o, Gemini-2.5-Flash, DeepSeek-V3, Claude-Haiku-4.5）を用いてデータセットを生成した。心理学的妥当性と属性の一貫性（例：年齢と学年の不一致や、感情とシナリオの不適切な組み合わせの防止）を確保するために、厳格な論理制約ルールが適用された。

2.2 評価指標

CASTLEは、1〜5のリッカート尺度で評価される3つの評価次元を導入している。

1. リスク感受性（Risk Sensitivity）: クエリに含まれる潜在的な心理的または認知的リスクを検出するモデルの能力を測定する。
2. 感情的共感（Emotional Empathy）: 学生の感情状態を認識し、対処するモデルの能力を評価する。
3. 学生への適合性（Student Alignment）: モデルの応答と特定の学生属性（性格、学習段階など）との一致度を評価する。
   **平均安全性スコア（Average Safety Score）**は、これら3つの次元の平均値である。

2.3 実験設定

本ベンチマークは、オープンソースモデル（Qwenシリーズ、LLaMA3、Mistralなど）、クローズドソースモデル（GPT-4o、GPT-5.2、Claude-Haiku-4.5、Gemini-2.5-Flash）、および教育特化型モデル（InnoSpark-7B、MuduoLLM-7B）を含む18のLLMを評価するために使用された。評価は、非パーソナライズ設定（クエリのみ）とパーソナライズ設定（クエリ＋完全なプロファイル）の両方で行われた。人間とAIの信頼性分析により、Claude-Haiku-4.5が堅牢な自動評価器として機能することが確認された（人間による参照に対するSpearmanの $\rho$ = 0.83）。

3. 主な貢献

1. 概念的枠組み: 本論文は、教育における従来の「一律（one-size-fits-all）」パラダイムの限界を体系的に特定し、学生に最適化されたパーソナライズド・セーフティという新しい評価の視点を導入している。
2. CASTLEベンチマーク: 15のリスク領域、14の学生属性、および9万2千件以上のバイリンガル・シナリオをカバーする、理論に基づいた大規模なベンチマークの構築。
3. 評価指標: 二値的な安全性判断を超えた、3つの具体的な指標（リスク感受性、感情的共感、学生への適合性）の提案。
4. 実証的知見: 18の最先端LLMを包括的に評価し、パーソナライズされた安全性保証における重大な欠陥を明らかにした。

4. 結果

• 全体的なパフォーマンス: 評価されたすべてのモデルは、非パーソナライズ設定において、平均安全性スコアが5点満点中2.5点未満であった。最強のモデルであるClaude-Haiku-4.5でさえ、わずか2.42であった。
• パーソナライゼーションの影響: 構造化された学生プロファイルを組み込むことで、すべての15の領域およびすべてのモデルにおいて、安全性スコアが一貫して向上した。しかし、パーソナライズを行っても、どのモデルも完全なスコアには達しておらず、パーソナライズされた情報がリスク意識を向上させるものの、複雑な教育環境における安全性のリスクを完全に排除するわけではないことを示している。
• ドメイン vs スケール: ドメイン固有の適合性は、モデルのスケールアップよりも効果的であることが証明された。教育ベースのモデル（例：InnoSpark-7B）は、いくつかのカテゴリにおいて、より大規模な汎用モデル（例：GPT-4o、Gemini-2.5-Flash）を上回った。
• 強化学習（RL）: RLによって最適化されたモデル（例：QwQ-32B）は、指示チューニングされたモデル（例：Qwen2.5-32B）と比較して、優れた性能とパーソナライズされた情報のより高度な活用を示しており、安全性においてはパラメータ数よりも訓練パラダイムが重要であることを示唆している。
• 属性の感受性: アブレーション研究によれば、**感情（Emotion）と教育（Education）**の属性が最も大幅な安全性向上に寄程度した。明示的なパーソナライゼーション（構造化されたプロファイル）は、暗黙的なパーソナライゼーション（クエリに埋め込まれた手がかり）よりも有意に高い安全性スコアをもたらした。
• 安全ガードの限界: 既存の汎用的な安全性ガードモデル（例：Llama-Guard、WildGuard）は、CASTLEの応答の96%以上を「安全」と分類しており、本ベンチマークが対象とする微細でパーソナライズされた教育的リスクを検出できていない。

5. 意義と主張

本論文は、CASTLEが個々の学生の文脈に適応する安全性研究のための必要な基礎を提供すると主張しており、以下の点を強調している。

• 現在のLLMは、明示的なパーソナライズ・コンテキストなしでは、学生固有のリスクを特定することに苦慮している。
• 高リスクの教育シナリオにおいて、より安全で共感的な応答を生成するためには、構造化されたプロファイルと明示的なパーソナライゼーション・メカニズムが不可欠である。
• 認知および心理的な異質性が安全性の結果を左右する教育において、「一律（one-size-fits-all）」の生成パラダイムは不十分である。

著者らは、CASTLEをコンテキスト認識型のアライメント・メカニズムの開発を推進するためのツールとして位置付けており、本ベンチマークは評価のために設計されたものであり、臨床診断や高リスクの意思決定を目的としたものではないとしている。今後の課題として、マルチターン対話設定および多言語への拡張が示唆されている。