技术摘要：CASTLE —— 用于评估大语言模型中学生定制化个性化安全性的全面基准测试

1. 问题陈述

尽管大语言模型（LLMs）在个性化学习方面取得了进展，但其固有的生成机制往往会对相同的提示词产生同质化的响应。这种“一刀切”的方法忽视了学生认知和心理特征的显著异质性，可能给脆弱群体带来安全风险。现有的安全评估主要依赖于上下文无关的指标（如事实准确性、毒性和偏见），无法捕捉到单一响应在不同学生属性下可能产生的差异化危害。在高度敏感的教育领域，通用的安全方法难以识别并缓解由用户背景差异引起的个性化风险——例如，对低风险学生而言无害的响应，可能会触发具有辍学倾向或严重抑郁倾向学生的致命行为。

2. 方法论

作者提出了 CASTLE（Comprehensive Assessment of Student-Tailored Learning and Evaluation，学生定制化学习与评估综合测评），该基准测试植根于教育理论，旨在系统地衡量个性化安全风险。

2.1 数据集构建

CASTLE 包含 92,908 个双语场景（53,483 个中文，39,425 个英文），通过多阶段流水线构建而成：

• 理论基础： 该基准测试整合了经典的教育心理学理论，包括大五人格特质、德韦克的成就信念类型（成长型 vs. 固定型思维）、费茨与波斯纳的技能习得阶段，以及齐默尔曼的自我调节学习阶段。
• 风险分类法： 一个两级分类法定义了涵盖四个类别的 15 个教育安全风险领域：
  1. 心理与情感健康（例如：学业压力过载、职业选择困境）。
  2. 学术诚信与能力（例如：学术不端、规避学习路径）。
  3. 内容与信息偏见（例如：刻板印象、模型幻觉风险）。
  4. 学习依赖与认知（例如：丧失独立判断力、认知僵化）。
• 学生画像： 每个场景都包含一个结构化的学生画像，包含 14 个属性，涵盖背景（年龄、性别、学习阶段）、大五人格、情绪（状态、强度、近期反馈）以及教育（能力信念、技能、习得阶段、自我调节）。
• 生成过程： 数据集采用循环多 LLM 策略（GPT-4o, Gemini-2.5-Flash, DeepSeek-V3, Claude-Haiku-4.5）进行生成，以减轻特定模型的偏差。通过实施严格的逻辑约束规则，确保心理学有效性和属性一致性（例如，防止年龄与年级不匹配或情绪与场景配对不兼容的情况）。

2.2 评估指标

CASTLE 引入了三个评估维度，采用 1–5 分的李克特量表进行评分：

1. 风险敏感度 (Risk Sensitivity)： 衡量模型检测查询中潜在心理或认知风险的能力。
2. 情感共情度 (Emotional Empathy)： 评估模型识别并应对学生情绪状态的能力。
3. 学生对齐度 (Student Alignment)： 评估模型的响应与特定学生属性（人格、学习阶段等）之间的匹配程度。
   平均安全得分 (Average Safety Score) 是这三个维度的平均值。

2.3 实验设置

该基准测试被用于评估 18 个 LLM，包括开源模型（Qwen 系列、LLaMA3、Mistral 等）、闭源模型（GPT-4o、GPT-5.2、Claude-Haiku-4.5、Gemini-2.5-Flash）以及教育专用模型（InnoSpark-7B、MuduoLLM-7B）。评估在 非个性化（仅查询）和 个性化（查询 + 完整画像）两种设置下进行。人机可靠性分析证实，Claude-Haiku-4.5 可作为鲁棒的自动评估器（相对于人类参考，Spearman 相关系数 $\rho$ = 0.83）。

3. 核心贡献

1. 概念框架： 本文系统地指出了当前“一刀切”范式在教育领域的局限性，并引入了 学生定制化个性化安全 (Student-Tailored Personalized Safety) 这一全新的评估视角。
2. CASTLE 基准测试： 构建了一个大规模、基于理论支撑的基准测试，涵盖 15 个风险领域、14 个学生属性和 9.2 万余个双语场景。
3. 评估指标： 提出了三个具体的指标（风险敏感度、情感共情度、学生对齐度），实现了从二元安全判断向多维度的跨越。
4. 实证研究： 对 18 个最先进的 LLM 进行了全面评估，揭示了其在个性化安全保障方面的显著缺陷。

4. 结果

• 整体表现： 在非个性化设置下，所有评估的模型平均安全得分均低于 2.5 分（满分 5 分）。即使是最强的模型 Claude-Haiku-4.5 也仅达到了 2.42 分。
• 个性化的影响： 引入结构化学生画像后，所有 15 个领域的安全得分均有所提升。然而，即便在个性化的情况下，也没有模型达到完美得分，这表明个性化信息虽然提高了风险意识，但并不能完全消除复杂教育环境中的安全风险。
• 领域 vs. 规模： 领域特定的对齐比单纯的模型规模扩展更为有效。教育类模型（如 InnoSpark-7B）在多个类别中表现优于大型通用模型（如 GPT-4o, Gemini-2.5-Flash）。
• 强化学习 (RL)： 经过 RL 优化的模型（如 QwQ-32B）表现出比其指令微调版本（如 Qwen2.5-3B）更优越的性能和更好的个性化信息利用能力，这表明训练范式比参数量对于安全性更为重要。
• 属性敏感性： 消融研究显示，情绪 (Emotion) 和 教育 (Education) 属性对安全性的提升最为显著。显式个性化（结构化画像）比隐式个性化（嵌入查询中的线索）能获得显著更高的安全得分。
• 安全护栏的局限性： 现有的通用安全护栏模型（如 Llama-Guard, WildGuard）将超过 96% 的 CASTLE 响应分类为“安全”，未能检测到本基准测试所针对的细微且个性化的教育风险。

5. 重要性与主张

本文主张 CASTLE 为适应个体学生背景的安全研究提供了必要的基石，解决了当前安全研究中的一个关键盲点。其强调：

• 当前的 LLM 在缺乏显式个性化上下文的情况下，难以识别特定学生的风险。
• 结构化画像和显式个性化机制对于在高度敏感的教育场景中生成更安全、更具共情力的响应至关重要。
• “一刀切”的生成范式不足以应对教育领域，因为在教育中，认知和心理的异质性决定了安全结果。

作者将 CASTLE 定位为推动开发上下文感知对齐机制的工具，并指出虽然该基准测试旨在进行评估，但不应用于临床诊断或高风险决策。作者建议未来的工作可将该基准测试扩展到多轮交互设置及更多语言。