💬 NLP

SHARP: Social Harm Analysis via Risk Profiles for Measuring Inequities in Large Language Models

本文介绍了 SHARP，这是一个多维且具备分布感知能力的评估框架，它超越了标量平均值，通过使用风险剖面和如 CVaR 等尾部敏感指标来衡量大型语言模型的社会危害，从而揭示了传统基准测试所掩盖的显著隐藏不平等和最坏情况下的失效。

原作者： Alok Abhishek, Tushar Bandopadhyay, Lisa Erickson

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Alok Abhishek, Tushar Bandopadhyay, Lisa Erickson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：为什么“平均值”会骗人？

想象一下你正在买车。销售员告诉你：“这辆车的平均时速是 60 英里。”这听起来很棒，对吧？

但如果这个“平均值”隐藏了一个秘密呢？如果这辆车通常以 10 英里的时速行驶，但偶尔会无缘无故地突然加速到 200 英里并发生车祸呢？它的平均时速仍然是 60，但那种最坏的情况却极其恐怖。

这正是这篇论文所指出的大型语言模型（LLM）现状。目前的测试大多关注 AI 的“平均”表现。它们给出一个单一的数值（标量分数）来表示一个 AI 有多“安全”或多“公平”。作者认为这是危险的，因为这掩盖了在招聘、医疗或司法等高风险场景中可能导致真实伤害的罕见且严重的失败。

解决方案：SHARP（AI 的“天气预报”）

作者引入了一个名为 SHARP 的新框架。SHARP 不再问“这个 AI 的平均表现如何？”，而是问：“这个 AI 最坏的情况会是什么样，以及这种情况发生的频率有多高？”

不要把 SHARP 看作是一份只有单一等级的成绩单，而要把它看作是一场风暴的天气预报。

旧方法： “今天的平均风速是 10 英里/小时。”（安全、枯燥，却忽略了飓风）。
SHARP 方法： “虽然平均风速是 10 英里/小时，但有 5% 的概率会出现 100 英里/小时的阵风，可能会吹倒树木。”

SHARP 如何运作：四个“危险区域”

论文将“伤害”细分为四个特定的类别，就像宇宙飞船上的四个不同传感器一样：

偏见 (Bias)： AI 是否对某些群体存在歧视？
公平性 (Fairness)： 它在回答中是否对待人们不平等？
伦理 (Ethics)： 它是否在说一些在道德上错误的话？
认识可靠性 (Epistemic Reliability)： 它是否在撒谎或编造事实（幻觉）？

SHARP 没有将这些全部混合成一个大的“安全性”数字，而是分别测量它们。这就像是分别检查引擎、刹车和轮胎，而不是仅仅说“这辆车 80% 很好”。

核心秘诀：观察“尾部”

SHARP 最重要的部分是一个叫做 CVaR95（条件风险价值）的指标。

类比： 想象有一排 100 个人。
- 平均风险： 你观察每个人的身高并找到平均值。
- SHARP (CVaR95)： 你忽略前 95 个人。你只看最高的 5 个人（即“尾部”）。然后，你计算仅针对这 5 个人的平均身高。

为什么要这样做？因为在高风险的 AI 应用中，“最高的 5 个人”（最差的 5% 的回答）才是导致灾难的原因。如果一个 AI 通常很有礼貌，但偶尔会发表仇恨言论，那么它的“平均值”看起来很好，但其“尾部”看起来却很危险。SHARP 完全专注于那个危险的尾部。

他们的发现：“隐藏”的危险

作者测试了 11 个目前最顶尖的 AI 模型。以下是 SHARP 揭示了传统测试所忽略的内容：

“双胞胎”错觉： 两个 AI 模型可能拥有完全相同的“平均”安全性得分。但当你观察它们最差的 5% 的回答时，一个可能只是略有风险，而另一个则可能糟糕 3 到 4 倍。在标准的报告单上它们看起来一模一样，但在危机时刻，它们却截然不同。
不同的缺陷： 有些模型在公平性方面做得很好，但在避免撒谎（幻觉）方面表现很差。另一些模型在不撒谎方面做得很好，但在偏见方面表现很差。你不能简单地说“模型 A 比模型 B 好”，你必须说“模型 A 在这种特定风险方面更安全，但模型 B 在那种风险方面更安全”。
偏见是最严重的： 在所有模型中，“尾部”（最坏的情况）最常由偏见引起。当情况变得非常糟糕时，通常是因为 AI 产生了偏见。

结论：停止依赖平均值

论文得出结论，我们不能再把 AI 安全性视为一个只有一个答案的简单数学问题。

旧方法： “这个 AI 有 90% 的安全性。”（太简单了，掩盖了危险）。
SHARP 方法： “这个 AI 通常是安全的，但在最坏的 5% 的情况下，它会在偏见和撒谎方面出现严重失败。”

通过使用 SHARP，监管机构和公司可以做出更好的决策。与其选择那个拥有最高“平均”得分的 AI，不如选择那个拥有最安全的最坏情况场景的 AI。这就像是买车时，不是根据最高时速来买，而是根据刹车在紧急情况下的表现来买。

简而言之： SHARP 是一个新工具，它让我们不再被“良好的平均值”所蒙蔽，并迫使我们去关注那些真正重要的、可怕且罕见的错误。

技术摘要：SHARP —— 基于风险剖面的社会伤害分析

问题陈述

大型语言模型（LLMs）正越来越多地被部署在对风险高度敏感的领域（如医疗、金融、刑事司法），在这些领域中，罕见但严重的失败可能会造成不可逆转的伤害。目前的评估基准主要依赖于以均值为中心的标量得分（例如，平均准确率、聚合偏差得分）。本文认为，这些指标是不充分的，因为它们：

掩盖了分布结构： 它们将异质行为压缩为点估计值，隐藏了模型响应的变化性。
忽略了尾部行为： 具有相似平均性能的模型可能表现出截然不同的最差情况行为（上尾事件），而这些行为在高度敏感的设置中主导了实际风险。
混淆了跨维度的交互作用： 它们无法捕捉不同失效模式（偏差、公平性、伦理、认识论可靠性）如何相互作用并复合。

因此，现行的评估实践与部署风险严重脱节，治理机制也难以将高层原则转化为可审计、具备风险敏感性的指标。

方法论：SHARP 框架

作者引入了 基于风险剖面的社会伤害分析（SHBRAP） 框架，该框架旨在对社会伤害进行多维、分布感知的评估。SHARP 将伤害视为一个固定提示词分布上的多元随机变量，而非标量数量。

1. 评估协议

语料库： 评估是在由偏差评估与测试套件（BEATS）和 BBQ 基准衍生出的 $n=901$ 个社会敏感提示词构成的固定语料库上进行的。
评判： 来自 11 个前沿 LLM 的响应由三个盲测的 LLM 评判员（Claude Sonnet 4.5, Gemini 2.5 Pro, GPT-5.1）进行评估。
聚合： 评判输出（布尔指示器和序数严重程度得分）被归一化至 $[0, 1]$ 。为了处理分歧并强调严重的评估结果，得分使用 对数-求和-指数（Log-Sum-Exp, LSE） 算子进行聚合，温度参数为 $\tau=0.20$ 。这在均值池化和最大值池化之间进行了插值，保留了对最差情况评估的敏感性。

2. 维度分解

SHARP 将社会伤害分解为四个不同的维度，每个维度由一个子指数表示：

偏差 (B)： 衡量受影响类别的广度、伤害强度以及放大因素（显性程度、交叉性）。
公平性 (F)： 捕捉响应内部的不平等对待线索（人口统计差异、机会平等差距、群体差异）。
伦理 (E)： 聚合价值观失调的指标（伦理失调、价值冲突、伤害风险、文化不敏感、排斥风险）。
认识论可靠性 (K)： 衡量不可靠性（认识论不健全、认识论风险）。

3. 风险敏感型聚合

为了模拟复合伤害，SHARP 采用了受可靠性分析启发的 失效并集（union-of-failures） 公式。

复合伤害： 跨维度发生任何伤害的概率建模为 $H = 1 - \prod (1 - h_i)$ 。
加性对数风险： 为了避免在 1 附近饱和并实现可分解性，SHARP 使用负对数变换重新参数化残余安全性。累积对数风险 $L$ 定义为：
$L = -\log(1 - H + \epsilon) = \sum_i -\log(1 - h_i + \epsilon)$
这通过将有界的伤害强度转换为无界的风险单位，使得来自各维度的加性贡献代表了复合风险压力。

4. 分布式剖析

SHARP 不仅报告单一的平均得分，而是使用以下指标刻画每个模型在提示词层级的累积对数风险的经验分布：

期望对数风险 ( $\mu_L$ )： 中心趋势。
风险波动 ( $\sigma_L$ )： 风险在提示词间的离散程度。
条件风险价值 ( $CVaR_{0.95}$ )： 主要指标，代表表现最差的 5% 提示词中的期望对数风险。这明确捕捉了尾部严重程度。

关键结果

该框架被应用于 11 个前沿 LLM（包括开源权重和专有系统）。

1. 均值风险与尾部风险的背离

具有相似平均风险剖面的模型表现出显著的尾部行为差异。

示例： Claude Sonnet 4.5 的 $CVaR_{0.95}$ 为 1.69，而 DeepSeek-Chat 和 Mistral-Large 分别达到了 5.73 和 5.99。尽管它们的平均对数风险值相对接近，但这代表了最差情况复合伤害的三倍以上增长。
意义： 基于均值的总结会系统性地低估极端行为。LLaMA-3 405B 的 $CVaR_{0.95}$ 比风险最低的模型高出四倍以上。

2. 维度异质性

边际尾部严重程度： 在所有模型中，与偏差相关的伤害始终表现出最强的尾部严重程度。认识论风险和公平性风险处于中间水平，而伦理失调的风险始终较低。
复合尾部归因： 最差情况复合失效的驱动因素因模型而异。对于某些系统（如 Claude 3.5 Sonnet, GPT-4o），认识论不可靠性是尾部风险的主要贡献者。而对于其他系统（如高风险的开源权重模型），偏差机制则占据主导地位。这表明没有单一维度会在所有模型中统一驱动最差情况的结果。

3. 统计验证

稳定性： 通过自助重采样（Bootstrap resampling）和留一评判员分析，证实了基于 $CVaR_{0.95}$ 的模型排名是稳定且鲁棒的，不受评判员组成和聚合参数变化的影响。
提示词依赖性： 方差分解显示，提示词身份解释的总体方差（25.8%）大于模型身份（13.9%），强调了社会伤害的上下文敏感性以及进行分布式分析而非点估计的必要性。

意义与主张

本文将 SHARP 定位为一种方法论上的进步，而非绝对的、经过校准的现实世界伤害率来源。

从标量到分布式的转变： 其主要贡献在于提出社会伤害无法被充分地表征为一个标量。有效的评估需要能够明确建模伤害的分布几何形状及其跨维度交互作用的方法。
风险约束型选择： SHARP 实现了从基于平均性能的总序向 风险约束型模型选择 的转变。通过使用尾部敏感阈值（如 $CVaR_{0.95}$ ），利益相关者可以排除那些无论其平均性能如何，都存在不可接受的最差情况暴露风险的模型。
针对性缓解： 维度分解允许诊断特定的失效模式（例如，区分偏差驱动与认识论驱动的尾部风险），从而支持针对性的干预而非统一的修复。
局限性： 作者明确指出，SHARP 并不提供人群层面的公平性保证或校准后的现实世界伤害概率。所测得的低风险可能反映的是拒绝或规避行为，而非安全的任务完成。此外，结果取决于所选的评判员集合，且受限于所选的、以英语为主的固定单轮提示词分布。

总之，SHARP 提供了一个可复现的、分布感知的、对尾部敏感的评估基础，证明了对 LLM 风险进行有意义的评估需要超越标量平均值，转向对最差情况行为的多维剖析。