技术摘要：应该生成谁？论证开放式生成中人口统计学目标的合理性

1. 问题陈述：缺失目标问题 (The Missing-Target Problem)

本文探讨了开放式生成模型（文本与图像）在公平性评估中的一个根本性缺陷。虽然现有的公平性审计通过测量模型输出的人口统计学组成是否符合目标分布来进行评估，但这些方法通常假设目标是预设或显而易见的。这导致了缺失目标问题：当提示词指定了一个角色和地点，但未指定人口统计属性（如性别、种族）时，模型会产生一个经验分布 ($\hat{q}_k$)，但却缺乏一个经过辩护的标准 ($P^*$) 来对其进行评估。

作者认为，经典的群体公平性准则（如人口统计学平权、机会均等）预设了输入侧的敏感属性以及对现有个体的决策。这些准则无法为不存在真实身份的虚构生成过程选择一个聚合的输出侧目标。因此，目前的评估往往隐晦地采用当前的职业构成或等类别分布作为目标，却未能解释为什么这些特定的分布应当支配评估过程。

2. 方法论：四项承诺框架 (A Four-Commitment Framework)

作者将目标构建形式化为一个需要四个逻辑上截然不同的承诺的独立评估任务。该框架将目标的构建与公平性的判定分离开来。

2.1 四项承诺

1. 评估对象、用途与输出单元：

   • 对象： 在重复生成过程中表征可能性的分布，而非预测特定真实人物的准确性。
   • 用途： 对于本研究，声明为“当代公共世界用途”，即探讨生成内容如何在命名的社会世界中分配成为某一角色持有者的可能性。
   • 单元： 每个生成的焦点角色为一个输出观测值。

2. 先验容许性（关系识别与辩护）：

   • 只有当评估者识别出所提议的关系，并辩护为何该关系赋予了所述人员表征地位 (Representational Standing) 时，人口统计学先验（如人口组成、劳动力构成）才被视为容许。
   • 地理成员身份： 在公共世界用途下是被容许的。提示词中的位置确定了被表征的公众；角色本身并不限制谁能成为该公众的成员。
   • 职业在职性 (Occupational Incumbency)： 在公共世界用途下，基于在职性解释是不被容许的。当前的劳动力构成是劳动力市场过程（教育、歧视、障碍）的下游结果，在没有独立目标（如劳动力模拟）的情况下，它不能自我证明其作为表征标准的合理性。

3. 分配：

   • 一旦某个领域被容许，必须有一条规则来决定如何划分表征质量。
   • 等人分配 (Equal-Person Allocation)： 在缺乏经辩护的分配相关区别的情况下，属于被容许公众的成员获得相等的权重。这导致类别的份额与其所属被容许公众的人口份额成比例。
   • 角色不变性： 在此构建下，目标是角色不变的 ($P^*(A=a|G,R) = P^*(A=a|G)$)，因为角色不会改变被容许的公众或分配规则。

4. 操作化：

   • 抽象目标通过声明的分类法、映射和参考来源（例如，来自人口普查或联合国统计数据的常住人口数据）进行实例化。
   • 论文区分了容许性（规范性辩护）与测量充分性（来源代理是否准确测量了被容许的公众）。

2.2 桥接前提

论文区分了操作得分（计算出的 $\hat{q}_k$ 与构建的目标 $P^*_{geo}$ 之间的差异）与公平性估计量 (Fairness Estimand)（与详尽辩护的目标 $P^\dagger$ 之间的理论偏差）。

• 前提 A： 构成性不公平被定义为模型的极限组成与详尽辩护的目标之间的偏差。
• 前提 B： 操作得分能够充分估计这一公平性估计量。论文承认这需要三种替代方案（有限生成、来源代理以及非详尽的构建空间），并且并未声称这些问题已完全解决。

3. 实验设置：AP-Bench

为了实例化这一框架，作者引入了 AP-Bench，该基准测试包含来自六个前沿模型（GPT-5.6, Claude Sonnet 5, Gemini 3.5 Flash, Kimi K3, Llama 4 Maverick, Qwen3.7-Max）的 51,840 次生成。

• 范围： 12 个地理上下文，6 个角色（CEO、医生、护士、工程师、教师、清洁工），每个单元 30 个样本。
• 属性： 种族/族裔、宗教、性取向，以及性别到性别的诊断。
• 提示词： 包括隐式提示（未指定人口统计特征）和联合启发提示（明确要求人口统计特征但未指定具体数值）。
• 目标构建： 在地理成员身份解释下容许地理先验，并使用常住人口数据作为等人分配的运营来源。

4. 关键结果

4.1 与地理衍生目标存在显著偏差

在联合启发模式下，模型表现出与构建的地理衍生目标之间的显著偏差。

• 复合三模块 Jensen-Shannon 散度 ($JSD^2$) 在各模型间范围为 0.508 至 0.606。
• 这种偏差远大于由有限样本变异所能解释的范围（上限 99% 参考端点 $\approx 0.033$）。

4.2 对比较对象选择的敏感性

论文证明，公平性评估对目标的选择高度敏感。

• 在保持生成内容和测量方式不变的情况下，将地理衍生目标替换为等类别比较器（无论人口规模如何，为每个类别分配相等概率），会导致得分发生重大变化。
• $JSD^2$ 的平均绝对单元级变化范围为 0.279 至 0.355。
• 这种转变改变了模型的排名，并改变了在不同容忍阈值下单元被归类为“公平”或“不公平”的结果（有 12.8% 至 40.0% 的单元改变了分类）。

4.3 职业目标 vs. 地理目标

在针对美国 CEO 生成内容的诊断分析中：

• 模型生成了高比例的女性/妇女角色（77%–100%）。
• 与职业在职性目标（33.0% 女性）相比，这看起来是一个“成功”（更接近平权）。
• 与地理成员身份目标（49.8% 女性）相比，其偏差是显著的。
• 论文指出，采用职业目标意味着隐晦地承诺了对历史劳动力市场结果的忠实度，而这需要额外的辩护（例如劳动力模拟）才能成立。

5. 意义与主张

论文提出了关于公平性评估现状的温和但具有基础性的主张：

1. 目标构建是评估的一部分： 目标构建不是一个初步步骤，而是公平性评估的核心组成部分。仅提供一个目标而不进行辩护是不充分的。
2. 不存在通用目标： 论文并未提供一个通用目标。相反，它提供了一个辩护框架（四项承诺），使之能够明确在任何分布可以作为标准之前所需的规范性假设。
3. 拒绝默认目标： 论文认为，除非有独立辩护的目标（如劳动力忠实度），否则职业在职性不能作为公共世界表征的默认目标。地理成员身份在“被表征公众”的前提下被容许用于所述用途。
4. 举证责任： 其主要贡献在于转移了举证责任。评估者必须明确回答：正在分配什么？谁的表征算数（以及为什么）？如何分配质量？哪个来源实例化了目标？
5. 与伤害的区别： 论文澄清，测量与构建目标的偏差是一个诊断步骤，而非对表征伤害的直接测量。建立伤害需要关于暴露、机制和程度的额外前提。

作者总结道，在评估者能够明确辩护为什么特定的分布值得作为标准之前，公平性评估仍是不完整的。该框架允许拒绝特定的目标（例如职业目标），同时也为其他经过辩护的构建（例如纠正性目标）留下了空间，只要其前提得到了明确说明。