Generating the Modal Worker: A Cross-Model Audit of Race and Gender in LLM-Generated Personas Across 41 Occupations

这是一份关于论文《Generating the Modal Worker: A Cross-Model Audit of Race and Gender in LLM-Generated Personas Across 41 Occupations》（生成“典型”工人：41 种职业中 LLM 生成人设的种族与性别跨模型审计）的详细技术总结。

1. 研究背景与问题 (Problem)

随着生成式人工智能（GenAI）在专业角色描绘中的应用日益广泛，理解其种族和性别代表性偏见至关重要。现有的研究主要集中在图像生成或搜索结果的偏见上，但大语言模型（LLM）生成的文本数据（如用户画像、UX 研究数据、创意写作）同样存在严重的代表性扭曲。

核心问题：

• LLM 生成的职业人设在种族和性别分布上，与真实世界的劳动力统计数据（如美国劳工统计局 BLS 数据）存在何种系统性差异？
• 这种差异是简单的随机误差，还是表现为“刻板印象的夸大”（Stereotype Exaggeration）或“系统性偏移”（Systematic Shift）？
• 不同机构背景（美国、中国、欧洲）和训练管道的模型（GPT-4, Gemini, DeepSeek, Mistral）是否表现出相似的偏见结构，还是存在模型特有的偏差？

2. 研究方法 (Methodology)

研究团队设计了一项大规模审计实验，对比了四个主流 LLM 生成的 150 万个人物画像与真实的劳动力统计数据。

• 数据规模与对象：

  • 模型： GPT-4 (OpenAI, 美国), Gemini 2.5 (Google, 美国), DeepSeek V3.1 (DeepSeek, 中国), Mistral-medium (Mistral AI, 法国)。
  • 职业： 41 种美国职业（基于 BLS 2023 年数据，样本量均大于 5 万人）。
  • 生成量： 每个模型每种职业生成 10,000 个人物画像（DeepSeek 因 API 限制为 1,000 个），总计超过 150 万条数据。
  • 提示词（Prompt）： 统一使用固定模板："Generate a profile for: in the United States."（生成一个美国的个人资料）。未添加任何平衡指令，以测试模型内部训练分布的默认倾向。
  • 基准数据： 美国劳工统计局（BLS）的当前人口调查年度平均值（CPSAA 2023）。

• 分析框架：

  • 平均偏差（Average Bias）： 计算模型输出与 BLS 数据在百分比点（pp）上的差异。
  • 回归分解（Shift/Exaggeration Decomposition）： 使用广义逻辑回归分析模型生成比例与 BLS 比例的关系。
    • 截距 ($\alpha$)： 衡量系统性偏移（Systematic Shift），即某群体在所有职业中是否被普遍高估或低估。
    • 斜率 ($\beta$)： 衡量刻板印象夸大（Stereotype Exaggeration）。若 $\beta > 1$，表示模型放大了现实中的性别/种族隔离（例如，女性主导的职业生成更多女性，男性主导的生成更多男性）；若 $\beta < 1$，则表示削弱了差异。
  • 分布集中度（Within-Occupation Concentration）： 使用Top-1 份额（最频繁出现的类别占比）和**香农熵（Shannon Entropy）**来衡量模型是倾向于“模态生成”（Modal，即反复生成同一种族/性别）还是“分布生成”（Distributional，即模拟真实分布的多样性）。

3. 主要发现 (Key Results)

3.1 生成模式：模态化（Modal）而非分布化

• 性别： 所有模型在性别生成上均表现出强烈的模态化特征。对于大多数职业，模型倾向于将 100% 的生成结果分配给单一性别（中位数 Top-1 份额接近 1.0），导致生成数据的性别熵（Entropy）远低于 BLS 真实数据。
  • 例外： Gemini 在性别上表现出一定的分布性，但在特定职业（如厨师）仍回归刻板印象。
  • 反转现象： 部分模型（特别是 Gemini）在某些男性主导职业（如软件工程师、工程师）中过度生成女性，显示出安全微调可能导致的“过度矫正”。
• 种族： 除 Gemini 外，其他模型（GPT-4, DeepSeek, Mistral）在种族生成上也高度集中。Gemini 在种族分布上最接近 BLS 数据，但在特定职业（如家庭清洁工 99.9% 为西班牙裔）仍表现出极端的刻板印象。
• 混合种族： 所有模型几乎完全忽略了混合种族身份（<1% 的生成结果），而 BLS 数据显示混合种族在劳动力中占有一定比例。

3.2 系统性偏差与刻板印象夸大 (RQ1 & RQ2)

通过回归分析，研究揭示了以下系统性扭曲：

• 系统性偏移（Shift）：
  • 白人（White）： 普遍低估（-31 个百分点）。
  • 黑人（Black）： 普遍严重低估（-9 个百分点），在许多职业中几乎被“抹除”（Near-erasure），仅在保安、公交车司机等刻板职业中出现。
  • 西班牙裔（Hispanic）： 普遍高估（+17 个百分点），特别是在低地位服务行业（如家庭清洁工被高估约 48 个百分点）。
  • 亚裔（Asian）： 普遍高估（+12 个百分点），特别是在科学和专业领域（如生物学家、图书管理员）。
• 刻板印象夸大（Stereotype Exaggeration）：
  • 性别： 呈现出"S 形”曲线。模型在男性主导职业中进一步减少女性比例，在女性主导职业中进一步增加女性比例，放大了现实中的性别隔离。
  • 种族： 西班牙裔和亚裔的斜率显著大于 1，表明模型放大了他们在特定职业中的集中度；而黑人的斜率小于 1，表明模型倾向于在大多数职业中抹除黑人，仅在少数刻板职业中保留。

3.3 跨模型比较 (RQ3)

• 结构性收敛： 尽管四个模型来自不同的国家和机构（美国、中国、欧洲），它们在偏见模式上表现出惊人的一致性。这表明偏见源于共享的训练数据（网络语料库中的社会模式）和通用的预训练目标，而非单一模型的设计缺陷。
• 差异点：
  • Gemini： 在种族分布上表现出更强的多样性（更接近 BLS），但在性别上仍偏向模态化。
  • DeepSeek/Mistral/GPT-4： 在种族和性别上都表现出高度集中的模态生成。
  • 薪资生成： 所有模型都倾向于将薪资视为职业的固有属性，而非受性别影响，导致它们生成的男女薪资差距远小于 BLS 真实数据（压缩了现实中的性别工资差距）。

4. 主要贡献 (Key Contributions)

1. 大规模跨模型审计： 提供了迄今为止针对 LLM 生成职业人设的最大规模审计之一（150 万 + 数据点），涵盖了四个具有不同文化背景和机构来源的主流模型。
2. 新的分析框架（Shift/Exaggeration Decomposition）： 提出了一种将“系统性人口偏移”与“职业特定的刻板印象夸大”分离开来的诊断框架。这比单纯的平均偏差分析更能揭示偏见的结构（是整体抹除，还是极端化放大）。
3. 揭示“模态工人”现象： 发现 LLM 倾向于生成“典型”工人（Modal Worker），即每个职业对应单一的主导性别或种族，而非反映真实劳动力市场的多样性分布。
4. 结构性偏见的证据： 证明了不同机构训练的模型存在共同的偏见结构，暗示了偏见源于基础模型训练数据的共享特征，而非单一模型的后训练微调问题。

5. 意义与影响 (Significance)

• 对 AI 伦理与公平性的启示： 研究指出，生成式 AI 不仅仅是“反映”现实偏见，往往还会加剧（Exaggerate）或扭曲（Distort）这些偏见。例如，通过抹除黑人劳动者或过度集中西班牙裔在低薪服务行业，AI 可能强化社会刻板印象，影响用户对职业可能性的认知。
• 评估范式的转变： 传统的公平性评估往往关注整体多样性指标，而本研究强调需要评估合成人口如何系统性地重塑社会角色的可见性。仅仅追求“多样性”是不够的，必须关注分布的准确性（Distributional Accuracy）和极端情况的处理。
• 干预策略的复杂性： 由于不同模型表现出相似的结构性偏见，单纯依靠单一模型的后训练微调（Post-training）可能不足以解决问题。需要更系统的数据治理和评估框架，且需警惕“过度矫正”（如某些模型在 STEM 领域过度生成女性）带来的新偏差。
• 应用风险： 这些生成的人设正被用于 UX 研究、招聘模拟和产品开发。如果这些合成数据存在系统性偏差，将导致基于这些数据的决策（如产品设计、招聘策略）进一步边缘化少数群体。

总结

该论文通过严谨的量化分析证明，当前的 LLM 在生成职业人设时，并非随机地反映现实，而是系统性地构建了一个**“模态化”且“刻板印象化”的虚拟劳动力市场**。这种偏差具有跨模型的结构性特征，对理解生成式 AI 的社会影响及制定相应的治理策略具有重要的参考价值。