💬 NLP

The Proxy Presumption: From Semantic Embeddings to Valid Social Measures

本文通过引入构念效度协议（CVP）与反事实中和法，针对计算社会科学中的“代理假设”问题，对语义嵌入进行严格验证，确保其测量的是社会构念而非主题或风格等混淆属性。

原作者： Baishi Li, Ta Yu, Kelvin J. L. Koa, Ke-Wei Huang

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Baishi Li, Ta Yu, Kelvin J. L. Koa, Ke-Wei Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图衡量一项新发明的“创造力”。你决定使用一把高科技尺子，测量新发明与旧发明之间的距离。如果距离巨大，你就宣布这项发明“极具创造力”。

本文认为，在人工智能（AI）的世界里，研究人员正在这样做，但他们犯了一个危险的错误。他们假设，因为两件事在 AI 的数学模型中“相距甚远”，它们在现实世界中就一定是“不同”的。作者将这种假设称为**“代理预设”**。

以下是他们论点、解决方案和发现的一个简明分解。

1. 问题所在：“困惑的尺子”

作者指出，AI 模型（特别是那些将文本转化为数字的模型，称为“嵌入”）就像一台厨房搅拌机。

目标（C）： 这是你真正想要衡量的东西，比如“创造力”、“偏见”或“新颖性”。
噪声（Z）： 这是混入其中的其他所有内容，比如文本的主题、作者的写作风格、句子的长度或使用的具体词汇。

当你把文本放入 AI 搅拌机时，它会吐出一个单一的数字（向量）。问题在于，这个数字是目标和噪声混合而成的冰沙。

类比：
想象你想测量汤有多“辣”。你使用了一支温度计。但这支温度计对汤有多“热”（温度）也很敏感。

如果汤又热又辣，温度计读数很高。
如果汤很热但味道平淡，温度计也会显示高读数。

如果你只看高读数就说：“啊哈！这汤非常辣！”那你就错了。温度计实际上测量的是热度，而不是辣度。

在 AI 中，研究人员经常查看两篇文本之间的“距离”，然后说：“这篇文本非常有创造力！”但本文认为，AI 可能只是在测量这篇文本关于不同的主题，或者是以不同的风格写成的，而不是它实际上更具创造力。他们把“热度”（噪声）误认为是“辣度”（真正的概念）。

2. 数学证明：为什么你不能仅仅“猜测”

本文运用复杂的数学证明了一个简单的观点：你无法仅通过观察汤来将辣味与热度分离开来。

除非你拥有过滤热量的特殊工具，否则你永远无法确定温度计上的高温读数是因为辣椒，还是仅仅因为炉灶。同样，如果没有采取特殊步骤，AI 就无法知道一篇文本是“有创造力”的，还是仅仅“关于不同的主题”。数学证明，AI 的“尺子”从根本上就是困惑的。

3. 解决方案：“效度协议”（CVP）

为了解决这个问题，作者提出了一套新规则，称为构念效度协议（Construct Validity Protocol, CVP）。你可以将其视为任何试图用 AI 衡量社会概念的人的质量控制清单。

研究人员不再仅仅说：“这是创造力的得分”，而是必须证明他们的尺子确实衡量的是创造力，而不仅仅是噪声。该协议包含三个主要步骤：

步骤 1：定义食谱。 清楚地解释“创造力”意味着什么，以及它不意味着什么。
步骤 2：清理食材。 在测量之前，使用工具去除“噪声”。例如，如果你想衡量“政治偏见”，你可以使用 AI 重写文本以去除特定主题（如“税收”），这样你衡量的就只是态度，而不是主题。
步骤 3：“效度卡”。 这是一份成绩单，必须附在每项研究上。它包括：
- 稳定性测试： 如果你稍微改变字体或单词顺序，分数会保持不变吗？（如果不变，说明尺子坏了）。
- “不同主题”测试： 如果你谈论完全不同的主题，分数会改变吗？如果分数仅仅因为主题改变而变化，那么你的尺子衡量的就是主题，而不是概念。
- “现实世界”测试： 这个分数实际上能预测现实世界的结果吗？

4. “法医”式调查

作者不仅谈论理论，还像侦探一样行动。他们审查了17 篇最近的著名论文，这些论文声称使用 AI 来衡量“偏见”、“意识形态”和“创造力”等事物。

他们的发现：

大多数论文（17 篇中的 10 篇） 对所衡量的内容给出了良好的定义。
几乎所有论文 都展示了一些例子来证明其看起来是正确的。
但是，几乎没有论文 做了艰苦的工作来证明他们的尺子不仅仅是在衡量“噪声”。
- 只有1 篇论文证明了其衡量标准与其他类似衡量标准不同。
- 零篇论文证明了其衡量标准不仅仅是在追踪主题或写作风格。
- 零篇论文使用了将“辣味”与“热度”分离所需的严格数学方法。

结论： 作者称此为**“名称混淆谬误”（Jangle Fallacy）**。这是指两项不同的研究使用相同的名称（例如“偏见”），但实际上衡量的是完全不同的事物，因为他们没有检查他们的尺子是否干净。一项研究可能衡量的是“粗鲁的词汇”，而另一项衡量的是“政治主题”，但它们都称之为“偏见”。

5. 结论

本文得出结论，我们不能仅仅通过查看单词之间的距离就信任 AI 来衡量“创造力”或“偏见”等复杂的人类概念。

如果我们希望 AI 成为社会科学中有用的工具，我们就需要停止将 AI 的数学视为神奇的答案。我们需要使用效度协议来：

清除数据中的干扰因素（如主题和风格）。
证明当概念改变时，分数确实会发生变化。
证明当干扰因素改变时，分数不会发生变化。

在研究人员开始这样做之前，本文认为，我们只是在测量汤的“热度”，却假装知道它有多“辣”。

技术摘要：代理假设：从语义嵌入到有效的社会测量

1. 问题陈述：代理假设

本文指出了自然语言处理（NLP）在计算社会科学（CSS）应用中存在的一个根本性效度危机。尽管 NLP 正日益被用于通过语义嵌入来测量潜在的社会构念（例如新颖性、创造力、偏见、意识形态），但该领域依赖于一种“代理假设”。该假设认为，嵌入空间的几何属性（如余弦距离或相似度）可作为理论社会概念的直接、有效测量指标，而无需充分的实证验证。

作者认为，这种方法构成了一个不可识别问题。无监督嵌入将多个生成因子压缩为单一表示，导致目标构念（ $C$ ）与干扰属性（ $Z$ ，如主题、风格、语域、作者身份和长度）相互纠缠。在没有显式解缠或基于设计的控制的情况下，标准指标往往捕捉到的是方法方差（例如主题转移或词汇变化），而非预期的社会现象。本文将此形式化为一个病态逆问题：若无结构假设或干预措施，从观测文本中恢复潜在构念在理论上是不可能的。

2. 方法论框架

2.1 理论形式化

作者将文档生成建模为随机过程 $p_\theta(D | c, z)$ ，其中 $D$ 是文档， $c$ 是标量目标构念， $z$ 是干扰属性向量。

旋转模糊性：借鉴因果表示学习（Locatello 等人，2019；Schölkopf 等人，2021），本文证明，最大化数据似然的无监督目标无法区分真实的潜在基与任意旋转的基。因此，用于测量的学习到的嵌入维度是 $c$ 和 $z$ 的不可分割的混合体。
度量不确定性：即使拥有完美解缠的编码器，将几何函数（如余弦相似度或欧几里得距离）应用于完整嵌入也会失效，因为该度量可能由干扰方差（ $z$ ）而非构念方差（ $c$ ）主导。例如，高余弦相似度可能反映的是共享主题，而非概念相似性。

2.2 拟议干预措施

为减轻纠缠，本文概述了三级干预策略：

输入解缠：预处理文本以减少对 $Z$ 的依赖（例如，通过大语言模型仅提取与构念相关的片段、风格归一化或实体掩码）。
表示解缠：训练编码器以抑制 $Z$ 同时保留 $C$ ，使用对抗性移除、零空间投影或对比学习。
方法论解缠：设计抵消干扰贡献的评分函数。作者提出了反事实中和，即将测量定义为观测嵌入与反事实“中和”嵌入（其中构念信号最小化但 $Z$ 得以保留）之间的差异。

2.3 构念效度协议（CVP）

核心贡献是构念效度协议（CVP），这是一个从心理测量学和因果推断中改编而来的标准化流程，用于验证基于嵌入的测量。它包含三个阶段：

阶段 1：概念化：通过专家审查建立表面效度和内容效度。这包括定义构念、列举干扰维度，并创建“已知组”锚定集（高、低和临界示例）以审计决策边界。
阶段 2：操作化：利用上述干预措施设计减少纠缠的工具。
阶段 3：效度套件：一个结构化报告框架（“效度卡”），要求提供五种特定类型的证据：
1. 信度/稳定性：使用组内相关系数（ICC）测试对扰动（编码器变体、提示词改写）的鲁棒性。
2. 收敛效度：与同一构念的独立外部“金标准”测量指标的相关性。
3. 区分效度与增量效度：证明该测量指标与干扰因素（如主题、长度）不同，并且在外部验证标签上比这些因素具有额外的解释力。
4. 已知组效度：证明该测量指标能够区分预设的高构念组和低构念组。
5. 效标关联证据：在控制强干扰变量的同时，以理论预期的方向预测下游结果。

3. 主要结果与实证分析

3.1 实例分析（GoEmotions）

作者将 CVP 应用于 GoEmotions 数据集以测量“感激”。

信度：通过改变编码器、池化方法和归一化，他们实现了高稳定性（ICC(2,1) = 0.8467）。
区分效度：回归分析显示，代理分数很大程度上可从主题特征中恢复（ $R^2 = 0.7762$ ），表明与干扰变量存在显著纠缠。
增量效度：尽管存在纠缠，但在仅包含干扰特征的模型中加入代理分数，显著提高了对人类标签的预测能力（AUC 从 0.9658 提升至 0.9831），证明构念信号存在但与噪声混合。
误差分析：审计揭示了特定的失败模式，例如“谢谢”被讽刺使用时出现的假阳性，凸显了阶段 1 中“已知组”审计的必要性。

3.2 文献法医审查

作者对 17 篇提出社会构念计算指标的重要论文（2020–2025 年）进行了法医分析。

发现：虽然大多数论文提供了构念定义和表面/内容证据（通常通过定性示例），但它们普遍缺乏严格的识别证据。
- 区分效度：0 篇论文充分证明了区分效度（排除干扰替代）。
- 收敛效度：仅 1 篇论文在相同分析单位上建立了与独立工具的收敛性。
- 因果识别：样本中的论文均未使用因果识别方法来将构念与混淆因素隔离；依赖的是启发式方法或关联控制。
结论：文献经常记录代理已被定义且足够稳定以进行计算，但很少证明其隔离了预期的构念。这导致了“名称谬误”（Jangle Fallacy）的风险，即不同论文声称测量同一构念，但实际上追踪的是信号和噪声的不同混合体。

4. 主要贡献

不可识别性结果：形式化解释了为何无监督指标在没有显式假设或干预的情况下无法可靠地恢复潜在构念，证明统计独立性并不意味着解缠。
方法论解决方案：提出反事实中和，并将其与现有的去偏工具（对抗性移除、零空间投影）联系起来。
构念效度协议（CVP）：提供了一个面向社区的报告标准，从概念化过渡到结构化的效度卡，确保测量指标具有科学辩护性。
法医证据：记录了代理假设在近期文献中的普遍性，揭示了几何代理与有效社会测量之间的系统性差距。

5. 意义与主张

本文定位为立场与综合贡献，而非最终标准。其主要意义在于：

转移举证责任：论证“通过重命名进行测量”（将几何距离等同于社会概念）是不够的。效度必须通过实证证明，而非假设。
促进累积科学：通过标准化效度报告（通过效度卡），该协议旨在使不同研究的结果具有可比性，并降低主题/风格泄露伪装为社会信号的风险。
捍卫下游推断：强调如果变量构建缺乏效度，任何下游因果机器学习方法都无法严格确立因果关系。

作者明确表示，他们的目标并非禁止使用代理，而是使其可测试。他们承认局限性，指出其编码反映了报告的做法（可能低估了未发表的分析），并且 CVP 本身需要进一步的迭代和前瞻性实证案例研究，以量化实际成本和失败模式。其目标是将启发式代理转化为计算社会科学中稳健、具有科学辩护性的工具。