💬 NLP

When Annotators Disagree, Topology Explains: Mapper, a Topological Tool for Exploring Text Embedding Geometry and Ambiguity

本文表明，作为拓扑数据分析工具的 Mapper 揭示了微调后的语言模型如何将嵌入空间重构为模块化、高纯度的区域，这些区域即使在人类标注者意见不一致时仍能保持结构置信度，从而相较于 PCA 或 UMAP 等传统可视化方法，为理解模型歧义性提供了更优越的诊断框架。

原作者： Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个巨大的、看不见的房间，里面挤满了成千上万人。每个人代表互联网上的一句话。在这个房间里，说相似话语的人站得很近，而说截然不同话语的人则站得很远。这就是计算机模型“思考”语言的方式：它们将词语转化为巨大多维空间中的点。

多年来，科学家们一直试图通过给这个房间拍一张二维照片（使用 UMAP 或 PCA 等工具）来理解它。但这篇论文认为，这些照片就像试图通过观察影子来理解一座三维雕塑。你会失去深度、曲线以及隐藏的关联。

以下是这篇论文使用一种名为 Mapper 的新工具所发现的，该工具更像是一张三维拓扑地图，而非一张扁平的照片。

问题：当人类无法达成一致时

研究人员查看了一组关于敏感话题（如政治或种族）的推文数据集。他们请五位不同的人类将每条推文标记为“冒犯性”或“非冒犯性”。

“简单”的推文（A++）： 所有人都达成一致。（例如，“我恨你”显然是冒犯性的）。
“困难”的推文（A0）： 人类无法达成一致。有些人认为这是冒犯性的，另一些人则认为不是。这被称为歧义。

通常，当人类意见不一致时，我们会假设计算机模型也会感到困惑。但研究人员想要了解，当模型面对这些令人困惑的推文时，其内部实际上在做什么。

工具：Mapper（“连点成线”的地图）

作者没有将三维房间压扁成二维照片，而是使用了 Mapper。

类比： 想象你试图绘制一个复杂洞穴系统的地图。
- 旧工具（UMAP/PCA）： 你在入口处拍了一张照片。你看到了一大块岩石。你无法分辨是存在独立的隧道，还是仅仅有一个大洞穴。
- Mapper： 你从不同角度照射光线，将洞穴切成重叠的层，然后在切片重叠处连接点。最终你会得到一张图（由节点和线条组成的网络），它向你精确展示隧道如何连接、在哪里分叉、以及在哪里是死胡同。

重大发现：模型“强制”建立秩序

研究人员发现，模型在处理人类意见不一致的“困难”推文时，有着令人惊讶的表现。

训练前（混乱的房间）： 当模型最初获得数据时，“冒犯性”和“非冒犯性”的人群散布在各地。地图看起来像一团混乱的云。
训练后（有序的房間）： 一旦模型学会了任务，它并没有简单地堆成两堆（一堆是冒犯性，一堆是非冒犯性）。相反，它建立了模块化社区。
- 即使是对于那些人类意见不一致的令人困惑的推文，模型也将它们分组到特定的、独特的区域中。
- 令人震惊的是： 在这些区域内部，模型极其自信。它会看着一组令人困惑的推文，然后说：“整个这个社区都是‘冒犯性’的！”并带有 98% 的确定性。

隐喻：
想象一群游客在争论一幅画是“艺术”还是“垃圾”。

人类： 他们五五开，意见分裂。
模型： 它走进来，看着整个群体，自信地宣布：“整个这个群体都是艺术！”它毫不迟疑。它为这个群体创建了一个“区域”，并赋予其单一标签，无视该区域内的人类仍在争论的事实。

这意味着什么

这篇论文声称，当模型感到困惑时，它并不是在“猜测”。相反，它重新组织空间以建立它自己的一套逻辑。

它创建了平滑、一致的区域，在这些区域中它觉得可以安全地做出决定。
它忽略了人类分歧的“噪音”，并强加了自己的结构。
这解释了为什么模型会过度自信：它们并不是在观察人类个体的困惑；它们是在观察数据被归类到的“社区”，而那个社区有一个清晰的标签。

为什么 Mapper 更好

作者表明，如果你使用旧的“照片”工具（UMAP），你可能会认为冒犯性推文都位于一个巨大、整齐的圆圈中。但 Mapper 揭示出，它们实际上位于许多不同的、互不相连的岛屿上，这些岛屿仅由细桥连接。

旧观点： “一切都被整齐地分开了。”
Mapper 观点： “这是一个复杂的岛屿网络。模型在每个岛屿上都很自信，但这些岛屿的分布方式被一张简单的照片所掩盖。”

总结

这篇论文认为，当人类对标签意见不一致时，计算机模型并不会感到困惑和摇摆不定。相反，它构建了一张新地图，将这些令人困惑的示例分组到特定区域，并自信地赋予它们单一标签。这种“拓扑”视角（观察形状和连接）揭示出，即使数据很混乱，模型实际上也是非常有结构的。并不是模型未能理解歧义，而是它找到了一种通过创建自己一致的（尽管有时是过度自信的）现实来解决歧义的方法。

以下是论文《当标注者意见不一致时，拓扑学提供解释：Mapper，一种用于探索文本嵌入几何结构与歧义性的拓扑工具》的详细技术总结。

1. 问题陈述

自然语言处理（NLP）模型通常使用标量指标（如准确率、F1 分数）进行评估，这些指标无法捕捉模型如何在内部表征歧义性，特别是在人类标注者意见不一致的场景中。

差距： 虽然先前的工作通过软标签或输出层面的置信度估计对歧义性进行了建模，但对于模糊实例如何在微调模型的高维嵌入空间中被结构性编码，目前了解有限。
现有工具的局限性： 标准的几何可视化工具（如 PCA 和 UMAP）往往过度简化高维结构。它们依赖欧几里得距离假设，这可能会扁平化复杂的、非凸的以及层次化的关系（这在双曲嵌入空间中很常见），从而导致对决策边界和邻域结构的误读。

2. 方法论

作者提出使用来自拓扑数据分析（TDA）的工具Mapper来分析文本嵌入的几何结构。与将数据投影到低维空间的降维技术不同，Mapper 构建了一个基于图的摘要，保留了连通性和局部结构。

数据集与模型

数据集： MD-Offense，包含 10,753 条英文推文，由五名人类标注者进行标注。
- 歧义性代理： 实例根据一致程度分类：A++（5/5 一致，无歧义）、A+（4/5）和A0（3/5，高歧义/不一致）。
模型： RoBERTa-Large（因其在不同歧义水平下表现强劲而被选中）。分析了预训练版本和微调版本。
嵌入： 从最后一层隐藏层的最终 [CLS] 标记中提取。

Mapper 算法实现

作者使用 KeplerMapper 库实现了 Mapper，配置如下：

过滤（透镜函数）： 使用六种不同的透镜函数将高维嵌入（ $d=1024$ $d = 1024$ ）投影到一维区间（ $k=1$ $k = 1$ ），以捕捉不同的几何属性：
- 质心投影： 与决策边界的一致性。
- PCA： 全局方差。
- 离心率： 与训练数据的距离（异常值检测）。
- L2 范数： 激活幅度。
- 随机投影： 基线。
覆盖： 投影空间被分辨率 $r=40$ 、重叠率 $\epsilon=0.3$ 的重叠超立方体（区间）所覆盖。
聚类： 在每个区间内，使用HDBSCAN（层次密度空间聚类）对数据点进行聚类，以避免强加固定数量的聚类，并处理变化的密度。
图构建： 节点代表聚类；如果节点共享数据点（由于重叠覆盖），则用边连接节点。

拓扑指标

为了量化结果，作者定义了三个指标：

组件纯度（CP）： 连通组件内节点的平均纯度（衡量类别同质性）。
边一致性（EA）： 连接具有相同多数类别标签的节点的边的比例（衡量全局一致性）。
多数匹配（MM）： 模型预测的多数标签与组件层面的真实多数标签之间的一致性。

3. 主要贡献

歧义性的拓扑视角： 本文引入 Mapper 作为一种诊断工具，以可视化微调模型如何重构嵌入空间，揭示模型并非简单地将类别坍缩为线性聚类，而是将其组织成模块化的、非凸的区域。
“结构性置信度”的发现： 研究揭示了一种潜在的张力：即使在人类标注者意见不一致的高度歧义数据（A0）中，模型也将这些实例组织成高度连贯、预测纯净的拓扑区域。模型表现出“过度自信”，即无论底层标签噪声如何，都将单一标签分配给整个拓扑组件。
优于几何工具： 作者证明，Mapper 揭示了 UMAP 和 PCA 所扁平化或掩盖的结构细节（破碎的区域、边界坍缩以及交织的类别）。

4. 关键结果

微调重构拓扑： 微调将嵌入空间从基础模型中的破碎状态转变为结构化的、模块化的拓扑。
- 纯度提升： 微调后，>98% 的连通组件表现出 $\ge90\%$ 的预测纯度，即使在歧义的 A0 子集中也是如此。
- 边一致性： 微调后，边一致性（EA）显著增加，表明相邻聚类之间的过渡更加平滑。
“过度自信”现象：
- 在 A0 子集（人类高度不一致）中，组件内的真实标签是嘈杂的（CP 约为 31.5%）。
- 然而，这些相同组件内的模型预测几乎是完全纯净的（CP 约为 98.0%）。
- 这表明模型通过强加粗糙的拓扑结构来解决歧义，将歧义实例分组到与其二元训练目标一致的区域，实际上“忽略”了人类不一致的细微差别。
鲁棒性： 这些发现在不同的透镜函数（1D 和 2D）以及不同的模型架构（BERT、DeBERTa、DistilBERT 等）中均成立，表明这是微调 Transformer 的基本行为。

5. 意义与启示

诊断工具： Mapper 提供了一种强大的方法来理解模型如何解决歧义，超越了标量指标，揭示了决策区域的内部几何结构。
挑战假设： 结果挑战了模型在歧义数据上失败是因为随机猜测的假设。相反，模型表现出系统性的、区域级别的行为，通过 carve out（ carve out 意为“开辟/塑造”）复杂的子结构来进行泛化，这些子结构可能与人类共识不一致。
未来方向： 作者建议，这些拓扑见解可以为主动建模策略提供信息，例如：
- 根据拓扑纯度选择训练子集。
- 设计考虑拓扑不确定性的微调方案。
- 针对歧义区域开发鲁棒性评估。
可复现性： 所有代码和配置均已开源，促进了拓扑 NLP 分析的进一步研究。

总之，该论文认为拓扑学解释了歧义的几何结构：微调模型不仅仅是学习分类；它们将嵌入空间重组为模块化的、高置信度的区域，这些区域往往覆盖了人类标注中存在的 uncertainty（不确定性）。