Quantifying and Predicting Disagreement in Graded Human Ratings
本文通过提出对立指数来量化视角分歧，并证明文本特征能够适度预测标注方差以及存在对立人类观点的实例难度，从而研究了针对不当语言分级人工评分中的分歧模式。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你正在举办一场比赛，要求人们给特定句子的“粗鲁”程度打分。你请五位不同的评委查看同一句话，并给出从 0（完全不粗鲁）到 4（极其粗鲁）的分数。
有时，五位评委完全一致。他们都给了"0"分。而有时，评委们则意见分歧：两人认为是"0"，三人认为是"4"。这就是论文中所称的分歧。
研究人员想知道两件事：
- 我们能否仅通过观察句子本身，就预测评委们会有多大分歧？（他们会达成一致，还是会争执不下？）
- 我们能否预测评委们是否会持有完全相反的观点？（是否有一半人认为这无害，而另一半人认为这很糟糕？）
以下是他们如何利用简单的类比来解决这个问题的：
1. 问题所在：并非所有争论都一样
过去，研究人员将所有分歧同等对待。但这篇论文指出，这就像把关于晚餐吃什么的轻微分歧，与激烈的政治争论混为一谈。有些句子非常清晰，大家意见一致（低分歧）；而有些句子则棘手、模棱两可，或取决于个人价值观，导致评委们投票分裂（高分歧）。
研究人员专注于“不当语言”（如仇恨言论或有毒评论），因为这是人们观点冲突最激烈的领域。
2. 新工具：“对立指数”
为了衡量评委们争执的程度，研究人员发明了一种名为对立指数（Opposition Index）的新标尺。
- 类比： 想象一个跷跷板。
- 如果所有人都坐在中间，跷跷板是平的。这就是共识（低指数）。
- 如果所有人都坐在一侧，跷跷板倾斜但稳定。这代表单方面的强烈共识（低指数）。
- 如果一半人坐在最左边，另一半人坐在最右边，跷跷板虽然完美平衡，却充满混乱。这就是极化（高指数）。
“对立指数”精确计算这种混乱的“平衡”程度。得分为 1 意味着群体在两种极端观点之间完美分裂；得分为 0 意味着大家意见一致。
3. 实验：预测混乱
研究人员构建了计算机模型（人工智能），在人类评分之前先查看句子，并尝试预测：
- 方差： 分数会有多大程度的分散？（它们是紧密聚集，还是分散开来？）
- 对立： 分数是否会分裂成两个对立的阵营？
他们尝试了两种主要方法来训练人工智能：
- 方法 A（直接）： 告诉人工智能，“直接猜出代表分歧的那个数字。”
- 方法 B（分布）： 告诉人工智能，“预测每个人选择 0、1 等的完整分布情况，然后据此计算分歧。”
4. 他们的发现
- 人工智能在预测“分散程度”方面尚可，但并不完美。 计算机模型能以“中等”的成功率预测分歧水平。这就像天气预报说“有下雨的可能”，而不是“肯定会下雨”。
- 方法 B 略胜一筹。 训练人工智能去预测整体图景（投票分布），而不仅仅是最终的分歧数字，更有帮助。通过理解投票的形态，人工智能更好地掌握了分歧的结构。
- 人工智能难以应对极端冲突。 模型擅长识别人们达成一致或轻微分歧的情况。然而，当评委们极度极化（跷跷板完美平衡，人们分坐两端）时，人工智能往往会低估这种情况。它预测的是“中等”冲突，而实际却是“巨大”冲突。
5. 为什么会发生这种情况？
论文提出了几个原因，解释为什么人工智能无法完美预测这些极端冲突：
- 罕见事件： 训练数据中极端极化的例子太少，人工智能无法从中学习模式。
- 隐藏因素： 有时，分歧并非源于屏幕上的文字，而是源于评委的个人生活、政治观点或文化背景。人工智能只能阅读文本，无法读懂评委的内心。
- 噪声： 如果某位评委心情不好，给出了奇怪的评分，就会扰乱数学计算，让人工智能感到困惑。
结论
论文总结道，虽然我们无法仅通过阅读文本来完美预测人类的争论，但我们可以获得一个相当不错的估计。最重要的启示是：有些句子本质上就比其他句子更难判断。
研究人员建议，未来在我们需要标注数据（例如训练人工智能检测仇恨言论）时，不应将所有句子一视同仁。对于那些人工智能预测会引起最大分歧的句子，我们应该投入更多时间和更多人类评委；而对于那些大家意见一致、容易判断的句子，则可以节省时间。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。