Bye Bye Perspective API: Lessons for Measurement Infrastructure in NLP, CSS and LLM Evaluation
本文批判了自然语言处理和大型语言模型研究对现已关闭的专有 Perspective API 的结构依赖，指出其不透明的更新机制以及对毒性概念的单一操作化导致了不可复现的研究结果，并呼吁建立独立、有效且可复现的测量基础设施，以防范未来出现类似的认知风险。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象互联网是一个巨大而混乱的广场，每秒都有数百万人在这里呐喊、争吵和分享故事。为了防止这个广场陷入彻底的混乱，研究人员需要一种方法来自动识别那些恶毒、充满仇恨或具有毒性的呐喊。
近十年来，整个广场依赖一个名为Perspective API的单一免费工具来完成这项工作。它就像一个由一家科技公司（Google 旗下的 Jigsaw）拥有的通用“毒性计量表”。每个人都用它来衡量人们有多粗鲁，来评估新 AI 聊天机器人的“安全性”等级，并研究网络行为。
现在，这个计量表的拥有者将在 2026 年底将其关闭。本文认为，虽然失去这个工具令人遗憾，但真正的问题在于整个研究社区将他们的“房屋”建立在一个他们既不拥有、也不理解、更无法修复的基础之上。
以下是本文论证的分解，使用简单的类比：
1. “黑盒”计量表
想象你买了一个秤来称量你的杂货。你信任它，因为它是免费的，而且其他人都在用。但你意识到：
- 拥有者会改变砝码：每隔几个月，公司就会在不告知你的情况下，秘密更换秤内部的弹簧。有一天，一袋 5 磅重的苹果重 5 磅；第二天，它重 6 磅，但秤仍然显示"5"。
- 说明含糊不清：公司说：“这测量的是‘坏’。”但他们从未解释什么是“坏”。是声音大？是粗鲁的词？还是某种特定的侮辱？他们只是给你一个 0 到 1 之间的数字，然后说：“你自己决定多高算太高。”
- 缺乏语境：这个秤只孤立地称量苹果。它不知道这个苹果是被扔向某人（有毒），还是有人在拿苹果开玩笑（无毒）。它将每句话都视为仿佛漂浮在真空中。
2. “循环”陷阱
因为这个计量表太容易使用，研究人员开始用它来训练其他计算机成为检测恶意的机器。
- 循环：他们使用 Perspective API 来标注数据（例如，“这句话有毒”）。然后，他们利用这些数据训练新的 AI 模型。最后，他们通过观察这些新模型是否与 Perspective API 一致来测试它们。
- 问题：这就像一个学生参加考试，然后用答案钥匙给自己打分，接着声称自己是天才，因为他们得了 100%。他们并没有测量“毒性”；他们只是在测量“你与 Google 当前对毒性的定义有多一致”。
3. 隐藏的偏见
因为这个计量表不理解语境或文化，它犯下了研究人员无法看见或修复的持续错误：
- 惩罚受害者：它经常将边缘化群体使用的词汇（如被重新夺回的蔑称或 LGBTQ+ 术语）标记为“有毒”，因为它不知道是谁在说，也不知道为什么。
- 遗漏真正的仇恨：它漏掉了微妙、隐晦的仇恨言论，因为它只寻找表面上的粗鲁词汇。
- 语言偏见：它对德语文本的严格程度远高于英语文本，这并不是因为德语更粗鲁，而是因为训练该模型的人具有不同的文化偏见。
4. “突然关闭”的冲击
当公司宣布关闭该 API 时，他们没有留下任何手册、备份或版本历史记录。
- 结果：过去十年里所有依赖此工具撰写的研究论文现在都变得“不可复现”。如果你试图今天运行相同的实验，你无法得到相同的结果，因为他们用来测量的“尺子”已经不存在了。这就像试图用一把已被熔化的尺子来测量建筑物的高度。
5. 警告：不要只是更换计量表
作者警告说，最简单的解决方案——直接使用另一家大型科技公司（如 OpenAI）的新闭源工具——是一个陷阱。
- 风险：这些新工具也是“黑盒”。它们可能透明度更低，使用从被剥削的工人那里收集的数据进行训练，并且在没有警告的情况下进行更新。如果我们只是用一个黑盒替换另一个黑盒，我们只是在重复同样的错误。
解决方案：建造我们自己的尺子
本文呼吁研究社区停止将测量视为由他人提供的“服务”。相反，他们需要建立自己的基础设施。这个新系统必须具备：
- 开源：每个人都可以看到它是如何工作的，并检查其中的数学原理。
- 语境感知：它需要知道谁在说话，他们在对谁说话，以及对话的历史。
- 社区参与：“毒性”的定义不应由一家公司决定；它应涉及被测量的社区。
- 透明度：我们需要确切知道数据是如何被标注的，以及是谁进行了标注。
简而言之：本文认为，依赖单一、秘密的企业工具来衡量人类行为是一个错误。该工具的关闭是一个警钟。研究人员需要停止被动地使用企业工具，转而开始建立自己的开放、公平且透明的方式来衡量重要之事。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。