Who Evaluates AI's Social Impacts? Mapping Coverage and Gaps in First and Third Party Evaluations
本文通过分析 186 个第一方和 248 个第三方评估来源，揭示了一个关键的治理差距，即开发者提供的社会影响报告内容稀疏且流于表面，而独立评估者提供的评估虽更广泛但并不完整，最终呼吁制定旨在强制透明度并加强独立评估生态系统的政策。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，人工智能（AI）的世界就像一个巨大且繁忙的厨房，厨师们（开发者）每天都在创造新的、功能强大的食谱（AI 模型）。这些食谱非常强大，可以写故事、解数学题，甚至生成图像。但在这些食谱面向公众之前，我们需要知道：它们安全吗？它们是否合所有人的口味，还是会让某些人生病？它们是否消耗了过多的电力？
这篇题为**《谁在评估 AI 的社会影响？》的论文，就像是一群食品评论家和卫生检查员，试图弄清楚究竟是谁在检查这些食谱的安全性和公平性。他们研究了186 份官方报告**（由厨师本人编写的“第一方”报告）以及 248 份报告（由外部评论家和独立测试者编写的“第三方”报告）。
以下是他们的发现，用简单的术语进行了分类：
1. 厨师们不擅长编写自己的健康报告
当一位厨师推出新菜品时，他们通常会附上一份“模型卡”（类似于营养标签）。研究人员发现，这些标签往往模糊不清、不完整或完全缺失。
- 问题所在： 厨师们很擅长说“这道菜烹饪速度很快！”（技术性能），但对于“这道菜可能会让某些人感到辛辣”（偏见）或“制作这道菜需要消耗大量水资源”（环境成本）等问题，却表现得非常沉默。
- 趋势： 在过去，厨师们对这些问题的态度较为开放。但最近，关于环境成本和偏见方面的报告实际上变得更差了。厨师们似乎在淡化这些话题，可能是因为他们不想表现得不好看，或者认为解释这些问题太复杂了。
2. 独立的评论家正在承担重任
由于厨师们没有写好报告，外部评论家（第三方评估者）介入了。
- 好消息： 这些独立测试者做得要好得多。他们发现了那些“辛辣”的部分（偏见），检查了食物是否对每个人都安全（有害内容），并测量了菜品对不同人群的表现。
- 局限性： 评论家只能尝到食物的味道，却看不见厨房内部。他们不知道烤箱到底用了多少电，食材成本是多少，或者厨房工作人员（负责整理数据的人类）受到了怎样的对待。只有厨师才知道这些秘密。
3. “缺失”的配料
研究人员调查了七个特定的“社会影响”领域（即 AI 如何影响社会）。以下是每个领域的现状：
- 敏感内容（毒性）： 这是被报道最多的领域。每个人都担心 AI 会说出难听的话，因此厨师和评论家都经常讨论这个话题。
- 偏见与公平性： 这里有一些报告，但随着时间的推行情况正在恶化。厨师们开始说，“这太难衡量了，”或者“现在这在政治上太敏感了。”
- 环境成本： 这是一个巨大的缺口。厨师们以前会报告他们的模型使用了多少能源，但这种报告量大幅下降。这就像一家餐厅拒绝告诉你它浪费了多少水一样。
- 劳动力与人权： 这是最大的盲点。几乎没有人报告关于标注数据或审核内容的人员情况。这就像餐厅从未提及洗碗工的工作条件一样。
- 隐私与成本： 这些领域很少被详细报道。
4. 为什么厨师们在隐瞒真相？
研究人员采访了公司内部的人员以了解原因。他们发现了两个主要原因：
- 恐惧： 如果厨师承认他们的菜品有缺陷，可能会损害他们的声誉或让他们陷入法律麻烦。因此，他们保持沉默。
- 激励机制： 只有当测试有助于销售菜品或政府强制要求时，厨师才会去做这些繁琐的测试工作。如果透明度不能带来利润，他们就不会去做。
5. “名厨”偏见
研究还注意到，外部评论家主要关注那些最著名的厨师（如美国和中国的厨师），因为他们的菜品很受欢迎。
- 结果： 规模较小的厨师或来自不太知名地区的厨师几乎得不到任何关注。他们的“食谱”可能同样危险，但因为没在流行趋势中，所以没人去检查。
总结
论文认为，我们不能仅仅通过阅读公司编写的标签来信任 AI 的安全性。
- 差距： 我们在 AI 如何影响环境、构建 AI 的人以及用户隐私方面，存在着巨大的知识鸿沟。
- 解决方案： 我们需要新的规则（政策）来强制厨师保持诚实。我们也需要建立一个更好的系统，让独立的评论家能够获得履行职责所需的数据，并且我们需要保护那些敢于发声的人，以免他们受到惩罚。
简而言之：厨师们在隐瞒厨房里凌乱的部分，而独立的检查员正尽力窥探内部，但如果没有厨师的配合，他们无法看到一切。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。