Studying People to Study AI: Expert Perspectives on the Epistemic Fit and Barriers of Human Research in AI Safety & Ethics

想象一下，你正试图制造一个能够说话、思考并帮助人类的机器人。你想确保这个机器人是安全的，不会意外伤害他人或说出伤人的话。为此，科学家们一直在进行测试。但棘手的部分在于：这些测试大多像是在玩一场机器人与另一个机器人对话的电子游戏。它们模拟了人类可能做出的反应，或者利用数学来检查机器人是否遵循了规则。这种方式快速、廉价，且易于在一天内运行一百万次这种“机器人对战机器人”的游戏。

然而，这里有一个大问题：仅仅通过玩电子游戏并不能保证安全。即便一个机器人在针对另一个机器人的测试中通过了，也不代表它在遇到一个真实、复杂且充满情绪的人类时是安全的。真实的人类是复杂的。他们会感到困惑，会有情绪，也可能会以模拟实验永远无法预见的各种方式去戏弄机器人。这篇论文提出了一个简单但巨大的问题：为什么这么多科学家仍然在用机器人玩电子游戏，而不是通过与真人交谈来观察实际情况？

---

伟大的机器人测试：为什么我们需要真人，而不只是模拟实验

这篇论文就像一部侦探小说，调查着人工智能安全领域一个奇怪的鸿沟。研究人员（来自多伦多大学和麦吉尔大学等大学的专家团队）想要了解，为什么人工智能安全与伦理（以下简称 AISE）领域对于在实验中使用真实人类表现得如此犹豫。

把 AISE 想象成一个巨大的车间，人们正在那里尝试制造尽可能安全、符合伦理的机器人。在这个车间里，有不同的专家组。有些是热爱代码、数学和运行模拟的**技术型（Technical）奇才；另一些是关注人类如何感受以及如何与技术互动的社会技术型（Sociotechnical）侦探；还有负责规则和法律的治理型（Governance）人士，以及担忧什么是“正确”或“美好”的规范型（Normative）**思想家。

该论文的主要发现是，尽管车间里的每个人都同意与真人交谈至关重要，但技术型群体却在很大程度上忽略了这一点。他们更倾向于使用快速、干净的计算机模拟。作者发现，这不仅仅是因为技术型专家优先考虑效率，更是因为他们对于什么才算作“证据”有着不同的理解方式。

“电子游戏” vs. “现实世界”

作者描述了一个主要的分歧。技术研究人员通常将人类视为数学方程中的变量。他们想要用尺子和秒表来测量事物。如果他们无法完美地测量某样东西，他们往往就不信任它。他们担心与真人交谈是“混乱”的。

想象一下，你正在测试一座新桥梁。

• 模拟方法： 你在电脑上构建了一个完美的数字桥梁模型。你在其中运行了一百万场风暴。电脑说：“它是100%安全的！”这既快速又廉价。
• 人类研究方法： 你实际建造了这座桥，并请真实的人走在上面。也许有些人感到害怕，也许风的感觉与电脑预测的不同，也许桥梁会以模型未曾预料的方式晃动。

论文指出，AISE 目前过度痴迷于计算机模型。他们正在运行数十亿次模拟（就像前面提到的“电子游戏”）来观察 AI 是否安全。但作者认为，这样做是有风险的。如果你只在电脑里测试你的桥梁，你可能会错过这样一个事实：当风吹过时，真实的人会感到恐慌，或者桥梁发出的怪声会吓到他们。

“人类洗白”（Human-Washing）陷阱

论文中警告的最有趣现象之一，是作者称之为**“人类洗白”**的行为。这类似于“漂绿”（green-washing），即一家公司在瓶子上贴上叶子以使其看起来环保，但实际上并不环保。

“人类洗白”发生于研究人员仅仅为了“打卡”而宣称：“嘿，我们和一些人聊过了！”但他们并没有真正倾听，也没有提出正确的问题。他们只是在研究中加入了一些人类，让研究看起来像是做了真正的研究，但并没有改变他们的研究方法。作者认为这是危险的，因为它提供了一种虚假的安全感。这就像在墙上挂了一个假的灭火器；它看起来你已经做好了准备，但如果火灾发生，它根本不起作用。

障碍：为什么他们不直接去做？

你可能会问：“如果大家都同意人类研究是好的，为什么不去做更多呢？”论文发现了阻碍他们的三堵大墙：

1. 金钱与时间之墙： 与真人交谈既昂贵又缓慢。作者指出，运行一次计算机模拟的成本可能不到 1,000 美元。但一项针对真实人类的严肃研究呢？那可能需要 300,000 美元甚至更多。此外，寻找合适的人选、获得伦理委员会的许可以及运行测试都需要数月时间。这就像是画一张蛋糕的图画与为派对烘焙一个巨大蛋糕之间的区别。
2. 导师之墙： 许多年轻的研究人员想要研究真实的人类，但他们的老板（导师）却告诉他们不要这样做。论文分享了一些学生的故事，他们的导师说：“别做那个，那不是‘真正的’科学，”或者“就守着代码吧。”这使得年轻科学家不敢尝试人类研究，因为他们认为这会影响职业生涯。
3. “混乱数据”之墙： 技术研究人员经常觉得人类数据令人沮丧。人类并不总是以同样的方式回答问题。他们会撒谎，会疲劳，或者会说一些奇怪的话。对于一个热爱完美数字的计算机科学家来说，这感觉就像系统中的一个漏洞（bug）。但作者认为，这种“混乱”恰恰是数据中最重要的部分，因为它是真实的生活。

“想做”与“实做”之间的差距

研究人员调查了 93 位专家，并对其中 17 位进行了深度访谈。他们发现了一个巨大的鸿沟。几乎所有人都在说他们想做更多的人类研究，他们也同意这很有价值。但当他们观察人们实际在做什么时，数字要低得多。

这就像是一个健身房，每个人都说：“我真的很想变得强壮并举起杠铃，”但当你观察器材时，却发现没人真的在举重。他们只是在读关于举重的书。技术型群体是最不容易“举起重量”的；他们更喜欢看书（模拟实验）。

我们应该怎么做？

这篇论文不仅指出了问题，还提出了几个解决思路：

• 停止“人类洗白”： 我们需要确保在包含人类参与时，做到真正的专业。我们需要尊重他们的时间并倾听他们的声音，而不是仅仅把他们当作道具。
• 改变资金分配： 资助机构（发放拨款的人）需要意识到人类研究成本更高。他们应该为这些项目提供更多资金，以免它们被高昂的价格压垮。
• 混合团队： 我们需要更多从一开始就让“代码奇才”与“人类专家”共同工作的团队。目前，他们通常在各自独立的房间里工作。作者建议，如果一名技术研究人员想要构建安全的 AI，他需要与理解人类真实行为的社会技术研究人员进行交流。

总结

这篇论文表明，人工智能安全领域目前过于关注完美的计算机模型，而忽略了真实、复杂的人类世界。虽然模拟实验很有用，但它们无法取代只有通过与真人交谈才能获得的真相。如果我们想要构建真正安全的人工智能，我们就需要停止将人类视为数学方程中的变量，而是开始将他们视为自身生活的专家。

作者并不是说模拟实验不好；他们是说，仅仅依赖模拟实验就像是试图通过阅读一本关于水的书来学习游泳。你需要让自己湿透。而现在，人工智能安全界大多还保持着干爽，只是在读书，并寄希望于水是安全的。