Social and Ethical Risks Posed by General-Purpose LLMs for Settling Newcomers in Canada

想象加拿大的移民安置部门是一个为来自世界各地的人们设立的巨大、繁忙的欢迎中心。它的职责是帮助新移民找到住所、工作、学校和医生，以便他们建立新生活。目前，这个中心已不堪重负。抵达的人数比以往任何时候都多，而工作人员却捉襟见肘。

由于工作人员忙于应对，许多新移民（甚至包括援助人员）正转向口袋里的“魔法机器人”：通用人工智能（如流行的 ChatGPT）。他们向它询问一切：“我在哪里找工作？”“我的孩子需要哪些疫苗？”“如何开设银行账户？”

本文是对那个“魔法机器人”的警示标签。作者指出，虽然这个机器人很聪明，但它并非专为这个特定的欢迎中心而建造。未经核查就直接“现成”地使用它，就像在异国城市向一位才华横溢但未经培训的游客问路一样——他们可能听起来很自信，但却很容易把你引向错误的道路。

以下是该论文发现的特定危险分解，使用了简单的类比：

1. “就业偏见”（刻板印象过滤器）

主张：当作者要求 AI 为新移民推荐工作时，答案会根据其原籍国而变化。
类比：想象一位招聘经理，他私下里认为来自 A 国的人只适合做清洁工作，而来自 B 国的人则是天生的领导者。

• 发生了什么：当 AI 被问及来自菲律宾或阿富汗的新移民时，它建议了“行政助理”等低薪工作。而当被问及来自英国或德国的人时，它则建议了“软件开发者”等高薪工作。
• 风险：AI 就像一个带有偏见的过滤器，仅仅因为人们的出生地，就将他们引离其实际具备资格的职业。

2. “语言鸿沟”（不平等的翻译器）

主张：AI 在英语中表现良好，但在许多其他语言中却挣扎甚至完全失效。
类比：想象一位医生英语说得完美，但只懂几句法语或西班牙语。如果你用母语询问健康状况，他们可能只是点头并给出模糊的回答，或者更糟，给出错误的建议。

• 发生了什么：当作者用英语询问儿童疫苗时，AI 给出了很好的回答。但当他们用索马里语、伊博语或泰米尔语等语言提问时，AI 提供的零条正确信息，有时谈论的是书籍或避孕措施，而不是疫苗。
• 风险：使用较少见语言的新移民得到的是“破损”版本的服务，这可能导致严重的健康问题。

3. “双头怪兽”（英语与法语）

主张：即使在加拿大的两种官方语言中，AI 也不公平。
类比：想象一本指南书，英语版有详细的 10 步地图，而法语版只有模糊的 8 步地图，遗漏了重要的转弯。

• 发生了什么：在询问如何开设银行账户时，英语答案是一个清晰的 10 步列表。而法语答案是一个遗漏了关键细节的 8 步列表。此外，英语版本允许用户选择自己的银行，而法语版本则未经询问就直接为他们选定了一家。
• 风险：说法语的新移民比说英语的邻居获得更少的控制权和更少的信息。

4. “仇恨全息图”（刻板印象与图像）

主张：AI 生成虚假的图像和故事，强化了对难民和移民的有害刻板印象。
类比：想象一位电影导演只将难民选角为悲伤的、戴着头巾的中东家庭，而忽略了难民来自世界各地，看起来与常人无异。

• 发生了什么：当被要求生成“难民家庭”的图像时，AI总是画出一个中东穆斯林家庭。当被问及“移民”时，它主要画出南亚家庭。它还假设父亲受过高等教育，而母亲受教育程度较低。
• 风险：这在人们心中制造了虚假的现实，使社会认为所有难民看起来和行事都一样，从而助长偏见，忽视了社区真正的多样性。

5. “自信的骗子”（幻觉）

主张：AI 编造听起来真实但完全虚假的事实。
类比：想象一位导游自信地指着一栋建筑说：“那是著名的图书馆”，而实际上那里是一片空地。导游说得如此肯定，让你相信了他们。

• 发生了什么：AI 编造了不存在的学校和社区中心的名称。它为真实的诊所提供了错误的地址。它告诉人们某诊所是“随到随诊”的，而实际上并非如此。
• 风险：还不熟悉这座城市的新移民可能会前往不存在的建筑，浪费时间和希望。

6. “过时的年鉴”（错误信息）

主张：AI 不知道现在正在发生什么。
类比：想象你向图书管理员询问今天的天气，但他们正在阅读三年前出版的书。他们会给你一个针对过去的“正确”答案，但这对于今天毫无用处。

• 发生了什么：当被问及安大略省的最低工资时，AI 给出了 2021 年或 2022 年的数字，尽管目前的费率要高得多。
• 风险：新移民可能会接受一份低于法律要求工资的工作，因为“机器人”告诉他们那是正确的费率。

7. “披着羊皮的狼”（恶意使用）

主张：不良行为者可以利用此 AI 欺骗新移民。
类比：想象一名骗子使用高科技变声器，听起来完全像警察或银行经理，以窃取你的钱财。

• 发生了什么：作者表明，虽然 AI 有一些安全保护措施，但精明的骗子可以诱骗它编写虚假的租房广告、创建虚假的身份证件图像，或撰写针对脆弱新移民的电话诈骗脚本。
• 风险：新移民由于对系统运作方式尚感困惑，很容易成为这些 AI 生成诈骗的目标。

解决方案：不要解雇机器人，而要更好地训练它

本文并非主张禁止 AI。相反，它指出我们需要停止为这项特定工作使用“现成”的机器人。

• 定制工具：我们需要构建一个专门的 AI，仅基于经过验证的加拿大移民安置数据进行训练，而不是整个互联网。
• 人机协作：就像飞行员需要副驾驶一样，AI 应该是移民安置工作人员的助手，而不是替代品。在 AI 的产出传递给新移民之前，必须由人类专家进行检查。
• 教授数字素养：需要教导新移民，“魔法机器人”可能会撒谎，因此他们知道要双重核查重要事实。

简而言之：目前的 AI 就像一个好心但未经培训的实习生，渴望帮忙却不断编造事实并表现出偏见。为了新移民的安全，我们需要用一位经过专门训练、受监督且经过仔细培训的助手来取代这位实习生。