What if AI systems weren't chatbots?
本文认为，该行业对对话式聊天机器人接口的普遍依赖是一种非中性的社会技术选择，因其将对话的通用性置于领域特定性和问责制之上，从而导致了去技能化、经济集中和环境成本等重大结构性弊端，并主张转向多元化的、面向特定任务的人工智能系统与治理模式。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象人工智能（AI）的世界是一座庞大而繁忙的城市。几十年来，这座城市拥有许多不同的街区：有些是专为科学家设立的专业实验室，有些是为气象预报员提供的工具，还有些是为特定任务而设的安静工坊。但最近，整座城市决定拆除所有这些多样化的街区，转而建造一座单一、巨大、玻璃幕墙的购物中心，名为“聊天机器人”。
这篇题为《如果人工智能系统不是聊天机器人会怎样？》的论文，由华盛顿大学和微软等机构的研究人员撰写，认为将一切事物都变成对话式聊天机器人的做法是一个危险的错误。他们指出，尽管聊天机器人看起来友好且乐于助人，但实际上它们正以有害的方式重塑我们的社会、我们的大脑以及我们的星球。
以下是他们论点用简单类比进行的分解：
1. “魔法八号球”的幻觉（控制权的丧失）
想象你向朋友寻求建议。他们可能会说：“嗯，这得看情况”，或者“这里有三种不同的看待方式”。现在，想象你向聊天机器人提问。它通常会给出一个单一且自信的答案，仿佛那是宇宙中唯一的真理。
作者称这是一种陷阱。
- 幻觉：聊天机器人让你感觉拥有很大自由，因为你可以用通俗英语与它们交谈。
- 现实：它们实际上将你引向单一视角。它们掩盖了自己选择忽略其他观点、反论或杂乱细节的事实。这就像一位图书管理员只递给你一本书，并告诉你“这就是全部故事”，却将图书馆的其他部分藏了起来。
- 结果：你不再追问“还有什么其他可能？”，转而信任那个单一答案，从而丧失了自己判断的能力。
2. 为坏事提供“简易按钮”（新的危害）
聊天机器人被设计得极其易用。你只需输入想要的内容，事情就会发生。论文认为，这种“简易按钮”是危险的，因为它降低了制造危害的门槛。
- 类比：想象一套开锁工具，过去需要一位经过多年训练的大盗才能使用。现在，聊天机器人成了“魔法开锁器”，任何人都能通过简单的语音指令使用它。
- 危害：这使得恶意行为者能够在几分钟内制造深度伪造视频（真实人物的虚假视频）、未经同意的亲密图像以及虚假信息运动。这不仅仅是关于技术本身；而是聊天机器人界面让这一切变得如此简单，以至于任何人都能在没有任何技术技能的情况下成为操纵大师。
3. “认知萎缩”效应（你的大脑变懒了）
论文指出，依赖聊天机器人就像用轮椅走一段本可以轻松步行的短途。
- 类比：历史上，电子表格或搜索引擎等工具迫使你承担思考的“重活”：你必须核查来源、比较数据并构建自己的论点。聊天机器人则替你完成了这些工作。
- 结果：如果你让聊天机器人包办所有思考，你自己的“思维肌肉”就会开始萎缩。作者称之为“认知技能退化”。你可能很快得到答案，但却失去了理解“如何得出该答案”的能力，或者无法识别答案何时出错。他们还提到了“人工智能大脑疲劳”，即你的大脑因不断检查人工智能的工作而感到疲惫；以及“盖尔 - 曼遗忘症”，即你知道人工智能在某件事上撒谎，却依然信任它在其他所有事情上的说法。
4. “虚假朋友”（社会与关怀问题）
聊天机器人被设计得富有同理心，会说诸如“我理解”或“我在这里支持你”之类的话。
- 类比：这就像拥有一个机器人管家，它能完美模仿你母亲的声音，却没有灵魂。它可以模拟对话，但无法真正关心你。
- 危害：当孤独或脆弱的人开始将这些机器人视为真正的朋友或治疗师时，他们实际上是将情感需求外包给了一台无法承担责任的机器。如果机器人给出了伤害某人的错误建议，谁该负责？论文称此为“道德褶皱区”——责任坍塌到人类用户身上，而机器则毫发无损地离开。这有风险将“关怀”变成一种你购买的产品，而非一种你建立的关系。
5. “能量吸血鬼”（经济与环境成本）
聊天机器人模式极其贪婪。
- 类比：想象一座城市决定用一座单一、巨大且低效的发电厂为一切供电，该电厂全天候 24 小时运行。
- 成本：
- 金钱：为聊天机器人建设数据中心正在推高每个人的电费，对低收入家庭打击最大。
- 水资源：这些数据中心消耗数百万加仑的水用于冷却，而这些地区当地居民往往已经面临干旱。
- 劳动力：聊天机器人背后的“智能”往往建立在“全球南方”（如肯尼亚或印度）低收入工人的背上，他们仅靠微薄报酬标注暴力或创伤性内容，以使机器人更安全。论文将此称为“数字新殖民主义”——利用发展中国家的廉价劳动力来构建主要惠及富裕国家的产品。
提出的解决方案：多样化的生态系统
作者并非主张“摧毁所有人工智能”。他们说："停止让一切事物都变成聊天机器人。"
他们提议我们回归一个拥有不同街区的多样化城市：
- 专用工具：与其使用试图包办一切的聊天机器人，不如针对特定工作开发专用工具（例如用于数学的计算器或用于天气预报的专用引擎），这些工具不假装是人类。
- 模块化基础设施：与其构建一个巨大的黑箱，不如建立这样的系统：你可以看到齿轮的转动，检查工作，并在部件损坏时进行更换。
- 人类能动性：我们需要那些促使我们思考和决策的界面，而不是仅仅递给我们一个单一的、权威的答案。
简而言之：这篇论文认为，聊天机器人是一件“一刀切”的西装，对任何人都合身。它看起来时尚，但太紧，清洁成本高昂，并且让我们忘记了如何自己穿衣打扮。我们需要停止将人工智能强行塞入这个单一的对话盒子，转而构建真正尊重我们的智慧、我们的钱包以及我们星球的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。