Whose Alignment? Comparing LLM Process Alignment Across Diverse Organizational Decision Contexts
本文认为，将大语言模型与组织决策相协调需要衡量过程对齐（即信息如何被加权），而不仅仅是输出一致性，并通过对比案例研究证明，尽管过程对齐在法律语境下能预测准确性，但在消费者信贷等争议性领域，它可能编码歧视性模式，从而揭示了组织对齐的多元性本质。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在聘请一位新助理来协助公司做出重要决策。你希望这位助理的思考和决策方式与贵公司完全一致。
大多数人认为“对齐”仅仅意味着：“助理给出的最终答案（是/否）是否与公司的答案相同？”
本文认为，这种看待问题的方式是危险的。这就像仅凭食物是否美味来评判一位厨师，而不检查他是否使用了正确的食材或遵循了食谱。作者提出了一种名为 CALM（情境化对齐透镜模型）的新方法来衡量对齐。CALM 不仅检查最终答案，还考察助理如何权衡不同的线索以得出该答案。
以下是他们研究发现的分解，使用了简单的类比：
核心问题：“答案正确，理由错误”的陷阱
想象一位侦探试图侦破一起犯罪案件。
- 组织（警长）： 通过查看动机和不在场证明来破案。
- 人工智能（新侦探）： 通过查看嫌疑人衬衫的颜色和时间来破案。
如果警长和人工智能在 80% 的案件中都猜出“有罪”，那么在纸面上看，他们的表现似乎完全对齐。但人工智能使用的是错误的逻辑。如果出现一个全新的、奇怪的案件，其中衬衫颜色无关紧要，人工智能就会失败，而警长则会成功。本文将这种情况称为“知识差距”。
两项实验
研究人员在两个截然不同的领域中测试了这一想法，以观察“像老板一样思考”是否真的重要。
研究 1：法庭（欧洲人权法院裁决）
设置： 他们要求人工智能模型扮演欧洲人权法院的法官。
类比： 把这想象成一本食谱书。评判这些案件的规则清晰、成文且稳定。所有人都同意哪些食材（线索）是重要的。
结果：
- 当被告知要像法官一样思考时，人工智能模型的表现有了显著提升。
- 魔法链接： 在这个世界里，如果人工智能开始像法官一样思考（使用正确的线索），它几乎总能得出正确的答案。
- 启示： 当规则清晰且达成共识时，让人工智能“像组织一样思考”是使其更准确的有效方法。
研究 2：银行（德国信贷决策）
设置： 他们要求人工智能模型扮演 20 世纪 90 年代的一家德国银行，决定谁可以获得贷款。
类比： 把这想象成一个坏掉的指南针。这家银行旧的规则基于历史，但其中一些规则是不公平的（歧视女性、老年人或外国工人）。“食谱”是有缺陷的。
结果：
- 魔法链接断裂： 在这里，让人工智能“像银行一样思考”并没有使其更擅长预测谁会偿还贷款。人工智能可以完全像银行一样思考，却得出错误的答案；或者以不同的方式思考，却得出正确的答案。
- “过度修正”故障： 当他们告诉一个模型“嘿，你拒绝了太多人，修正一下”时，其中一个模型变得疯狂，批准了所有人（99.5% 的人），彻底破坏了系统。
- 公平性之争： 人工智能模型似乎“知道”银行的一些旧规则（如基于性别或年龄进行评判）是不公平的。它们积极抵制在这些特定点上遵循银行的指令。
- 启示： 在混乱且充满争议的情况下，仅仅复制组织的思考过程并不总是好的。有时，组织的“思维方式”本身就是问题所在。
主要结论
本文得出结论，我们不能只问“人工智能是否同意我们的观点？”，而必须问“我们在与谁的价值观对齐？”
- 在清晰、公平的系统中（如法庭）： 将人工智能的思考过程与组织对齐是有益的，并能提高其准确性。
- 在混乱、不公平的系统中（如旧银行）： 将人工智能的思考过程与组织对齐可能只会使其成为一个更高效的歧视者。
最终比喻：
如果你正在训练一只狗去捡球：
- 研究 1 就像在公园里训练狗捡球。如果狗学会了正确的捡球方式，它每次都能把球捡回来。
- 研究 2 就像训练狗去捡一个实际上是炸弹的球。如果狗学会“完全按照主人的意愿”去捡这个炸弹，那将是一场灾难。
作者表示，我们需要一种工具（CALM）来检查人工智能如何思考，而不仅仅是它决定了什么。这有助于我们看清人工智能是在遵循一个好的食谱还是一个坏的食谱，这对于贷款和法律裁决等高风险决策至关重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。