Algorithmic Transparency in Forecasting Support Systems
本文认为，虽然预测支持系统中的算法透明度可以减少有害的预测调整，但允许用户在缺乏充分培训的情况下直接修改透明组件会导致不利后果并降低满意度，这表明仅有透明度而缺乏适当指导是不够的。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位飞船（一家企业）的舰长，正试图预测两周后你们会身处何处。你有一位超级聪明的机器人领航员（一种算法），它通过计算数据来为你规划航线。但问题在于：大多数舰长并不仅仅是信任机器人，他们还会夺过控制权，亲自微调航线。有时这确实有帮助，但通常情况下，这只会让飞船偏离轨道，左右摇摆。
这篇论文就像是一个实验室实验，旨在研究如何构建一个让舰长与机器人协同工作的最佳仪表盘。研究者 Leif Feddersen 设置了三种不同类型的仪表盘，以观察“透明度”（向舰长展示机器人是如何思考的）如何改变最终结果。
三种仪表盘
- “黑箱”模式（不透明）： 机器人只是指向地图上的一个点并说：“去那里。”舰长只能看到最终的数字，却完全不知道机器人是如何得出这个数字的。这就像一个神奇八字球，只给你答案。
- “X光透视”模式（透明）： 机器人在舰长眼前将其预测结果拆解成各个部分。它展示了“趋势”（销售额是在上升还是下降？）、“每周周期”（我们周一卖得更多吗？）、“年度周期”（现在是夏天吗？）以及“事件”（比如节假日促销）。舰长可以看到机器人是如何将这些部分相加得到最终数值的。
- “雕塑家的工作室”模式（透明且可调节）： 这是开放程度最高的一种。舰长可以看到所有这些组成部分（趋势、每周、年度、事件），并且被允许抓取并拖动它们来改变预测。这就像是给了舰长一套由机器人搭建好的乐高积木，并允许他们按照自己的意愿重新搭建这座塔。
实验中发生了什么？
研究者使用了沃尔玛真实的销售数据（具体为食品类项目），并邀请 Amazon Mechanical Turk 上的用户扮演管理者。他们需要审查 14 天的销售预测，并决定是否要修改机器人的数字。
这里有一个转折：“黑箱”仪表盘实际上让舰长们感到最满意。
当舰长能够看到一切，甚至可以微调每一个组成部分时（即“雕塑家的工作室”），情况却变糟了。
- 结果： 让人们去摆弄机器人的内部齿轮导致了最差的结果。调整变得狂乱且差异巨大，整体而言，预测结果变得更差了。
- 原因： 论文指出，当你向某人展示一台复杂机器的内部运作方式，然后对他们说“你来修理它”时，他们往往会感到不知所措。他们开始在随机噪声中看到规律（比如认为某个下雨的周二意味着销售额将永远下降），或者仅仅是因为觉得必须做点什么而过度修正。
好消息
然而，存在一个能减少误差的中间地带。“X-Ray Vision”（X光透视）仪表盘（即你可以看到机器人的计算过程，但不能触碰单个齿轮）带来了一个特定的益处。
- 发现： 当舰长可以看到分解后的组成部分（趋势 + 季节 + 事件），但无法亲自修改这些部分时，他们做出的错误调整减少了。他们更加信任机器人，因为他们理解了机器人做出预测的原因。
- 数学层面： 论文使用“相对平均绝对误差”（rMAE）和“调整量”（Adjustment Volume）进行了衡量。在这些模拟中，这种“透明但不锁定”的设计减少了偏差以及有害预测调整的发生量。它并不一定能让最终数字比不透明组更准确，但它成功阻止了那些会导致预测受损的特定类型的疯狂调整。
这篇论文告诉我们要避免什么
论文明确反对“给予人们对算法组件的完全控制权”这一想法。尽管让经理去“调优”趋势或每周周期听起来很有赋能感，但实验表明，这会导致“差异巨大且整体最为不利的调整”。这就像是让一名乘客在汽车行驶时尝试修理引擎；他们可能觉得自己是在帮忙，但很可能会把东西搞坏。
我们的结论有多可靠？
作者谨慎地指出，这些结果来自一个使用沃尔玛销售数据和名为“Prophet”的特定预测工具的具体实验。他们发现，透明度可以作为一种减少错误猜测的方法，但也指出，如果你没有进行适当的培训，展示过多的信息反而会产生负面影响。该论文并非声称这是适用于世界上所有企业的万灵药，但它是一个强烈的暗示：即“展示你的解题过程”是好事，但“让他们重写数学公式”则是危险的。
底线
如果你希望你的团队信任计算机的预测，请向他们展示“食谱”（食材以及它们是如何混合的），以便他们理解这道菜。但不要把厨师的刀递给他们，让他们自己去切菜——除非他们已经接受了多年的专业训练。在这项研究中，那些能看到食谱但必须信任厨师最终摆盘的舰长，最终获得了最稳定的结果；尽管那些完全看不到食谱的舰长，反而报告了最高的满意度。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。