Report on the Designing Accountable Software Systems Workshop
在由美国国家科学基金会支持下，2024年11月举行的设计可问责软件系统（DASS）研讨会召集了跨学科利益相关者，旨在探讨软件问责制的维度、法律框架及运营挑战，并最终确定了关键研究方向，以明确责任归属、提升问责制与软件设计的融合度，并应对跨学科协作的独特需求。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在建造一座巨大的、复杂的机器人城市。在这座城市里，软件运行着交通灯，管理着银行账户，决定谁能获得贷款，甚至还在驾驶汽车。居住在这座城市的人们（社会）和制定规则的人（政府）都期望这座机器人城市能够遵守法律并表现得公平公正。
但问题在于：软件天生并不懂得如何实现“问责”。 它只是在执行指令。如果它犯了错，谁该承担责任？是程序员？公司？还是法律？
这篇论文是一份关于一次大型会议（研讨会）的报告。在 2024 年底，来自计算机科学、法律、社会学和商业领域的专家们齐聚一堂，共同探讨如何构建能够对其行为负责的软件。你可以把它想象成一场“建筑师、律师和城市规划师的峰会”，旨在为一座负责任的机器人城市设计一套全新的蓝图。
以下是他们的发现，用简单的语言解释如下：
1. “黑箱”问题
目前，当软件违反规则时，它往往就像一个黑箱。我们看到了糟糕的结果，却不知道它是如何发生以及为什么会发生。
- 类比： 想象一位厨师为你端上了一碗有毒的汤。如果厨师只是说：“是电脑告诉我把这些原料混合在一起的，”这并不能解决问题。我们需要在软件内部安装一个“飞行记录仪”（就像飞机上的那样），记录它采取 way 的每一个步骤，这样我们才能证明发生了什么以及谁该负责。
- 发现： 专家组一致认为，我们需要设计出能够自动保存“不可篡改”行为日志的软件。但他们也指出，我们不能记录所有内容（那数据量太大了）；我们需要记录的是正确的内容。
2. 语言障碍
最大的障碍不是技术，而是专家们说着不同的语言。
- 类比： 想象一位律师和一位软件工程师试图建造一座桥梁。律师谈论的是“责任”和“合规”，而工程师谈论的是“算法”和“延迟”。他们使用相同的词汇（如“公平”或“风险”），但含义却完全不同。
- 发现： 研究人员发现，当这些群体合作时，他们会产生精彩的新想法。然而，学习彼此的词汇表需要很长时间。有时，他们甚至会在不同的期刊上发表论文，导致知识无法共享，因为没人会去读对方的领域。
3. “符号化”陷阱
有时，公司在没有真正实现问责的情况下，却在假装问责。
- 类比： 这就像一家商店在橱窗里贴着“我们关心安全”的告示，但在幕后却为了节省成本而偷工减料。它们在纸面上看起来很好（即“符号”），但现实情况并非如此。
- 发现： 该小组警告说，我们不能只看“告示牌”（审计报告），而要开始观察实际的机械结构。我们需要能够区分一家公司是“口头声称”遵守规则，还是“实际做到”遵守规则的工具。
4. 移动的目标（人工智能与变化）
软件，尤其是人工智能，是在不断变化的。它在学习和适应。
- 类比： 传统的安全规则就像一本食谱：“如果你加盐，汤就会变咸。”但人工智能就像一位厨师，他会品尝汤的味道，然后自行决定添加胡椒、糖或醋。旧的规则不再适用，因为这位厨师在烹饪的过程中一直在改变食谱。
- 发现： 我们需要新的方法来检查这种“学习型”软件是否仍在遵循规则。如果软件改变了主意，我们如何知道它在过程中没有违反法律？
5. “谁来负责？”的谜题
当事情出错时，往往很难界定责任。
- 类比： 如果一辆自动驾驶汽车撞到了行人，是汽车的错？地图制作者的错？买车人的错？还是建造这条道路的城市的错？
- 发现： 该小组意识到，我们需要在构建软件之前就明确定义谁负责。软件是对法律负责？对公众负责？还是对公司负责？他们发现，如果没有明确的定义，问责就会出现真空。
6. “完美”与“现实”世界
该小组承认，我们无法构建出永不犯错的完美软件。
- 类比： 你无法制造出一辆永远不会撞车的汽车，但你可以制造出一辆在发生碰撞时拥有安全气囊和安全带的汽车，以应对碰撞发生时的状况。
- 发现： 我们不应仅仅致力于让软件永不失败，而应该设计让它在感到困惑时能够承认、允许人类介入，并拥有一套应对错误发生时的计划。我们需要接受“不完美”是系统的一部分，但我们必须管理好其后果。
核心结论
这次会议的主要启示是：你无法仅靠代码来解决软件问责的问题。
这需要团队协作。你需要计算机科学家来构建工具，律师来编写规则，社会学家来理解人们的反应，以及商业领袖来推动实施。如果我们试图在各自的孤岛中（分立地）开展工作，我们将会失败。软件的未来取决于这些不同的群体能否学会使用同一种语言，并构建出不仅能运行、而且能“正确运行”的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。