From Data Sharing to Data Surveillance? - AI Agents and the Panoptic Dynamics of Mobility Data Spaces

想象这样一个未来：你的汽车、交通灯以及城市的规划部门都在自动进行对话。它们共享信息以防止事故、建议更快的路线并管理能源使用。为了实现这一目标，不同的群体——汽车制造商、地图公司和政府机构——需要将它们的数据汇集到一个共享的数字空间中。进入这个空间的便是“AI智能体”（AI agents），它们本质上是能够读取这些数据、理解发生情况并能自主采取行动（如重新规划交通路线或调整调度表）的智能软件程序。为了确保这些系统的安全性和合法性，规则要求我们必须对软件的每一次动作进行详细记录。我们需要确切知道它查看了哪些数据，以及为什么做出某项决策。这种对完美审计追踪的要求旨在建立信任，但一项新的研究表明，它可能正起到反作用。

德国航空航天中心的研究人员，包括 Tim Robin Kosack 及其同事，调查了当我们强迫这些智能系统保持完全透明时会发生什么。他们研究了审计 AI 智能体的需求与企业加入这些数据共享网络的意愿之间的紧张关系。他们的研究成果发表在一篇研究文章中，文章指出，那些旨在证明系统运行正确的日志，本身可能会让公司感到自己正处于持续的、无形的监视之下。他们发现，这种感觉会导致公司退缩，减少数据共享，或避免进行必要但具有风险的实验，这最终会削弱整个系统。

该研究聚焦于“移动出行数据空间”（mobility data spaces），即不同组织共享交通信息的数字环境。在这些空间中，AI 智能体充当着“工人”的角色，不断扫描来自多方的数据以解决问题。由于这些智能体处理的是敏感信息，并做出影响公共安全的决策，因此欧洲法规要求它们的行为必须被记录且可追溯。如果一个智能体犯了错，或者某个决策需要被解释，必须有一份记录显示其过程是如何发生的。研究人员指出，虽然这对于问责制至关重要，但也给提供数据的公司制造了一个困境。这些公司通常是竞争对手，例如不同的汽车制造商。它们愿意分享数据以改进系统，但也担心竞争对手会看到它们的内部数据，或者日志会泄露它们的商业策略。

为了理解这种恐惧，作者使用了哲学家米歇尔·福柯（Michel Foucault）提出的“全景监狱”（Panopticon）概念。这最初是针对监狱的设计，其中的守卫可以在囚犯不知道自己正被监视的情况下观察所有囚犯；其核心思想是，仅仅是“可能被监视”这一事实就会改变行为。在监狱里，囚犯表现得规矩是因为他们认为自己正受到监视。在移动出行数据的数字世界中，研究人员认为公司的行为也是如此。即使实际上并没有人在每秒钟都查看日志，但日志的存在以及随时可能被检查的事实，创造了一种持续暴露的感觉。这导致了所谓的“寒蝉效应”。公司开始自我约束，并非因为它们违反了规则，而是因为它们害怕被看见。它们可能会停止分享实验性数据、隐藏自身的弱点，或者拒绝测试那些可能失败的新想法，以此来规避被审查的风险。

研究人员发现，这种动态关系威胁到了整个数据空间的成功。这些系统的价值在于能够结合多种不同类型的数据以产生新的洞见。如果公司过于害怕分享完整的数据集，AI 智能体就无法有效地学习，系统也会变得不再有用。研究表明，目前的透明度处理方式（通常假设每个人都应该能够查看日志）是有缺陷的。它创造了一种监视感，阻碍了这些系统生存所需的自愿参与。作者认为，我们不能简单地移除日志，因为法规要求保留它们，但我们必须改变访问这些日志的方式。

为了解决这个问题，团队提出了另一种组织“谁能看到什么”的方法。他们建议采用一种基于特定角色和严格限制的系统，而不是让每个参与者都可能看到每一条日志的“自由模式”。在这种模式下，提供数据的公司可以拥有查看其自身数据如何被使用的完整权限，但它无法查看竞争对手的日志。独立审计员或监管机构只有在有特定理由（例如针对安全问题的调查）时，才被允许查看日志。研究人员称之为“目的受限型”（purpose-limited）访问。这意味着日志仍然存在以供问责，但它们被隐藏在了一扇门后，只有在有特定且合理的理由时才会开启。这种方法旨在既保持系统的安全与合法，又不让参与者感到自己生活在玻璃房中。

研究还建议使用“受限查询”（constrained queries）。这是一种技术手段，用户可以在不看到底层原始数据的情况下，对日志提出问题。例如，审计员可以询问：“这个智能体是否遵守了规则？”，并得到一个简单的“是”或“否”的回答，而无需看到智能体处理的实际数据。这实现了验证功能，同时不会暴露敏感细节。研究人员强调，透明度并不意味着完全可见。真正的信任来自于知道系统正在被公平地管理，而不是通过看到每一个交互的每一个细节。通过根据每个参与者的需求量身定制信息，系统可以在保持问责制的同时，避免触发监视恐惧。

在结论中，作者指出，目标不是隐瞒真相，而是设计一种对每个人都有效的透明度。他们认为，如果我们不解决这种被监视的恐惧，未来的移动出行数据空间可能会失败，因为需要参与其中的公司会直接选择退出。解决方案在于平衡法律对记录的需求与人类对隐私和控制的需求。通过设计一种访问权限受到精心管理且仅限于必要范围的系统，我们可以建立一个数字环境，让 AI 智能体能够开展工作，让公司在分享数据时感到安全，并让公众从更安全、更智能的交通中获益。这项研究并不声称已经解决了所有问题，但它凸显了我们目前看待数字信任方式中的一个关键缺陷，并提供了一条修复它的切实路径。