Context and Symmetry in Auditing: A Case Study of Skeleton Inference in Motion Capture
本文引入了“语境审计”（contextual auditing），并利用科学技术研究中的“对称性”（symmetry）概念来应对在地面真值（ground truth）未知或存在争议时验证人工智能系统的挑战，通过运动捕捉中骨骼推理的案例研究展示了该方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图教一个机器人理解人体。你想让它准确知道手臂有多长、肩膀有多宽，或者膝盖是如何弯曲的。但问题在于：机器人无法看到人体内部。它只能看到外部。那么，你如何知道这个机器人在说实话？这就是被称为 AI 审计（AI auditing） 的领域中的一个重大问题。通常，为了检查机器人是否正确，我们会将其答案与“地面真值”（ground truth）进行比较——即一个永不撒谎的完美事实，就像一把永远不会出错的尺子。但如果不存在完美的尺子时，情况会怎样呢？如果被测量的事物（比如皮肤下隐藏的骨头确切长度）是无法直接观测到的，该怎么办？这正是事情变得棘手的地方。科学家们必须决定首先什么才算作“真实”，而有时，不同的专家也会持有不同意见。这篇论文深入探讨了这个混乱、复杂却又迷人的世界：我们试图审计那些测量我们身体的 AI 系统，即便我们并没有一个完美的标准答案可以用来核对。
这篇论文的作者们——来自康奈尔理工学院和弗吉尼亚大学等机构的研究团队——决定通过观察一种特定类型的 AI 来解决这个问题：动作捕捉系统（或称 “mocap”）。你可能在电影或视频游戏中见过这些系统，演员穿着布满细小反光点的小点点的套装，摄像机追踪这些点来创建一个能像演员一样运动的数字骨架。论文关注的是这些系统执行的一项特定任务，称为“骨骼推断”（skeleton inference），即计算机根据皮肤上的点来猜测骨骼的位置。
研究人员认为，检查这些系统的旧方法——仅仅将计算机的猜测与一个“完美”的测量值进行比较——在这里并不奏效，因为对于许多身体部位来说，最初就不存在单一的“完美”测量值。前臂的长度是指两块骨头之间的距离，还是皮肤上两点之间的距离？它们是不同的！为了解决这个问题，团队引入了一种新的审计方法，称为情境化审计（contextual audit）。他们不仅仅观察数字，还观察测量发生的整个“故事”：谁在进行测量，他们使用什么工具，以及他们相信什么是真实的。他们还使用了一个名为**对称性（symmetry）**的概念，这就像是一个侦探规则：以同样的怀疑和尊重对待每一种可能的测量方式（即使这些方式可能是错误的）。不要仅仅假设你的尺子是正确的而计算机是错误的；要假设两者都可能存在不同的缺陷，然后去弄清楚它们为什么产生分歧。
为了测试这个想法，团队在纽约大学进行了一项现实世界的实验。他们与使用这些系统进行创意设计的动作捕捉从业者合作。他们招募了 24 个人，用两种不同的方式测量他们的身体。首先，他们使用了带有摄像机和 41 个反光标记的高科技动作捕捉系统。其次，他们使用了简陋的、传统的卷尺，遵循标准的健康指南来测量相同的身体部位。
这里的转折在于：研究人员并没有把卷尺视为“真理”，而把计算机视为“骗子”。相反，他们将两者都视为尝试推测同一事物的不同方式。他们发现，计算机系统对某些人表现得非常好，但对另一些人则表现挣扎，尤其是当一个人的体型与系统最初训练时的“平均”体型（从历史上看，这些体型大多是消瘦的男性）不匹配时。卷尺本身也有其问题，取决于拿着卷尺的人如何解读身体上的解剖标志。
通过使用这种新的“对称性”方法，团队展示了即使没有完美的地面真值，你仍然可以有效地审计这些系统。他们发现，计算机的错误并非随机产生的；它们与系统所做的特定假设有关，即关于人类身体应该长什么样的假设。例如，如果一个人的软组织（脂肪或肌肉）比系统预期的更多，计算机对骨骼长度的猜测就会发生偏移。论文表明，通过理解这些隐藏的假设以及测量过程中的情境，我们可以发现 AI 在哪里让我们失效，即便我们无法指出一个单一的“正确”数字。
最终，这篇论文并不声称已经修复了动作捕捉技术，也没有解决了完美的身体测量之谜。相反，它建议了一种更好的提问方式。它表明，当我们处理测量我们身体的 AI 时，我们需要停止寻找神奇的“真理”，转而开始观察构建该系统的实践、工具和偏见。它提醒我们，在信任机器人为我们的工作场所安全或医疗诊断测量身体之前，我们需要了解那个关于机器人最初是如何学习测量的、复杂且具有人性色彩的故事。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。