Living with Algorithms: Human-AI Assemblages and Ethical Governance in West African Pastoral Conflict

大局观：当计算机试图管理村庄

想象一群生活了几个世纪的邻居。他们有一套复杂且不成文的规则，用于分享水源、牧场和解决争端。这是一个基于耳语、握手以及精准了解谁欠谁人情的系统。它虽然混乱，但具有灵活性，且充满了人性。

现在，想象一支技术专家团队抵达了，他们说：“我们有一个超级智能的计算机程序，可以比你们的老办法更快、更公平地解决所有问题。”他们安装了摄像头、生物识别身份扫描仪，以及一个能预测冲突发生地的 AI。

这篇论文探讨的是：这个计算机究竟是让情况变得更好，还是破坏了维持和平的微妙社会结构？

研究人员在两个地方研究了这一确切情况：尼日利亚的高原州（Plateau State）和尼日尔的提拉贝里大区（Tillabéri Region）。在这些地区，农民和牧民经常为了土地和资源发生冲突。

核心发现：“合法性差距”

研究发现了一个奇怪的悖论。这些计算机在技术工作上表现得非常出色。它们发送警报的速度更快，捕捉模式的能力也比旧的人类系统更强。

但是，当地居民并不信任它们。

把它想象成一个虽然能给你提供最快路线，却会把你开进邻居客厅的 GPS。这个 GPS 在技术上是“正确”的（它是最快的路径），但你不会使用它，因为它违反了社交规范，会让你的邻居感到愤怒。

论文将此称为**“合法性差距”（Legitimacy Gap）**。该系统很高效（速度快），但缺乏合法性（它不被社区视为公平或正确）。当人们不再信任这个系统时，他们就会停止合作，系统最终也会失效。

系统崩溃的三种方式

研究人员发现了三种特定的“智能”系统与“现实”生活发生冲突的方式：

1. “僵化身份卡”问题

• 技术层面： 系统使用生物识别 ID 卡来识别身份。如果你是牧民，卡片就显示“牧民”；如果你是农民，卡片就显示“农民”。
• 现实层面： 在这些社区中，身份是流动的。一个人可能在旱季放牧，在雨季务农；他可能既是富拉尼人（Fulani），也是贝罗姆人（Berom）。
• 类比： 想象一个图书馆，只有当你的 ID 显示为“小说读者”时才允许你借书。如果你想借一本食谱，计算机说：“不行，你的 ID 显示你是小说读者。”它无法理解你是一个拥有多种兴趣的完整的人。
• 结果： 计算机误标了人们，导致关于谁能获得帮助以及谁不能获得帮助的决策变得不公平。

2. “钻系统漏洞”问题

• 技术层面： AI 根据牲畜数量和移动轨迹等数据来预测冲突。
• 现实层面： 人们意识到计算机正在监视他们。于是，他们开始耍手段欺骗它。
• 类比： 这就像一个知道老师是按曲线分布评分的学生。与其努力学习，他更倾向于弄清楚老师喜欢考哪些题，然后只针对这些题进行“学习”。
• 结果： 牧民开始在夜间隐藏他们的 GPS 项圈，或者谎报牛的数量。这种“钻漏洞”的行为让计算机的数据变得混乱且准确性下降。系统因为人们试图通过智斗来胜过它，从而变得越来越“笨”。

3. “无声反抗”问题

• 技术层面： AI 使用“风险评分”（颜色编码地图）来决定谁获得紧急援助。如果降雨延迟，计算机就会判定：“种植风险过高；不对你发放援助。”
• 现实层面： 农民知道计算机是错的，因为他们比卫星更了解当地季节。他们没有去跟计算机争辩，而是直接忽略了它。
• 类比： 想象一个严厉的家长说：“如果下雨了，你就不能出门。”孩子们知道那只是毛毛雨，所以照样出门，并假装没看见。
• 结果： 计算机认为一切正常（因为没有人上报种植情况），但实际上农民们正在辛勤耕作。由于人们拒绝遵守其僵化的规则，计算机对真相视而不见。

解决方案：“人机混合法庭”

论文指出，我们不能仅仅修复代码。我们必须改变计算机与人类协作的方式。他们提出了一种新的系统，称为**“人机协作集合体”（Human-AI Assemblage）**。

不要把它看作一个机器人法官，而要看作一个副驾驶系统。

他们测试了一个三步走的修复方案：

1. 参与式阈值（共同制定规则）：
   技术公司不再单方面决定什么算作“危险区”，而是与农民、牧民和当地领袖一起举行研讨会。他们共同调整了计算机的敏感度。

   • 结果： 由于当地人知道计算机过于“神经质”，他们成功减少了 50% 的虚假警报。

2. 公开偏差审计（检查计分板）：
   每隔几个月，他们会公开检查计算机对待不同群体是否公平。如果计算机拒绝向牧民提供援助的频率比农民高出 18%，他们会立即标记出来。

   • 结果： 这迫使系统在造成过多伤害之前纠正错误。

3. 混合法庭（人类干预机制）：
   他们建立了一个由选出的农民、牧民和技术专家组成的当地法庭。如果计算机判定“不予援助”，这个小组可以说：“等等，我们知道这个家庭确实遇到了困难。覆盖掉计算机的指令。”

   • 结果： 人们开始重新信任系统，因为他们知道人类可以修正计算机的错误。合作率从 58% 跳升至 79%。

“形式化前沿”

论文引入了一个酷炫的概念——“形式化前沿”（Formalization Frontier）。

想象你正在尝试写出一份完美的炖菜食谱。

• 0% 到 55%： 你写下了食材和烹饪时间。这非常有帮助。
• 55%： 你撞到了墙。如果你试图写下每一个微小的细节（比如厨师当时的心情、厨房的湿度、盐的具体品牌），这份食谱就会变得毫无用处。它太僵化了。

研究人员发现，一旦你试图将超过 55% 的当地生活转化为硬性数据，系统就会开始失去信任。你无法完美地编写人类的灵活性。

总结

论文得出结论：没有信任，就没有成功的 AI 系统。

• 旧方法： 制造一个更快、更聪明的计算机，然后寄希望于人们会使用它。
• 新方法： 建立一个计算机作为工具，但人类才是老板的系统。计算机提供数据，但人类提供判断、公平和背景信息。

这项研究证明，系统的成功有 63% 取决于“伦理合法性”（人们对它的信任），而不仅仅取决于计算机计算的速度有多快。如果你忽视了人的因素，计算机最终会被人类所忽视。