AccretionLink: On-Device Auditing of Exposure-Control Attacks on Attribute Inference

在数字世界中，我们通常认为只有当有人窃取我们的密码、黑入我们的账户或诱骗我们透露秘密时，隐私才会遭到破坏。但有一种更安静、更微妙的方式可以暴露我们的私人生活，这种方式不需要窃取，也不需要谎言。它发生在当观察者被允许选择查看我们的哪些公开帖子以及以何种顺序查看时。想象一个人想要猜测你的政治观点或收入。他们不需要阅读你写过的每一件事情，而是得到了一份你的公开帖子列表，以及一个特殊的工具，让他们可以先挑选出其中最具启发性的十条进行阅读。即使他们选择的每一条帖子都是真实的、地道的，且完全是你所写的，仅仅是选择最有意思的内容这一行为，就会改变他们能讲述关于你的故事。这就是一个新的安全隐忧的核心：暴露控制（exposure control）的力量。它是指在不改变证据本身的情况下，塑造呈现给观察者的证据的能力。

研究人员现在建立了一个系统，来精确衡量这种选择行为究竟能造成多大的破坏。他们创建了一个受控环境，测试人工智能根据一个人的公开写作内容，在多大程度上能猜中其年龄、收入或感情状况等私密细节。团队设置了一个游戏，攻击者被允许从一组真实内容中挑选帖子。在一种情景中，攻击者必须按随机顺序阅读帖子，就像翻阅书页一样；而在另一种情景中，攻击者被允许挑选那些看起来最有可能揭示答案的帖子。研究人员发现，这种简单的选择行为带来了显著的差异。当攻击者被允许挑选最佳帖子时，他们正确猜测的能力明显提高。他们构建的这个名为 AccretionLink 的系统，在一个特定的 Pixel 10 设备实验实现版本上运行了这些测试，确保整个过程都在设备本地完成，没有将任何私密文本发送到互联网。

该研究使用了两种类型的测试对象。第一类是计算机生成的 52 个完全虚假的个人资料。这些资料拥有已知的、密封的答案，涵盖了收入、感情状况、受教育程度和年龄。研究人员在这些资料上运行了选择游戏，并发现当攻击者被允许进行挑选时，他们降低了错误率。在阅读了八条帖子后，攻击者在信心度上比随机阅读时有了可衡量的提升。更重要的是，选择过程导致系统在特定情况下做出了自信但错误的判断。在针对这些合成资料进行 109 次私密特征猜测的过程中，选择方法导致了六次系统对某人的收入或受教育程度做出高度自信却完全错误的判断。这证明了暴露控制不仅可以提高猜测的准确性，还能制造虚假的确定性，将一个正确的画像变成一个自信的错误画像。

为了确保这些结果不仅仅是计算机代码的巧合，研究人员还在来自 2 2015 年 Twitter 公开数据集的真实数据上测试了该系统。他们将相同的选择逻辑应用于这些真实资料。即便无法看到 Twitter 实际使用的排序系统，这种选择方法仍然提高了攻击者猜测用户年龄组的能力。虽然在真实资料上的提升幅度小于虚假资料，但这种效果是持续存在且在统计学上清晰可见的。至关重要的是，研究人员展示了这种效应并不依赖于攻击者使用相同的模型来进行挑选帖子和猜测答案。他们使用了一种不同的、更简单的方法来挑选帖子，而原有的模型依然能做出更好的猜测。这证实了优势来自于选择行为本身，而非特定软件的缺陷。重要的是，虽然选择方法提高了攻击者在真实数据上的准确性，但在测试的 71 个符合条件的真实资料中，并未导致任何高置信度的反转情况。

研究人员还建立了一种方法，以证明测试过程是公平的，且没有任何数据被篡改。他们在一个特定的 Pixel 10 设备实验实现版本上运行了整个实验，并使用了一个专门为人工智能设计的芯片。该设备对每条帖子仅处理一次，并为所做的工作创建了一个数字指纹。随后，它使用存储在设备硬件中的安全密钥对该记录进行签名，从而创建了一个永久且不可更改的测试日志。该日志证明了结果来自于特定的模型和特定的数据，不存在隐藏步骤或外部干扰。研究发现，处理文本所需的时间主要由分析词义的时间决定，而非更新评分或检查结果的时间。这意味着系统的瓶颈在于模型的智能程度，而非设备处理器的速度。

研究结果表明，我们看到信息的顺序与信息本身同样重要。即使我们发布的每一条信息都是诚实且未经改动的，能够挑选先看哪些信息的能力也会显著改变观察者能了解我们的程度。研究人员展示了这不仅是一个理论上的风险，也是一个可以在特定智能手机实验实现版本上进行测试和记录的现实问题。他们证明了简单的选择策略可以导致对一个人的私生活做出自信且错误的结论。虽然这项研究并未声称解决了这个问题，也未试图预测社交媒体公司目前是如何对帖子进行排序的，但它提供了一种清晰、可重复的方法，用于审计暴露控制能造成多少伤害。这项工作强调，在人工智能时代，我们隐私的安全不仅取决于我们说了什么，更取决于谁有权选择让哪些话语先被听到。