Using AI Agents to Automate Black-Box Audits of Personalization Algorithms at Scale
本文介绍了一种利用具有固定人格的生成式人工智能智能体进行黑盒审计个性化算法的新型框架，旨在实现对用户属性如何影响内容投放的可扩展的反事实分析，并通过在 X 平台上进行的大规模研究证明，该平台的算法会放大极化内容，并根据用户意识形态的不同对人口统计学信号做出不同的反应。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正走进一座巨大的、隐形的图书馆，书架上的书会根据你的身份而改变。如果你看起来像个年轻人，你看到的书就与看起来像个年长者的人不同。如果你看起来住在城市，你看到的书也与看起来住在乡村的人不同。这就是社交媒体算法的工作方式：它们根据你的个人资料和过往行为来为你定制内容。
问题在于，这些图书馆都是“黑箱”。我们看不见图书管理员的规则手册。我们无法询问：“为什么给我看这个？”我们只能观察结果。
这篇论文介绍了一种巧妙的新方法，利用 AI 智能体（由先进人工智能驱动的计算机程序）而不是真人，来窥探幕后的真相。
旧方法的缺陷
此前，研究人员尝试通过两种方式对这些“图书馆”进行审计，但这两种方式都有缺陷：
- 真人： 他们雇佣真实的人来使用应用程序。这很真实，但成本高昂、难以控制且无法大规模扩展。你无法轻易地询问：“如果这个 25 岁的人实际上是 55 岁，会发生什么？”而不必去寻找一个新的真人。
- 脚本机器人（傀儡账号）： 他们创建了由简单计算机脚本控制的虚假账号。这些账号成本低且易于扩展，但它们是“扁平”的。它们表现得像是在执行严格规则清单的机器人（例如，“如果你看到一只猫，就点击点赞”）。它们不会思考或自然反应，因此“图书馆”不会把它们当作真实的人对待。
新方案：“AI 演员”
作者创建了一个使用 生成式 AI 智能体 的框架。不要把它们看作机器人，而要看作 戏中的演员。
- 剧本（人格设定）： 在演出开始前，每个演员都会获得一份详细的角色剧本。这份剧本定义了他们是谁：他们的年龄、性别、地点、受教育程度和政治信仰。这些剧本是基于美国人口普查局和皮尤研究中心（Pew Research Center）的真实数据制定的。
- 表演： 当演员在屏幕上看到一条帖子时，AI 会根据其角色剧本进行“思考”，并决定采取什么行动（点赞、关注、阅读或忽略）。这不是一种僵化的规则，而是一种自然的反应。
- 实验： 研究人员创建了 1,120 名这样的演员。他们将他们分为 14 种不同的“角色类型”（人格设定）。对于每种角色类型，他们都创建了多个副本（复制品）。
- 转折点： 所有“角色 A”的副本行为完全一致。然而，研究人员为其中一些副本改变了仅仅 一个可见的细节。比如，一个副本显示其年龄为 25 岁，而另一个显示为 55 岁；或者一个显示住在纽约，另一个显示住在德克萨斯州。
这种设置让研究人员能够提出一个强有力的疑问：“如果同一个具有完全相同行为的人改变了其年龄或地点，‘图书馆’是否会向其展示不同的书？”
案例研究：2024 年大选
研究团队在 2024 年美国总统选举结束后，将这 1,120 名 AI 演员部署在社交媒体平台 X（原 Twitter） 上。他们观察了平台的“为你推荐”（算法推荐）信息流与“正在关注”（按时间顺序）信息流之间的差异。
以下是他们的发现：
1. 算法偏爱戏剧性和右翼观点
与标准的按时间排序列表相比，“为你推荐”的信息流显著增加了以下内容：
- 毒性内容： 刻薄或愤怒的帖子。
- 两极分化内容： 将不同群体对立起来的帖子。
- 政治内容： 特别是倾向于 右翼 的内容。
- 惊喜之处： 它并没有显著放大左翼内容。事实上，对于倾向于右翼的用户，算法主动 抑制 了左翼内容的传播。
2. “回声壁效应”是不对称的
算法并不只是向所有人展示更多右翼内容。它对不同用户采取了不同的对待方式：
- 左翼用户 看到的毒性内容大幅增加（比基准值高出 80%）。
- 右翼用户 看到的右翼内容有所增加，但其毒性内容的变化并不明显。
- 结果： 右翼用户被置于一个单方面的泡沫中，对立观点被隐藏起来；而左翼用户则被愤怒和毒性内容所淹没。
3. 人口统计特征很重要，但情况很复杂
研究人员测试了改变用户的可见年龄、性别或地点是否会改变他们看到的内容。
- 平均结果： 如果将所有用户放在一起看，改变这些细节似乎并不重要。平均效应接近于零。
- 真实的故事： 当他们观察特定的角色类型时，结果却非常惊人。改变一个信号（如年龄）可能会让一个角色看到更多毒性内容，但却会让另一个角色看到更少。
- 比喻： 想象一个恒温器，它不仅仅是根据房间温度升高或降低温度。相反，它会根据你是谁，为某些人升温，为另一些人降温。如果你只测量整个房屋的“平均”温度，你可能会认为恒温器根本没有起作用。但如果你观察每个房间，你会发现它正在做着非常具体且不同的事情。
为什么这很重要
论文得出结论，在审计算法时，我们不能仅仅观察“平均”结果。如果我们把数据平均化，我们就会错过算法对不同人群采取截然不同对待方式的事实。
通过使用这些 AI “演员”，研究人员现在可以进行受控实验，以观察算法如何针对特定特征做出反应，而无需招募数千名真实人类，也不必依赖那些愚笨的、脚本化的机器人。这是一个理解塑造我们在线体验的隐形规则的新工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。