Persona Generators: Generating Diverse Synthetic Personas for Arbitrary Contexts
本文介绍了“人格生成器”,这是一种基于迭代 AlphaEvolve 的框架,利用大语言模型自动进化出能够生成多样化合成人群的代码,这些合成人群广泛覆盖罕见特质与观点,在评估任意情境下的 AI 系统方面显著优于现有基线。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你正在构建一个城市模拟系统,以测试一项新交通法规的效果。如果你的模拟中只填充了“平均”司机——那些有礼貌、遵守规则、且严格按限速行驶的人——你可能会认为你的系统是安全的。但在现实世界中,还有闯红灯的人、路怒症司机,以及为了看日落而特意绕路的人。如果你的模拟忽略了这些“异常值”,当现实世界与之碰撞时,你的测试就会失败。
这篇论文《人格生成器》(Persona Generators)旨在解决一个难题:利用大语言模型(LLM)进行的人类计算机模拟过于枯燥且千篇一律。
以下是他们所做工作的分解,辅以简单的类比:
问题:“模具切割”效应
目前,当你要求 AI“创建一组多样化的人群”时,它往往会给你一群思维和行为方式完全相同的人。他们都有礼貌、随和,并遵循“标准”剧本。作者将这种现象称为模式崩溃(Mode Collapse)。
- 类比:想象一家本应烘焙各种面包的烘焙店。它没有制作酸面包、黑麦面包、法棍和肉桂卷,而是不停地制作完全相同的白三明治面包。即使你要求“多样化的面包”,机器也只是不断产出同一种面包,因为那是它最擅长、最舒适的。
- 后果:如果你用这些“模具切割”出来的人去测试新应用或社会政策,你就会错过那些只有“异常值”才会产生的罕见但危险(或有益)的反应。
解决方案:“进化厨师”
作者并没有试图强行让 AI 直接生成多样化的人,而是构建了一个名为人格生成器的工具。请将其视为一种食谱或函数,而非某个人。
- 目标:他们想要一种食谱,当给定一个主题(例如“等待外卖送达的人们”)时,能瞬间“烹饪”出一群 25 人的群体,这些人彼此之间截然不同,涵盖从“愤怒”到“耐心”再到“困惑”的所有可能人格类型。
- 方法(AlphaEvolve):他们并非手工编写这份食谱,而是使用了一个名为AlphaEvolve的系统。
- 类比:想象一位厨师试图写出一份完美的“多样化面包”食谱。厨师不是亲自品尝面包,而是编写制作面包的指令。
- 然后,他们使用第二个 AI(“变异厨师”)来微调这些指令。“也许我们应该告诉面包师多加点盐”,或者“也许我们应该让他们把面包烤成奇怪的形状”。
- 他们烤制面包(生成人群),品尝它(测试人群的多样性),如果多样性不足,就再次微调指令。
- 他们重复这个过程 500 次。最终,AI 发现了一套指令(代码),这套指令极其擅长烘焙各种各样的面包。
如何衡量成功
他们不仅仅看面包本身,而是衡量面包覆盖了多少“风味空间”。
- 覆盖率:群体中是否包含了喜爱辛辣食物的人、讨厌辛辣食物的人,以及介于两者之间的所有人?
- “长尾”:他们是否包含了那些奇怪、罕见的组合(例如一个既极度害羞又热爱嘈杂重金属音乐的人)?
结果:“进化后的食谱”(即人格生成器)所创造的人群,比他们尝试过的任何其他方法都要多样化得多。
- 令人惊讶的发现:通常,当你试图让事物变得“多样化”时,它们开始看起来虚假或疯狂。但这篇论文发现,通过迫使 AI 覆盖整个可能性范围,生成的人物实际上比那些旨在匹配现实世界统计数据的方法生成的人物更真实。事实证明,通过对抗“模具切割”效应,他们意外地比专家更好地捕捉到了真实人类行为中真正的混乱。
为什么这很重要
作者表示,这就像拥有一个压力测试实验室。
- 如果你正在制造自动驾驶汽车,你不仅仅想在平静的司机身上测试它。你还需要测试那些插队的人、挥手让你先行的人,以及那些被手机分心的人。
- 该工具允许研究人员为任何情境生成合成人群的“群体”(例如,“人们会对新税收有何反应?”或“人们在科幻场景中会如何表现?”),并确保该群体包含奇怪的、极端的和罕见的人,而不仅仅是普通人。
总结
这篇论文介绍了一种工具,它利用进化搜索(AI 的试错法)来编写生成多样化人群群体的代码。
- 旧方法:要求 AI“创造多样化的人” -> AI 生成 25 个有礼貌、相似的人。
- 新方法:进化出一个“食谱”,迫使 AI 生成 25 个彼此差异尽可能大的人。
- 结果:新方法创建的群体更加多样化,覆盖了更多“人类”领域,并且令人惊讶的是,即使没有显式地在真实人类数据上进行训练,它们看起来也比以前的方法更真实。
作者计划分享他们最好的“食谱”(代码),以便其他人可以利用它们来压力测试自己的 AI 产品和社会模拟。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。