💬 NLP

Creating and Evaluating Personas Using Generative AI: A Scoping Review of 81 Articles

这篇针对 81 篇文献的综述探讨了生成式人工智能在用户画像创建、评估及应用中的现状，揭示了其资源可复现性较高但评估不足、模型单一及存在循环验证风险等问题，并提出了负责任的整合指南以应对生成式 AI 削弱人类开发者角色的潜在挑战。

原作者： Danial Amin, Joni Salminen, Farhan Ahmed, Sonja M. H. Tervola, Sankalp Sethi, Bernard J. Jansen

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Danial Amin, Joni Salminen, Farhan Ahmed, Sonja M. H. Tervola, Sankalp Sethi, Bernard J. Jansen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一份**“关于如何用 AI 制造‘用户替身’的体检报告”**。

想象一下，在设计和开发新产品（比如一个 APP 或一辆汽车）时，设计师们需要知道“谁会用我的产品”。以前，他们得去采访真人、发问卷，然后像写小说一样，虚构出几个典型的“用户角色”（Persona），比如“忙碌的上班族小明”或“爱折腾的退休阿姨王奶奶”。这些角色帮助设计师站在用户的角度思考。

现在，生成式 AI（GenAI） 出现了，它像是一个超级速成的“角色生成器”。只要给它一些数据或指令，它就能在几秒钟内写出一个活灵活现的“用户替身”，甚至还能让这个角色“开口说话”和你聊天。

这篇论文研究了 81 篇关于“用 AI 制造用户替身”的最新文章，就像医生给这些新疗法做了一次全面的**“体检”**。以下是他们发现的“好、坏、丑”三个方面的故事：

🌟 好的方面：AI 是个“超级助手”

速度飞快，门槛降低：以前造一个“用户替身”可能需要几周，现在 AI 几分钟就能搞定。这让很多没有专业背景的人也能轻松创建角色。
不仅会写，还会演：以前的角色只是一张静态的卡片（写着年龄、爱好）。现在的 AI 角色不仅能写故事，还能变成**“聊天机器人”**。设计师可以直接和“小明”对话，问：“如果你看到这个按钮，你会怎么想？”这让设计过程变得像真的在和人交流一样。
乐于分享：很多研究者愿意把他们的“配方”（代码、数据、提示词）公开，这比以前大家藏着掖着要好得多，促进了共同进步。

⚠️ 坏的方面：容易“自说自话”和“照猫画虎”

缺乏“体检”（评估不足）：这是最大的问题。大约一半的文章在造出 AI 角色后，根本没有检查它到底像不像真人。就像厨师做了一道菜，却从不尝咸淡就直接端给客人。
“自己考自己”的陷阱：有些文章用同一个 AI 模型既负责“造人”，又负责“评价人”。这就像让一个学生自己出题、自己考试、自己打分，分数再高也不可信。
过度依赖“一家独大”：绝大多数研究（86%）只用OpenAI 的 GPT 模型。这就像全世界的设计师都只用同一种品牌的颜料画画，如果这个品牌的颜料有某种偏色（偏见），那画出来的所有角色都会带上这种偏见。

😱 丑的方面：可能把“人”给弄丢了

完全自动化的“死循环”：最糟糕的情况是，AI 用 AI 生成的假数据，造出 AI 角色，再用 AI 评价这个角色的好坏，最后让 AI 根据这个角色做决定。
- 比喻：这就好比**“机器人给机器人写剧本，机器人演给机器人看，最后机器人决定给人类做什么菜”**。在这个过程中，真实的人类完全消失了。
刻板印象的放大镜：AI 可能会把偏见放大。比如，如果训练数据里觉得“护士都是女性”，AI 造出来的护士角色可能全是女性，忽略了现实中也有男护士。如果没人去纠正，这种偏见就会被固化，甚至伤害到弱势群体。
失去了“灵魂”：真实用户有复杂的情感和不可预测的行为，但 AI 造出来的角色可能只是“看起来像人”的塑料模特，缺乏真实的情感深度。

💡 论文给出的“行动指南”

为了让 AI 造出的“用户替身”真正有用且安全，作者提出了几条建议：

别只信一家：不要只用一个 AI 模型，要像“多方会诊”一样，用不同的模型互相验证，看看它们造出的角色是否一致。
让人类当“主编”：不能完全甩手给 AI。人类设计师必须介入，检查角色是否有偏见，是否尊重了真实用户的文化背景。
拿真数据做“锚”：AI 生成的角色必须和真实世界的统计数据（比如真实的人口分布）进行比对，防止它“凭空捏造”出奇怪的用户。
把“配方”写清楚：如果你用了 AI，要把你的提示词（Prompt）和过程记录下来，让别人能复现你的工作，这样大家才能一起进步。

📝 总结

这篇论文告诉我们：AI 造“用户替身”是个很酷的新工具，能让设计变得更快、更有趣。但如果我们不小心，它可能会让我们陷入“自欺欺人”的陷阱，造出一堆没有灵魂、充满偏见的假人。

未来的关键不在于让 AI 造得更快，而在于如何让人类设计师更好地驾驭 AI，确保这些“数字替身”依然能真实地代表那些活生生的人。

这是一篇关于**利用生成式人工智能（GenAI）创建和评估用户画像（Personas）**的范围综述（Scoping Review）的详细技术总结。该研究分析了 2022 年至 2025 年间发表的 81 篇相关文章，旨在揭示 GenAI 在用户画像开发中的应用现状、评估方法、伦理风险及未来方向。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：用户画像（Personas）是人机交互（HCI）和用户中心设计（UCD）中的核心工具，用于代表典型用户群体。传统画像开发依赖定性数据收集和人工分析，耗时且资源密集。生成式人工智能（特别是大语言模型，LLM）的出现为自动化画像开发提供了新机遇。
核心问题：尽管 GenAI 在画像生成中应用日益广泛，但缺乏系统性的综述来理解其应用模式、评估标准及伦理影响。
- 缺乏标准化：目前尚无关于 GenAI 在画像开发中最佳实践的统一共识。
- 评估缺失：许多研究缺乏对 GenAI 生成画像质量的严格评估，且存在“循环评估”风险（即同一模型既生成又评估）。
- 伦理隐患：GenAI 可能加剧算法偏见、刻板印象，并减少人类在关键设计决策中的监督（Human-in-the-loop）。
- 研究缺口：现有综述多关注传统或数据驱动画像，未专门针对 GenAI 画像的整合进行深入分析。

2. 研究方法 (Methodology)

研究类型：范围综述（Scoping Review），旨在映射新兴领域的研究范围、关键概念和知识缺口。
数据来源：在五个学术数据库（ACM Digital Library, IEEE Xplore, Web of Science, Scopus, arXiv）中进行检索，时间跨度为 2022 年至 2025 年 8 月。
筛选流程：
- 初始检索获得 885 篇文章，经去重、标题/摘要筛选、全文审查及滚雪球抽样（Snowball Sampling）。
- 最终语料库：包含 81 篇 符合纳入标准的文章（包括同行评审论文和预印本）。
纳入标准：
- 英文撰写，近两年的同行评审或预印本。
- 明确应用 GenAI 进行画像开发（涵盖数据收集、分析、生成、评估或应用阶段）。
- 符合 HCI 对画像的定义（即代表用户群体，而非聊天机器人的性格设定）。
- 包含实证研究（定性、定量或混合方法）。
数据分析：开发了包含 35 个变量的编码手册，由四名编码员独立提取数据，使用 Fleiss' Kappa 检验信度（ $\kappa=0.86$ ），涵盖技术采用、生命周期应用、评估方法、伦理考量等维度。

3. 关键贡献与主要发现 (Key Contributions & Results)

3.1 技术采用与使用模式 (RQ1)

模型依赖：绝大多数研究（86.4%）仅使用 OpenAI 的 GPT 系列模型，导致对单一商业实体的依赖和方法多样性不足。Claude 和 Llama 各占约 8.6%。
应用阶段：GenAI 被用于画像开发的四个主要阶段：
1. 创建与丰富：从结构化数据（如调查）生成画像，或丰富叙事背景。
2. 模拟与交互：创建可对话的画像代理（Conversational Agents）或多智能体模拟。
3. 个性化：基于画像特征调整内容推荐或对话风格。
4. 验证与评估：检查一致性、真实性和偏见。
创新点：
- 输入创新：引入视觉/多模态数据（如 DALL-E 生成头像）和非结构化数据。
- 流程创新：绕过传统聚类步骤，直接通过属性指定（Attribute Specification）生成画像。
- 提示工程：采用两阶段提示、思维链（Chain-of-thought）和少样本学习（Few-shot learning）。
- 输出格式：从静态文档转向叙事驱动、多模态及交互式对话系统。

3.2 评估方法 (RQ2)

评估缺失：45% 的文章缺乏明确的评估框架。
评估目标：主要集中在画像描述质量（38.6%）和行为表现（36.4%），较少关注生成过程（11.4%）和实际影响（15.9%）。
评估方法：
- 人类驱动（58.6%）：使用专家分析、Turing 测试风格或用户评分（如 PPS 量表）。
- 计算评估（20.7%）：利用 NLP 指标（如词汇多样性、刻板印象检测）。
- 基准评估（20.7%）：与真实数据或现有标准对比。
循环风险：部分研究使用同一 LLM 既生成又评估画像，导致评估缺乏独立性，可能掩盖模型自身的偏差。

3.3 伦理考量 (RQ3)

伦理讨论：仅 56.8% 的文章明确讨论了伦理问题。
主要风险：
1. 偏见与代表性：算法加剧了性别、年龄和职业的刻板印象（如将残障人士仅描绘为坐轮椅）。
2. 社会危害：可能导致“合成说服悖论”（高估干预效果）或政策误用。
3. 信任与真实性：LLM 生成的画像可能缺乏情感深度，或产生“波将金画像”（Potemkin personas），即看似真实但缺乏实质。
4. 人类监督减少：42% 的文章完全自动化，缺乏人类参与；仅在生成阶段有参与，而在评估阶段人类参与度极低。

3.4 可复现性

积极进展：61% 的文章分享了资源（画像、代码或数据集），相比传统画像研究有显著提升。提示词（Prompt）文档化成为新的可复现性资源。

4. 讨论与意义 (Significance)

4.1 "好、坏、丑" (The Good, The Bad, The Ugly)

好（Good）：GenAI 降低了画像创建的门槛，提高了效率，促进了开放科学（资源共享），并支持了交互式和多模态的新形态。
坏（Bad）：“可及性 - 质量悖论”。虽然任何人都能快速生成画像，但缺乏专业评估导致质量参差不齐。过度依赖单一模型（GPT）和缺乏幻觉检测削弱了方法论的严谨性。
丑（Ugly）：人类能动性的丧失。完全自动化的流程（合成数据 -> AI 生成 -> AI 评估 -> AI 决策）切断了画像与真实用户的联系，违背了参与式设计原则，可能导致算法对真实人群做出无监督的决策。

4.2 对 HCI 领域的意义

理论定位：GenAI 画像处于数据驱动画像演变的“增强（Augmentation）”阶段，而非完全替代人类。
实践指南：作者提出了七条具体指南（Table 8），包括：
- 实施多模型验证（Multi-model validation）以识别偏差。
- 使用结构化格式（JSON/XML）以确保一致性。
- 完整记录提示词和参数。
- 将生成特征与真实人口统计数据基准进行验证。
- 建立定量接受阈值。
- 实施系统性的人工监督以检测文化不敏感和刻板印象。

5. 结论

该研究指出，GenAI 在用户画像领域的应用虽然展现了技术潜力，但目前仍处于碎片化和方法论不一致的状态。未来的核心挑战不在于构建更复杂的自动化管道，而在于确保画像的可靠性、可解释性，并坚持“人在回路”（Human-in-the-loop）原则。HCI 社区需要建立标准化的评估协议，解决偏见问题，并确保 GenAI 画像真正服务于代表多样化的真实用户群体，而非成为脱离现实的算法 artifacts。