💻 computer science

Persona Non Grata: LLM Persona-Driven Generations in MCQA are Unstable in Distinct Dimensions

本文研究了大语言模型在多项选择题问答中人格驱动生成的不稳定性，揭示了性能在不同模型家族、规模和领域之间存在显著差异，并且对提示词格式的敏感度高于温度等其他超参数。

原作者： César Guerra-Solano, Xiang Lorraine Li

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： César Guerra-Solano, Xiang Lorraine Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明、多才多艺的机器人助手。你可以告诉这个机器人：“假装你是一名律师，”或者“假装你是一名生物学家，”然后让它回答一系列选择题。这被称为人格驱动生成（Persona-Driven Generation, PDG）。其核心理念是，机器人的“角色”可能会帮助它更好地回答问题，或者至少保持一致性。

这篇论文就像是一个针对这些机器人角色的质量控制检查员。作者们提出了一个简单但令人不安的问题：如果我们要求同一个机器人扮演同一个角色，但改变我们提问时极其微小的细节，机器人是否还能给出相同的答案？

他们发现，答案通常是否定的。机器人的表现出奇地不稳定，就像一只变色龙，不仅根据背景改变颜色，甚至还会根据你眨眼或打喷嚏的动作来改变颜色。

以下是使用简单类比对他们研究结果的详细解读：

1. 衡量“摇摆度”的三种方式

研究人员不仅仅观察机器人是否得到了正确答案。他们构建了三个特定的“摇摆度计”：

得分计（性能不稳定性）： 如果你用略微不同的指令向机器人提问同一个数学问题 10 次，它每次都能答对 80% 吗？还是会在 60% 到 90% 之间跳动？
- 类比： 想象一名飞镖选手。如果他们每次都能射中红心，那么他们是稳定的。如果他们有时射中红心，有时射中外圈，有时甚至射中地板，然后再射中红心，那么他们就是不稳定的。
胜者计（结果不稳定性）： 在一场比赛中，谁才是“最佳”角色？“律师”在法律问题上总是表现最好的吗？
- 类比： 想象一场赛跑。在比赛的一个版本中，律师赢了。在另一个略微不同的版本中（也许是因为发令枪声更响了），生物学家赢了。论文发现，谁能赢得比赛会随着细微的设置细节而剧烈变化。
问题计（问题正确性不稳定性）： 机器人是否答对了同样的具体问题？
- 类比： 想象一名学生正在参加考试。在第一个版本中，他答对了第 1、2、3 题。在另一个版本中，他答对了第 1、4、5 题。虽然他的总分相同，但他掌握的知识却不同。这个计分器用于检查机器人是真的在学习，还是仅仅在随机猜测。

2. 主要发现：是什么让机器人“摇摆”？

“如何提问”比“温度有多高”更重要
研究人员测试了三种可能改变机器人行为的因素：

温度（Temperature）： 机器人被允许多么“有创意”或随机。
人格提示词（Persona Prompt）： 你如何告诉机器人它是谁（例如，“你是一名律师”对比“请采纳律师的身份”）。
任务提示词（Task Prompt）： 你如何提出问题（例如，“只给出答案”对比“解释你的推理过程”）。

大惊喜： 提问方式（即任务提示词）的变化对造成的混乱影响最大。

类比： 想象你在烤蛋糕。你可能认为烤箱温度（温度）是最重要的。但这篇论文指出，食谱指令（任务提示词）才是问题的关键。如果你告诉机器人“解释你的思考过程”而不是“只给出答案”，机器人的表现会变得更加不可预测。

数学和常识是最严重的受害者
当机器人回答数学问题或常识问题时，表现得最不稳定。

类比： 这就像一个学生，他很擅长背诵历史日期，但每当需要做数学题或解释为什么猫在垫子上时，就会变得紧张并改变主意。论文认为，这是因为机器人在这类逻辑方面的训练不如其他主题那样充分。

更大的机器人通常更稳定
通常情况下，规模更大、功能更强大的模型比较小的模型更稳定。

类比： 一艘巨大的重型轮船比一艘小型快艇更不容易在波浪中摇晃。然而，有一个例外：一个非常大的模型（Qwen 14B）在被要求“解释”其答案时，反而变得更加不稳定，这可能是因为它开始使用“思维链”（大声思考过程）导致评分变得混乱。

角色本身并不如设置重要
你可能会认为，扮演“律师”会让机器人的行为与扮演“医生”有所不同。论文发现，特定的角色（人格）并没有产生太大影响。

类比： 无论演员是穿着医生的白大褂还是律师的西装并不重要；如果导演（提示词指令）是摇摆不定的，那么整个表演就会是摇摆不定的。这种不稳定性来自于指令，而不是服装。

3. 为什么这很重要（根据论文所述）

论文警告说，如果你今天进行一项实验来观察哪个机器人角色表现最好，而明天你用稍微不同的提示词格式再次运行，你可能会得到完全不同的结果。

“不稳定”的情景： 在一种设定下，机器人认为“律师”是回答问题表现最好的；在另一种“不稳定”的设定下，它可能认为“生物学家”表现最好，或者认为“拉丁裔人”在数学问题上的表现与“白人”不同。
危险之处： 论文认为，这些差异可能并不是机器人大脑中真实的偏见。相反，它们可能只是不稳定设置产生的伪影。如果机器人本身是摇摆不定的，你就无法信任它能否准确告诉你它是否存在偏见。

总结

这篇论文是为任何使用 AI 扮演角色的人提供的一份警示标签。它说：“不要仅仅相信答案。检查一下如果你微调了指令，答案是否会发生变化。”

机器人的“人格”是脆弱的。如果你改变提问的方式（尤其是如果你要求它解释其工作过程），机器人可能会在谁是“最佳”角色、它能答对哪些问题、甚至在其整体得分方面反复无常。为了获得可靠的结果，你需要找到“稳定”的设置（比如要求简单的答案而不进行解释），并坚持使用它们。

技术摘要：Persona Non Grata：MCQA 中基于 LLM 角色驱动生成的稳定性在不同维度上的表现

问题陈述

虽然角色驱动生成（Persona-Driven Generations, PDGs）在研究和工业领域被广泛应用——即大型语言模型（LLMs）通过采用特定角色来完成任务——但现有文献主要关注这些角色在自由文本生成（如对话）中的稳定性。相反，PDGs 在非文本密集型输出（特别是多项选择问答，MCQA）中的稳定性仍有待深入研究。在 MCQA 设置中，角色的表达是通过任务表现（例如，生物学家回答生物学问题）而非风格化的文本生成来实现的。先前的研究表明，这些设置存在隐性偏差且不可预测，但由于缺乏关于模型选择和超参数的标准化的研究。本文旨在填补这一空白，通过对不同实验设置下的 LLM PDGs 在 MCQA 任务中的不稳定性进行特征化和量化。

方法论

作者评估了四个开源 LLM 系列（Llama-3.2-1B, Llama-3.1-8B, Qwen2.5-1.5B, Qwen2.5-7B, 和 Qwen2.5-14B），涵盖了 48 个不同的实验设置。这些设置源于三个超参数的组合：

角色提示格式 (Persona Prompt Format, PPF)： 引入角色方式的变体（例如，“精简版” vs “身份本质型”）。
任务提示格式 (Task Prompt Format, TPF)： 问题呈现方式的变体（例如，“直接回答” vs “解释角色型”）。
温度 ( $\tau$ )： 分别设定为 0.0、0.5 和 1.0。

评估使用了一个由约 5,000 个问题组成的复合数据集 ( $D$ )，这些问题选自 MMLU、Social IQa 和 NormAd-Eti，涵盖 10 个领域（如数学、历史、医学）。该研究涉及 41 个不同的角色，分为身份类群体（如种族、性别）和职业角色（如律师、生物学家）。

为了量化不稳定性，作者提出了三个不同的指标：

性能不稳定性 ( $I_A$ )： 衡量模型准确率在不同实验设置之间的敏感度。它计算一个角色在所有设置对之间的平均成对绝对准确率差异。
结果不稳定性 ( $I_O$ )： 衡量实验结论的变异性，特别是角色的排名。它计算一个角色在不同设置下排名的加权标准差，其中权重由该设置中准确率的标准差决定（以考虑模型一致性）。
问题正确性不稳定性 ( $I_Q$ )： 衡量特定问题被答对的一致性。它计算一个角色在所有设置中答对问题集合的 Jaccard 相似度，然后用 1 减去该值，以表示非共享正确问题的百分比。

关键结果

研究表明，MCQA 中的 PDGs 具有高度的不稳定性，即使在先前研究使用的相似实验配置下，也会观察到显著的变化。

模型规模与家族： 不稳定性通常随着模型规模的增加而降低。较大的模型（如 Qwen2.5-14B）在所有三个维度上的不稳定性得分均低于较小的对应模型（如 Llama-3.2-1B）。然而，不同的模型家族也表现出截然不同的不稳定性模式。
超参数影响：
- 任务提示格式 (TPF)： 被确定为对不稳定性影响最大的超参数。TPF 的变化（特别是“解释型”格式）引入了比温度或角色提示格式更多的预测不稳定性。
- 温度： 高温 ( $\tau=1.0$ ) 导致的不稳定性始终高于低温 ( $\tau=0.0$ )。
- 提示词冗长度： 更加冗长或抽象的提示格式（如“身份本质型”）通常导致比“精简版”格式更低的不稳定性。
领域特异性： 不稳定性因问题领域而异。数学和常识推理问题的稳定性最低，而历史和文化意识问题的稳定性最高。作者假设这与这些领域训练数据表示的差异有关。
角色独立性： 特定角色（无论是基于身份还是职业）与不稳定性程度之间几乎没有相关性。不稳定性更多是由实验设置而非角色本身驱动的。
稳定性与准确率： 稳定性与准确率之间存在强相关关系。“稳定”的设置（如 $\tau=0$ 、简单提示）通常比“不稳定”的设置产生更高的平均值和最大准确率。
结果分歧： 不同的实验设置导致了关于哪个角色表现最好的根本性结论差异。在不稳定设置中，角色的排名可能会发生剧烈变化，且与人口统计相关的角色（在无关任务上本不应影响表现）表现出了随设置变化的、不一致且潜在的偏见行为。

意义与贡献

本文声称有三个主要贡献：

识别不稳定性： 它证明了 PDGs 在 MCQA 中并不稳健，在性能、结果排名以及问题层面的正确性方面，针对标准的超参数变化表现出高方差。
新颖指标： 它引入了三个特定的指标 ( $I_A, I_O, I_Q$ )，捕捉了超越简单准确率之外的不稳定性维度，揭示了即使准确率得分相同，也可能掩盖了在“哪些问题被答对”或“哪个角色被视为‘最佳’”方面的显著不一致性。
具操作性的见解： 研究提供了有力的证据，表明超参数选择（特别是 TPF）会严重影响 PDG 实验的有效性。它强调了不稳定的设置可能导致关于角色效能和偏见的矛盾发现，这表明未来的研究必须严格控制并报告这些稳定性维度，以确保结果的稳健性和可重复性。

作者总结道，PDGs 的不稳定性是一个关键因素，可能会掩盖或模拟偏见，因此有必要将评估其鲁棒性作为角色驱动评估的重要组成部分，而不仅仅是评估其准确率。