💬 NLP

Multiperspectivity as a Resource for Narrative Similarity Prediction

该论文提出将叙事解读的多元性视为预测资源而非障碍，通过构建包含 31 个不同解读视角的 LLM 人物模型集成，在 SemEval-2026 任务中验证了该方法能有效提升叙事相似度预测的准确性，并揭示了单一标准答案在评估多元解读时的局限性。

原作者： Max Upravitelev, Veronika Solopova, Jing Yang, Charlott Jakob, Premtim Sahitaj, Ariana Sahitaj, Vera Schmitt

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Max Upravitelev, Veronika Solopova, Jing Yang, Charlott Jakob, Premtim Sahitaj, Ariana Sahitaj, Vera Schmitt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：当我们让 AI 去判断两个故事“像不像”时，如果让一群性格、背景各异的 AI 角色一起投票，会不会比单个 AI 猜得更准？

为了让你轻松理解，我们可以把这篇论文想象成一场"故事侦探大会"。

1. 核心难题：故事没有唯一的“标准答案”

想象一下，老师让你比较两篇小说像不像。

普通人可能觉得：它们都有主角，都有冒险，所以很像。
文学评论家可能觉得：它们虽然情节不同，但都在探讨“人性的孤独”，所以灵魂很像。
女权主义者可能觉得：它们都塑造了反抗父权的女性角色，所以核心很像。

在传统的 AI 测试中，通常只有一个“标准答案”（Ground Truth）。但这就像只允许一种观点存在，忽略了故事解读的多样性。这篇论文认为，这种“众说纷纭”不是麻烦，而是资源。

2. 实验设计：组建一个"31 人侦探团”

研究者们没有只派一个 AI 去猜，而是组建了一个由 31 个不同 AI 角色 组成的“侦探团”。这些角色分为两类：

专家派 (Practitioners)：就像戴着专业眼镜的侦探。
- 比如：“文学评论家”（专门分析结构）、“后殖民主义批评家”（关注权力关系）、“女权主义文学批评家”（关注性别动态）。
- 特点：他们看问题很深入，但有时候太钻牛角尖，容易“想太多”。
路人派 (Lay People)：就像普通的吃瓜群众。
- 比如：“高中生”、“足球运动员”、“出租车司机”、“海盗”。
- 特点：他们凭直觉说话，虽然不懂深奥理论，但往往能抓住故事最本质的感觉。

玩法：
给这 31 个人看同一个故事题目（一个锚定故事，两个候选故事），让他们投票选哪个更像。最后，少数服从多数，看谁的票数多。

3. 主要发现：三个有趣的“反直觉”现象

现象一：人多力量大，但“杂”更重要

这就好比孔多塞陪审团定理（Condorcet Jury Theorem）：如果每个人稍微有点判断力，大家凑在一起投票，准确率就会飙升。

结果：随着投票人数增加，准确率确实提高了。
关键点：虽然“专家派”单独猜的时候，准确率往往不如“路人派”（专家容易想偏），但专家派的错误比较“独特”。
- 比喻：如果 10 个路人一起犯错，他们可能都因为“没看懂”而选错；但 10 个专家犯错时，有人是因为“太关注性别”，有人是因为“太关注政治”，他们的错误是分散的。
- 结论：在投票时，这种“分散的错误”反而能互相抵消，让专家团在集体决策中表现更好。

现象二：太关注“性别”反而容易翻车

这是论文最惊人的发现。

观察：当 AI 角色（无论是专家还是路人）在分析中频繁使用性别相关词汇（如“女性主角”、“父权制”、“性别角色”、“物化”）时，他们的准确率反而下降了。
比喻：这就像一群侦探在破案时，如果每个人都拿着放大镜死盯着“嫌疑人的性别”看，反而容易忽略真正的线索（比如谁在撒谎、时间线对不对）。
原因推测：
1. 也许这些故事里的性别因素确实不重要，过度关注是“跑题”。
2. 也许这些视角是对的，但出题的标准答案（Ground Truth）本身就没考虑到这些深层含义，导致“正确的解读”被判了“错误”。

现象三：简单的“大杂烩”比“精挑细选”更稳

研究者们试图找出哪 8 个角色是“最强组合”，结果发现：

在开发集（小样本）上，精心挑选的 8 人组表现神勇。
但在测试集（新题目）上，这 8 人组就“水土不服”了，表现甚至不如31 人全员投票。
结论：对于这种充满主观解读的任务，保持视角的广泛和多样性，比寻找几个“天才”更靠谱。

4. 总结与启示

这篇论文告诉我们：

不要试图让 AI 只有一种声音。在理解复杂故事时，让不同背景的角色（从专家到路人）一起参与，利用他们的多样性来互补，效果最好。
警惕“过度解读”。如果 AI 开始过度强调某些特定视角（如性别政治），它可能会偏离“故事像不像”这个核心任务。
未来的评估标准需要改变。现在的考试（基准测试）往往只有一个标准答案，但这篇论文暗示，对于文学和叙事，“众口难调”才是常态。未来的 AI 评估应该能容纳多种合理的解读，而不是简单地判定对错。

一句话总结：
这就好比问“这道菜好不好吃”，与其只问一个米其林大厨（专家），不如问一个由大厨、美食家、普通食客、甚至刚吃完饭的路人组成的31 人陪审团，最后听大家的多数意见，往往能得出最稳妥、最接近大众认知的结论。而且，如果陪审团里有人太纠结于“这菜是不是给女性吃的”，反而可能尝不出味道的好坏。

论文技术总结：将多视角性作为叙事相似性预测的资源

1. 研究背景与问题定义 (Problem)

核心问题：
叙事相似性预测（Narrative Similarity Prediction）本质上是一个解释性任务。对于同一文本，不同的、同样有效的解读视角（如文学批评、日常直觉、特定社会理论等）可能会产生截然不同的相似性判断。然而，现有的语义评估基准（如 SemEval）通常编码单一的“标准答案”（Ground Truth），将这种多视角性（Multiperspectivity）视为需要克服的噪声或挑战，而非建模的内在属性。

研究动机：
传统的单一模型或单一视角方法难以捕捉这种解释的多样性。作者提出，不应将多视角性视为评估的缺陷，而应将其操作化为预测系统决策过程中的一个核心组件。通过聚合多样化的解释视角，有望提高预测的鲁棒性和准确性，这一思路受到**孔多塞陪审团定理（Condorcet Jury Theorem, CJT）**的启发（即多个独立且具备一定能力的投票者集体决策的准确性高于个体）。

2. 方法论 (Methodology)

2.1 数据集与任务

任务：给定一个锚点故事（Anchor）和两个候选故事（A 和 B），判断哪个候选故事与锚点更相似。
数据集：SemEval-2026 Task 4 数据集（开发集 200 条，测试集 400 条）。

2.2 LLM 角色（Personas）构建

作者构建了一个包含 31 个 LLM 角色（Personas） 的集成系统，分为两大类：

实践者（Practitioners, [P]）：18 个角色，拥有明确的解释性框架。例如：文学评论家、计算叙事学家、后殖民批评家、女权主义文学评论家、性别视角分析师等。
普通人（Lay People, [L]）：13 个角色，基于直觉的“日常”人物。例如：高中生、足球运动员、出租车司机、导游等。

2.3 模型配置

使用了三个不同系列的开源/闭源大语言模型：
- Gemma 2 27B-it
- Qwen3 14B
- gpt-oss-20b
每个角色在三个模型上分别进行预测，共生成 $31 \times 3 = 93$ 个预测结果。

2.4 投票策略

研究比较了三种聚合层级：

个体预测：单个角色在单个模型上的预测。
模型特定多数投票：同一模型下，31 个角色的简单多数投票。
跨模型多数投票：所有 93 个（31 角色 $\times$ 3 模型）预测结果的简单多数投票。

3. 关键贡献与发现 (Key Contributions & Results)

3.1 集成规模与准确性

准确性随规模提升：实验表明，随着集成规模（Ensemble Size）的增加，多数投票的准确性显著提高。
- 在测试集上，31 个角色的跨模型多数投票达到了 0.705 的准确率（在 47 支队伍中排名第 13）。
- 这一趋势符合孔多塞陪审团定理的变体动态，尽管 LLM 之间并非完全独立。
Oracle 分析：如果拥有标准答案，当集成规模达到 30 左右时，至少有一个成员给出正确答案的概率（Oracle K≥1）接近 100%，表明集成系统覆盖了绝大多数正确解。

3.2 角色类别的互补性（核心发现）

个体表现 vs. 集体表现：
- 普通人（[L]）：个体准确率略高（71.7% vs 71.0%），但在集成中表现不如实践者。
- 实践者（[P]）：个体准确率略低，但错误相关性更低（Pairwise Error Correlation: [P] 为 0.388，[L] 为 0.461）。
- 结论：[P] 角色虽然个体表现稍弱，但由于其视角独特（基于特定理论框架），产生的错误更不相关。在多数投票机制下，这种**多样性（Diversity）**带来了更大的集成增益（[P] 集成增益 +5.0%，[L] 为 +3.6%）。
优化子集失效：试图通过穷举搜索找到最佳的 8 人子集（在开发集上达到 82%），在测试集上并未显著优于简单的全量多数投票（0.705 vs 0.7025）。这表明对于高解释变异性任务，广泛聚合多样化视角比精心挑选的小规模子集更稳健。

3.3 错误分析与性别词汇的负面关联

性别/女权主义词汇的悖论：研究发现，当角色（包括实践者和普通人）在解释中使用性别聚焦的词汇（如 "female protagonist", "gender roles", "patriarchal", "objectification"）时，其预测准确率显著下降。
- 例如，使用 "female" 一词时，准确率从 66.6% 降至 56.5%。
两种解读：
1. 这些视角关注了叙事中真实存在但未被基准测试（Ground Truth）编码的维度（即基准测试本身可能忽略了某些有效的解释）。
2. 或者，这些词汇指向了与当前任务（叙事相似性）不相关的维度。
意义：这一发现挑战了单一 Ground Truth 的权威性，暗示标准评估可能惩罚了某些有效的解释性视角。

4. 研究意义与局限性 (Significance & Limitations)

4.1 理论意义

重新定义多视角性：论文论证了在计算叙事理解中，多视角性不应被视为噪声，而应作为提升系统鲁棒性的资源。
评估框架的反思：研究指出，当前的语义评估基准可能无法充分容纳解释的多样性。如果有效的解释（如女权主义视角）因不符合单一标准答案而被判定为错误，那么评估框架本身需要进化以反映“解释的多元性”。

4.2 实践意义

集成策略：对于解释性任务，构建包含多样化理论框架和直觉视角的 LLM 角色集成，比单纯优化单个模型或寻找“最佳”子集更有效。
错误多样性：低个体准确率但高错误多样性的角色（如特定领域的理论家）在集成学习中具有极高的价值。

4.3 局限性

未涉及多智能体辩论：研究仅使用了静态的多数投票，未评估智能体之间通过辩论（Debate）迭代修正观点的效果。
相关性非因果：性别词汇与准确率的负相关是统计观察，不能直接推断为词汇导致了错误，可能是文本本身的某些属性同时引发了性别视角和预测困难。
数据规模：实验基于单一基准（SemEval-2026 Task 4）和较小的开发集，泛化性需进一步验证。

总结

该论文通过构建一个包含 31 个多样化 LLM 角色的集成系统，证明了在叙事相似性预测任务中，利用多视角性（特别是结合理论框架的“实践者”和直觉的“普通人”）可以显著提升预测性能。研究不仅展示了集成学习在解释性任务中的有效性，更深刻地揭示了当前基于单一标准答案的评估基准在衡量复杂叙事理解时的局限性，呼吁未来的 NLP 评估框架应更多地考虑解释的多元性。