💬 NLP

SwanNLP at SemEval-2026 Task 5: An LLM-based Framework for Plausibility Scoring in Narrative Word Sense Disambiguation

本文介绍了 SwanNLP 团队在 SemEval-2026 第 5 项任务中提出的基于大语言模型的叙事词义消歧框架，该框架通过结构化推理机制评估词义合理性，并发现结合动态少样本提示的大参数模型及集成策略能最接近人类标注者的判断。

原作者： Deshan Sumanathilaka, Nicholas Micallef, Julian Hough, Saman Jayasinghe

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Deshan Sumanathilaka, Nicholas Micallef, Julian Hough, Saman Jayasinghe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“教 AI 读懂故事里的双关语”**的有趣实验。

想象一下，你正在读一个短篇故事，里面出现了一个多义词（比如英语里的"bank"，既可以是“银行”，也可以是“河岸”）。在大多数情况下，AI 能猜对意思。但在某些复杂的故事里，人类读者可能会觉得：“嗯，这里用‘银行’的意思好像有点牵强，但也说得通；或者用‘河岸’的意思更合理。”

SwanNLP 团队（来自斯旺西大学）参加了一个名为"SemEval-2026"的比赛，任务就是让 AI 像人类一样，给这种“双关语在故事里是否合理”打分（1 到 5 分）。

为了让你更容易理解，我们可以把这篇论文的研究过程比作**“培养 AI 侦探”**的过程：

1. 核心挑战：AI 为什么很难？

以前的 AI 就像是一个只读单句的速记员。如果你给它一句话，它能根据周围的词猜出意思。但在这个任务里，AI 需要读整个短篇故事（就像读一本微型小说），理解前因后果，才能判断某个词用得是否“合理”。

比喻：这就好比让你猜一个笑话里的梗。如果只给你最后一句，你可能不懂；但如果你听了整个铺垫，你就知道这个梗是“神来之笔”还是“生搬硬套”。

2. 他们用了哪三招？（方法论）

团队尝试了三种不同的“训练 AI 侦探”的方法：

第一招：让 AI“死记硬背”并模仿人类（微调小模型）

他们找了一些比较小的 AI 模型（就像刚入行的实习生），让它们大量阅读故事和人类给出的评分，然后进行“特训”（微调）。

创新点：他们不仅让 AI 直接猜分，还教了它四种“思考方式”：
1. 单人视角：假装自己是 1 个读者，给个分。
2. 五人视角：假装自己是 5 个不同的读者，给 5 个分（模拟人类意见不统一的情况）。
3. 先思考再打分：像写日记一样，先写出“为什么我觉得合理”，再给分（这叫思维链）。
4. 先判断难度再打分：先看看这个故事是“简单题”还是“烧脑题”，再决定怎么打分。
结果：教 AI“先思考再行动”（特别是判断题目难度）效果最好。但小模型毕竟“阅历浅”，在特别模棱两可的故事里，还是容易翻车。

第二招：让 AI“开卷考试”（动态少样本学习）

既然小模型记不住，那就请大模型（像 GPT-4o 这样的“学霸”）来帮忙。

做法：他们建立了一个“题库”。当遇到一个新故事时，AI 会先去题库里找几个最相似的故事（比如都是“人类觉得很难判断”的故事），把人类当时是怎么打分的展示给大模型看，让它参考。
比喻：这就像考试时，老师允许你带一张“小抄”，上面写着以前做过的类似题目的答案。
结果：这种方法非常有效！大模型加上“小抄”（参考案例），能非常精准地模仿人类的判断，甚至超过了小模型。

第三招：组建“陪审团”（模型集成）

既然一个 AI 可能看走眼，那就让5 个不同的 AI 组成一个陪审团。

做法：让 5 个不同的 AI 模型分别给同一个故事打分，然后取它们的平均值，或者用更聪明的算法（像线性回归、XGBoost 等）来综合大家的意见。
比喻：这就好比法官判案，与其让一个法官独断专行，不如让 5 个法官讨论，最后取个共识。
结果：这招确实让最终成绩更稳了，更接近人类评委团的平均水平。

3. 最终成绩与发现

成绩：他们的团队在排行榜上获得了第 10 名。
关键发现：
1. 大模型 + 参考案例是目前的“王者组合”。
2. 教 AI 思考（比如先判断题目难易）比单纯让它背答案更有用。
3. 模拟人类的不一致性很重要。有时候人类对同一个故事看法不一，AI 如果能模拟出这种“众说纷纭”的感觉，反而比强行给出一个“标准答案”更聪明。

4. 还有什么不足？

虽然 AI 进步很大，但在一些极度模糊、让人类自己都拿不准的故事里，AI 还是会犹豫或犯错。这说明 AI 虽然学会了“像人一样思考”，但在处理那种“只可意会不可言传”的微妙语感时，还差点火候。

总结

这篇论文告诉我们：要让 AI 真正理解人类的故事，不能只靠死记硬背，得让它学会思考、学会参考前人经验，甚至学会像人类陪审团一样讨论。虽然还没达到完美，但这已经是向“读懂人心”迈出的重要一步了。

论文技术总结：SwanNLP at SemEval-2026 Task 5

1. 研究背景与问题定义

任务背景：
SemEval-2026 Task 5 旨在解决自然语言理解（NLU）中的一个关键挑战：基于叙事语境的词义消歧（Narrative Word Sense Disambiguation, WSD）。与传统的句子级消歧不同，该任务要求模型在包含前文（precontext）、歧义目标句和可选结尾的短篇故事中，评估人类对特定同形异义词（homonym）词义“合理性”（Plausibility）的感知。

核心问题：

语境依赖性：现实世界的语言理解往往依赖于多句叙事结构，而现有基准多局限于单句，缺乏足够的上下文线索。
人类判断模拟：任务目标不是简单的分类，而是预测人类对词义合理性的评分（1-5 分）。由于人类对某些歧义案例的判断存在主观差异（即“人类模糊”案例），模型需要模拟这种多 annotator（标注者）的共识或分布，而不仅仅是单一预测。
现有局限：虽然大型语言模型（LLM）在常见词义消歧上表现良好，但在处理稀有词、复杂叙事语境以及模拟人类细微的判断差异方面仍存在不足。

2. 方法论 (Methodology)

SwanNLP 团队提出了一套基于 LLM 的框架，结合监督微调（SFT）、动态少样本学习（Dynamic Few-shot Learning）和模型集成策略。

2.1 数据预处理与难度分级

为了支持不同的推理过程，团队首先对数据进行了基于人类标注均值的离散化处理，将合理性分为四个等级：

高合理性 (≥4.0)：词义与上下文及结尾高度契合。
中等合理性 (3.0-4.0)：合理但非完美。
低合理性 (2.0-3.0)：联系微弱。
不合理 (<2.0)：完全不契合。

此外，利用图 1 所示逻辑将数据分为三类：

人类模糊 (Ambiguous)：标注者意见分歧大（高方差）。
人类简单 - 高分：一致的高分。
人类简单 - 低分：一致的 low 分。

2.2 策略一：低参数 LLM 的监督微调 (SFT)

针对参数量较小的模型（如 Gemma-4B, Qwen-4B），采用了四种微调策略来模拟人类推理：

单标注者模拟：直接预测单个标注者的分数。
五标注者模拟：生成五个分数以模拟人类群体的多样性。
思维链推理 (CoT)：先分析上下文和结尾，再给出分数。
难度感知推理：先判断实例难度（简单/模糊），再结合辅助信息（如 GLOSSGPT 提供的词义预测）进行推理。
技术细节：使用 LoRA 进行高效微调，输入包含故事、目标词、候选词义及结尾。

2.3 策略二：商业大模型的动态少样本学习 (Dynamic Few-shot)

针对大参数模型（如 GPT-4o, DeepSeek V3），采用了受检索增强生成（RAG）启发的动态少样本策略：

检索机制：构建向量数据库（使用 BGE 小模型嵌入 + FAISS），将训练数据按上述三类（模糊、简单高分、简单低分）存储。
动态示例：在推理时，根据输入故事的类别，检索最相关的 $K$ 个示例（ $K=1$ 或 $3$）作为上下文提示（In-context examples）。
基线对比：设置了无检索的 Zero-shot 基线，以证明检索示例的有效性。

2.4 策略三：模型集成 (Ensembling)

为了模拟五个标注者的一致性，将 Phase 1 和 Phase 2 中的五个不同模型（或同一模型的不同配置）视为独立标注者，采用以下集成方法：

多数投票 (Majority Voting)
等权平均 (Equal-Weight Averaging)
基于性能的加权平均
线性回归集成 (LRE)
支持向量回归 (SVR)
XGBoost 集成
注：集成模型的训练仅在开发集上进行，并使用交叉验证以确保鲁棒性。

3. 关键实验结果

3.1 低参数模型微调表现 (Table 3)

最佳策略：基于难度分析 (Difficulty Analysis) 的推理模型表现最佳。在 Qwen-4B 上，测试集的 Spearman 相关系数达到 0.491，准确率 (Acc) 达到 0.631。
发现：
- 显式识别故事难度有助于模拟人类判断。
- 结构化思维链（CoT）比直接预测分数更有效。
- 模拟“五标注者”通常不如“单标注者”模拟效果好，因为模型强行引入多样性反而降低了准确性。
- Qwen-4B 在所有实验中均优于 Gemma-4B。

3.2 商业大模型动态少样本表现 (Table 4)

最佳模型：GPT-4o 在所有设置中均表现最佳。
性能提升：动态少样本（K=1 或 K=3）相比 Zero-shot 有显著提升。
- GPT-4o 在测试集上的 Spearman 相关系数从 0.741 (Zero-shot) 提升至 0.755 (K=3)。
- 准确率从 0.792 提升至 0.798。
最佳 K 值：测试集上 $K=1$ （每个类别一个示例）表现最好，而开发集上 $K=3$ 更好，表明存在泛化与过拟合的权衡。

3.3 模型集成表现 (Table 5)

最佳集成方法：
- Spearman 相关系数：XGBoost 在测试集上达到 0.724（略优于线性回归集成的 0.723）。
- 准确率：线性回归集成 (LRE) 在测试集上达到 0.797。
结论：集成方法能有效模拟多标注者的一致性，整体性能优于单一模型预测。

4. 主要贡献与结论

核心贡献

框架创新：提出了一种结合低参数模型微调（侧重推理逻辑）和大模型动态少样本检索（侧重上下文增强）的混合框架，专门用于叙事语境下的词义合理性评分。
难度感知机制：首次在该任务中引入“难度分类”作为推理的中间步骤，显著提升了小模型的模拟能力。
多标注者模拟：通过模型集成策略，成功模拟了人类标注者的共识过程，证明了多模型投票/加权比单模型预测更能反映人类判断的分布特征。
实证分析：揭示了在叙事 WSD 任务中，动态少样本学习（Dynamic Few-shot）比单纯微调小模型更有效，且 $K$ 值的选择对泛化能力有重要影响。

最终成绩

团队在 SemEval-2026 Task 5 排行榜上获得第 10 名，平均得分为 0.760。

局限性与未来展望

模糊性处理：尽管模型能较好模拟人类推理，但在高度模糊或语境敏感的案例中，模型的一致性（Consistency）和细微的解读能力（Interpretive nuance）仍有不足。
未来方向：需要进一步研究如何让模型在保持人类判断多样性的同时，提高对不确定性的建模能力，以实现更可靠、更贴近人类认知的判断。

5. 意义

该工作证明了在复杂的叙事语境中，结合结构化推理、动态上下文检索以及模型集成策略，可以显著提升机器对词义合理性的评估能力。这不仅推动了 WSD 任务从句子级向篇章级的演进，也为构建更人性化、更鲁棒的 NLU 系统提供了重要的技术路径。