💬 NLP

lmfaoooo at SemEval-2026 Task 1: Humor Is an Audience. Preference Modeling for Constrained Humor Generation

本文介绍了一个在 SemEval-2026 Task 1 (MWAHAHA) 中获得第一名的系统，该系统通过采用一种“生成多个、择优选取”的策略来应对幽默的受众依赖性，即通过一个基于人类成对判断（而非绝对幽默度评分）训练而成的偏好模型，从多样化的候选池中进行排序。

原作者： Alexey Tikhonov, Alexey Ivanov

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alexey Tikhonov, Alexey Ivanov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位喜剧俱乐部的老板，正试图为今晚的演出挑选出最有趣的笑话。你手里有由一个超快速机器人编写的一千个笑话，但你知道，一个让某人捧腹大笑的笑话可能会让另一个人翻白眼。你正在阅读的这份报告，讲述了作者如何构建一个系统来解决这个问题的，这个系统是为一项名为 Semilla-2026 Task 1（昵称 MWAHAHA）的计算机科学竞赛设计的。

以下是他们实现这一目标的步骤，通过简单的步骤进行了拆解：

1. 问题所在：“幽默”因人而异

作者指出，教计算机变得幽默之所以困难，不是因为它不会写词，而是因为“幽默”是主观的。

观众问题： 一个在柏林大获成功的笑话可能会在北京冷场。即使是人类也无法就什么是幽默达成一致；如果你请10个人给一个笑话评分，他们会给出10个不同的分数。
机器人问题： 计算机擅长记忆。如果你要求一个机器人讲笑话，它往往只是重复它背下来的那25个老梗，就像鹦鹉重复口头禅一样。它很难创造出真正新颖的东西。

2. 策略：“投掷飞镖，然后选中靶心”

作者并没有试图让计算机一次性写出“完美”的笑话，而是使用了两步走的策略：生成大量，然后挑选最优。

第1步：“笑话工厂”（生成）
他们建立了一个工厂，针对每一个提示词都能产出50个不同的笑话。他们使用了一组不同的AI模型（就像一个由不同喜剧演员组成的团队），并强制要求它们保持创意，以免只是简单地复制粘贴旧笑话。他们还确保了笑话符合规则（比如包含特定的词汇或保持在一定的长度内）。
- 类比： 想象一下，你要求50位不同的厨师去做汉堡。有的会做得辣一点，有的会做得甜一点，有的会做得很奇怪。现在你拥有了一大堆汉堡。
第2步：“试吃员”（选择）
现在，他们需要从这50个笑话中选出赢家。由于人类无法实时评判每一个笑话，他们构建了一个偏好模型（Preference Model）。
- 他们没有问计算机“这个笑话有趣吗？”（这太模糊且令人困惑），而是问：“在笑话A和笑话B之间，哪一个更好？”
- 他们利用大约 2,500 条人类投票训练了这个模型，在这些投票中，人们比较两个笑话并选出一个胜者。这就像是通过向评委展示数千场“A vs B”的对决，来训练一位评委，直到评委学会了观众的口味。

3. 秘诀：“幽默食谱”

为了让他们的“试吃员”更聪明、更容易理解，作者并没有让计算机瞎猜。他们创建了一个**“幽默基础”（Humor Basis）**——一个包含17种特定“风味”的短列表。

把这想象成一个调料架。这些风味可能包括“黑色幽默”、“文字游戏”、“夸张”或“意想不到的转折”。
当计算机观察一个笑话时，它不仅仅是说“好”或“坏”。它会根据调料架来检查笑话：这个笑话是否有强力的包袱？它是否在使用文字游戏？它是否太黑暗了？
这使得系统具有“可解释性”，意味着人类可以查看结果并理解计算机为什么选择了某个笑话（例如：“它选了这个，是因为它有一个很棒的转折，尽管它有点短”）。

4. 结果：赢得比赛

他们在三种不同类型的数据（Reddit笑话、专业笑话以及他们自己的新数据集）上测试了这个系统。

冠军： 他们的“比较两个笑话”的方法比仅仅要求计算机给单个笑话打分的效果要好得多。它在处理不同语言和文化方面也比其他方法表现得更好。
奖杯： 在实际的比赛（MWAHAHA）中，他们的系统在英语和中文方面获得了第1名，在西班牙语方面获得了第2名。

5. 核心启示

论文总结道，计算机幽默的未来不在于让机器人从头开始写出“更好”的笑话。机器人已经很擅长写出“很多”笑话了。真正的挑战在于选择正确的那一个。

作者认为，如果我们想要计算机变得幽默，我们应该停止将“幽默”测量为一个单一的数字，而应该开始关注偏好——通过比较选项来理解特定观众喜欢什么，就像我们在决定看哪部电影或听哪首歌时所做的那样。

简而言之： 他们构建了一个系统，生成海量的笑话自助餐，并使用一个聪明的、经过训练的“试吃员”来挑选出观众最可能喜爱的那个菜肴，通过理解幽默的核心在于观众的偏好而非笑话本身，从而赢得了比赛。

技术摘要：SemEval-2026 任务 1 (MWAHAHA)

问题陈述
本文探讨了计算幽默生成中持续存在的困难，这源于两个主要挑战：一是“幽默感”本质上的主观性，二是大型语言模型（LLMs）倾向于记忆并重复高频模板而非生成新颖内容。幽默具有受众依赖性，因文化、人口统计特征和语境的不同而产生显著差异，这导致了噪声监督，即标注者的一致性通常较低（例如，与双关语相关数据的 Fleiss' $\kappa \approx 0.49$ ）。此外，无约束生成往往会导致模式崩溃（mode collapse），即模型默认转向一小组熟悉的笑话。SemEval-2026 任务 1 (MWAHAHA) 特别针对约束性幽默生成（例如，基于标题或特定词汇进行条件生成），涵盖英语、西班牙语和中文，并通过竞技场风格设置中的人类偏好判断进行评估。作者认为，对于约束性任务，瓶颈不在于原始生成能力，而在于能否可靠地为目标受众选择出最优候选方案。

方法论
作者提出了一个两阶段的“生成多项 $\rightarrow$ 选择最优”流水线，将幽默生成视为一个多样性最大化问题，随后是一个偏好学习问题。

候选生成：
- 策略： 一种受头脑风暴技术启发的步进式提示方法：生成联想、扩展联想，并将它们合并为最终的笑话。
- 多样性与约束： 使用 Claude-Sonnet-4、Claude-Ops-4.5 和 GPT-5 的集成模型，温度设定为 1.0。一种“关注尾部采样”（tail-focused sampling）技巧从低概率区域抽取候选者，以增加新颖性。
- 过滤： 每个实例生成 50 个候选者。硬性约束（关键词包含、长度）通过确定性方式强制执行。通过嵌入相似度移除近乎重复的项，仅保留每个簇的质心。
偏好建模与选择：
- 可解释的“幽默基底”（Humor Basis）： 作者并未仅仅依赖原始文本嵌入，而是构建了一个紧凑且可解释的特征基底（最终运行中包含 17 个特征）。该基底通过提示 LLM 生成笑话对之间的“差异提示”（difference hints），对这些提示进行嵌入、聚类（DP-means）并进行语义去重而得出。
- 特征提取： 该基底用于对笑话进行两种模式的评分：
  - 逐点式（Pointwise）： 根据规则对单个笑话进行评分。
  - 成对式（Pairwise）： 比较两个笑话，以确定哪一个更符合特定规则。
- 模型训练： 使用 L1 (LASSO) 进行特征选择，以及 L2 正则化回归来保证稳定性，从而训练轻量级偏好预测器。作者优先采用基于成对比较的回归作为主要方法，因为尽管其计算成本较高 ( $\Theta(n^2)$ vs. $\Theta(n)$ )，但它能产生更好的全局排名稳定性。他们采用了优化手段，如优先处理不连通分量之间以及不相似候选者之间的比较，从而将所需的评估次数减少到 $\Theta(n \log n)$ 。
- 全局排名： 最终排名通过 Evalica 工具包使用 Bradley-Terry-Luce 模型和 Elo 式程序进行聚合。

核心贡献

偏好数据发布： 发布了通过“Humor Arena”原型收集的约 2.5K 人类成对判断数据，以及现有的基于 Reddit 和 ScaleAI 的数据集。
偏好优先框架： 将约束性幽默生成形式化为一个由重复成对决策驱动的排序问题，并指出这比绝对评分能提供更稳定的学习信号。
可解释流水线： 一种将标注的比较转化为紧凑特征基底的方法，从而实现轻量级、可解释的偏好模型训练。
系统实现： “lmfaoooo”系统，它集成了生成与选择的工作流，并公开了所有的提示词、候选池及相关产物。

结果

数据集内表现： 在三个数据集（Reddit、ScaleAI 和 Humor Arena）上，基于成对特征的模型表现一致优于逐点式基线和“无基底”（NoBasis，直接使用 LLM 作为评判者）基线。例如，在 Humor Arena 数据集上，成对模型达到了 77% 的准确率，而逐点式模型为 45%，NoBasis 模型为 37%。
跨领域迁移： 成对模型展示了比逐点式基线更强的迁移能力。虽然迁移是部分且不对称的（表明存在通用幽默成分和社区特定幽默成分），但成对模型在非对角线测试设置中仍保持了较高的准确率。
SemEval-2026 任务 1 表现： 该系统在英语和中文子任务中获得第一名，在西班牙语子任务中获得第二名。
- 英语 ELO: 1041 (95% CI [1009, 1064])
- 中文 ELO: 1081 (95% CI [1031, 1127])
- 西班牙语 ELO: 1091 (95% CI [1053, 1121])

意义与主张
本文认为，幽默生成的未来将不再仅仅依赖于提高原始文本生成能力（现代 LLM 已拥有丰富的此类能力），而更多地取决于改进评估和偏好建模。作者声称，其结果支持了“偏好优先”的观点：生成多样化的候选方案正变得越来越容易，但可靠地识别出哪个候选方案符合特定受众仍然是核心难点。使用可解释的特征基底允许进行针对性的错误分析，揭示出虽然某些幽默特征（如清晰的笑点/punchlines）是普遍被选中的，但其他特征则是社区特有的。作者总结道，该领域的进步将越来越多地依赖于稳健的偏好建模，而非仅仅依赖于生成架构的改进。