Resources and Evaluation in Computational Humour Generation: A Systematic Survey across Languages and Cultures

让计算机讲笑话是人工智能领域中极具欺骗性的难题之一。这不仅需要组建符合语法规则的词汇，机器还必须理解人类文化、时机和预期中那些微妙且往往隐形的规则。一个在某个城市奏效的笑话，在另一个城市可能会冷场甚至引起冒犯；对一个人来说有趣的表达，对另一个人来说可能显得莫名其妙。多年来，研究人员一直试图构建能够生成幽默的系统，从最初通过简单的基于规则的程序进行词汇替换，演进到如今能够从海量文本中学习的复杂现代系统。但随着这些系统变得越来越强大，一个新问题出现了：虽然计算机在写笑话方面变得更好了，但它们所立足的基础却变得越来越难以察觉。我们并不知道它们学习的数据是否真正代表了它们旨在取悦的人群，也不知道用于评判它们的测试是否真的在测量我们所认为的东西。

来自泰国蒙库特皇家科技大学的研究人员最近进行了一项系统性调查，对这一隐藏的基础进行了深入审视。该团队检查了发表在 2020 年至 2026 年间的 74 项研究，这一时期见证了计算机学习创造幽默方式的巨大转变。他们不仅观察了机器生成的笑话，还追踪了整个研究的生命周期——从用于训练模型的原始数据，到决定一个笑话是否真正有趣的评估方法。他们的目标是确定科学家们所拥有的资源是否真正向他人开放，数据是否涵盖了人类文化的广泛多样性，以及我们测试这些系统的方法是否可靠。他们的发现显示，这是一个处于快速转型期的领域，技术的发展已经超越了支持其发展所需的透明度和严谨性。

幽默生成领域的格局在短短几年内发生了剧烈变化。过去，研究人员依赖于特定的、手工设计的规则，或针对单一类型笑话（如双关语或标题）设计的小型数据集。如今，该领域由大语言模型主导，这些模型是在互联网海量文本上训练而成的庞大计算机程序。这些模型可以生成多种语言和风格的文本，并在所审查的研究中占到了 7 3%。研究人员不再编写一个专门讲特定笑话的程序，而是通常给这些模型一个简单的指令（即提示词），要求它们表现得有趣。这种灵活性促使了新实验的激增，研究数量在 2023 年后大幅上升。然而，这种转变也创造了一种新型的黑箱化现象。由于幽默知识现在分布在模型的内部设置、给出的指令以及生成过程中检索到的数据之中，人们往往无法准确判断幽默究竟源自何处，或者它具体借鉴了哪种文化背景。

该调查中最令人震惊的发现之一是，尽管数据丰富，但寻找、重用或验证数据却极其困难。研究人员检查了这 74 项研究中创建的数据集和资源的可用性，发现其中只有 28% 是公开可供他人使用的。更令人担忧的是，仅有一项研究明确指出了管理其数据使用方式的法律许可协议。在科学研究领域，这就像是发表了一份食谱，却拒绝列出食材或分享这道菜的规则。当研究人员查看少数发布的资源时，发现它们都没有在互联网上拥有一个永久且不可更改的地址，即持久标识符。这意味着数据的链接可能会失效，一旦链接断开，数据就会实际上丢失。由于缺乏清晰的许可和稳定的位置，其他科学家无法复现结果或在现有工作基础上进行开发，这减缓了进步速度，也让人难以判断一个系统是真的有效还是仅仅运气好。

调查还揭示了系统旨在服务的语言与构建系统的语言之间存在显著差距。超过一半的研究仅关注英语，尽管研究人员声称他们的系统可以跨越不同文化运作。虽然也有涉及中文、西班牙文、日文等语言的研究，但其中许多研究依赖于翻译英文笑话，而非收集由母语使用者自然创作的幽默。这是一个至关重要的区别，因为幽默与文化紧密相连；一个依赖于特定历史事件或当地习俗的笑话，不能简单地通过翻译就能在别处奏效。研究人员发现，只有四项研究直接评估了生成的幽默是否具有文化适切性，并且使用了确实属于目标社群的评价者。在大多数其他情况下，研究人员假设如果一名母语使用者觉得有趣，那么它在文化上就是安全的，而没有实际测试其是否符合特定的文化敏感性或传统。

在判断计算机是否成功讲了一个笑话时，所使用的方法往往不一致，有时甚至具有误导性。衡量幽默感的“金标准”一直是人类判断，调查证实人类评估仍是最常用的方法，在 84% 的研究中被使用。然而，这些评估的开展方式差异巨大。一些研究使用一小群学生，而另一些则使用专业喜剧演员或大规模的在线劳动力。使用统计检验以确保结果并非偶然的研究不足 40%，而且许多研究并未解释他们是如何判定一个笑话是否有趣的。为了提高效率，一些研究人员开始使用其他计算机模型来充当评判者，但调查发现，这些自动化评判者经常与人类产生分歧。它们可能会因为一个回答具有新颖性或惊喜感而将其评为有趣，即便人类会觉得这令人困惑或具有冒犯性。这带来了一种风险，即系统可能正在被优化以取悦其他计算机，而不是为了取悦真实的人类。

研究人员得出结论，该领域的主要障碍不再是缺乏数据，而是难以寻找、重用和验证已经存在的数据。向功能强大的通用模型的转变并没有消除对高质量、文档详尽资源的的需求；反而使得这些资源变得更加重要。为了向前迈进，该领域需要采取更好的数据共享实践，包括清晰的许可协议、永久性的链接以及关于数据如何收集和标注的详细描述。最重要的是，研究人员需要确保其评估与其声明相符。如果一个系统旨在为特定的文化群体提供幽默，那么它必须由该群体的人员进行测试，并使用反映其价值观和传统的标准进行评估。在这些基础得到加强之前，计算机讲笑话方面的进展将始终充满不确定性，其取得的进展可能反映的是测试方法的特性，而非对人类幽默的真正理解。