Beyond Translation: Cross-Cultural Meme Transcreation with Vision-Language Models
本文引入了一种混合转创框架和一个大规模中美模因数据集，用于评估视觉语言模型在跨文化模因改编方面的能力，研究表明虽然目前的模型表现出有限的能力，但它们呈现出显著的方向性不对称，即在从美国到中国的转创方面表现优于反向过程。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一张带有幽默文字的有趣图片——也就是一个“梗图”（meme）。现在，想象一下你要把同一个梗分享给一个身处完全不同国家的的朋友。如果你只是翻译文字，这个笑话往往会变得索然无味。这就像是试图向一个只踢过足球的人解释棒球术 way 一样；虽然单词的意思大家都懂，但笑话带来的“感觉”却丢失了。
这篇论文是关于如何教计算机不仅仅是翻译梗图，而是要实现**“创译”（transcreate）**。把“创译”想象成一位“文化大厨”。大厨不仅仅是更换食材（文字），而是改变整个食谱，让它在新的受众面前依然美味，同时保留原有的神韵。
以下是研究人员解决这一挑战的方法：
问题所在：“迷失在翻译中”的笑话
梗图在网络上无处不在，但它们深深植根于本土文化。一个让美国人发笑的梗可能会让中国用户感到困惑，反之亦然。这并不是因为语法错误，而是因为幽默感、符号和视觉风格各不相同。
- 美国梗通常以名人、明星或特定的卡通角色为特色，并依赖于讽刺或情境讽刺。
- 中国梗则经常使用动物、象征性图像以及依赖于深厚文化知识或哲学底蕴的文字游戏。
解决方案：三步走的“文化大厨”流水线
研究人员构建了一个系统（一种混合框架），它像是一个三步走的组装线，将一个文化的梗转化为另一个文化的梗，且不丢失幽默感。
- 分析师（大脑）： 首先，一个聪明的 AI（被称为视觉-语言模型）会观察原始梗图。它不仅仅是阅读文本，它还会弄清楚为什么这很有趣。它会问：“这是讽刺吗？是关于某个名人的吗？它的情感核心是什么？”然后，它会写出一个符合目标文化风格的新标题。
- 艺术家（画家）： 接下来，另一个 AI（图像生成器）会根据那个新标题创作一张全新的图片。如果原始梗图里有一个著名的美国演员，AI 可能会将其替换为一个可爱的动物或中国用户觉得有趣的象征性图像，而不是仅仅翻译该演员的名字。
- 组装者（设计师）： 最后，一个计算机程序会将新文本和新图片组合在一起，确保字体和布局看起来符合特定文化的习惯（例如，中文文本更紧凑，英文则更松散）。
实验：“梗图交换”
为了测试这一点，研究人员创建了一个庞大的库，名为 MemeXGen。他们提取了来自美国和中国的 6,315 个原始梗图，并使用他们的系统为另一方创建了一套匹配的创译梗图。
- 他们将 3,165 个中国梗转化成了美式风格的梗。
- 他们将 3,150 个美国梗转化成了中式风格的梗。
他们的发现：“单行道”效应
当他们使用人类评委和其他 AI 模型进行测试时，他们发现了一些有趣的模式：
- 这不是完美的双向奔赴： 该系统在从美国到中国的过程中表现得比从中国到美国要好得多。
- 原因何在？ 美国梗通常使用全球认可的符号（如著名名人或普适的情境），这些更容易被改编。而中国梗往往依赖于非常具体的文字游戏、成语或哲学概念，很难找到对应的英文表达。
- “文化契合度”很微妙： 虽然系统在让文本和图片看起来和谐共处方面做得很好，但最难的部分是确保这个笑话读起来真的像是一个文化的“原生”内容。
- AI 与人类评委： 研究人员让人类和其他的 AI 对新生成的梗图进行评分。他们发现，大多数开源 AI 在判断幽默感方面表现得很差（给出的分数很随机）。然而，有一个特定的 AI（Qwen-VL-Max）表现得非常出色，它对文化细微差别的理解能力惊人，几乎达到了人类评委的水平。
总结
论文得出结论，虽然目前的 AI 可以胜任为不同文化“重混”梗图的工作，但在处理幽默中那些深层、微妙的部分时仍然感到吃力。这就像是一个翻译员可以完美地使用语言，但尚未学会当地的俚语或内部笑话。研究人员表明，要让梗图真正跨越国界旅行，你需要改变的是视觉效果和文化参照物，而不仅仅是文字。
他们已经公开了他们的代码和这个庞大的梗图对库，希望能帮助未来的 AI 不仅理解我们说了什么，还能理解我们是如何发笑的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。