WAON: Large-Scale Japanese Image-Text Pair Dataset for Improving Model Performance on Japanese Cultural Tasks
该论文介绍了 WAON，一个包含约 1.55 亿样本的超大规模日语文本 - 图像对数据集，并配套构建了 WAON-Bench 基准测试，旨在通过针对日本文化与语言数据的微调，显著提升视觉语言模型在相关任务上的性能并达到公开模型中的最先进水平。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 WAON 的大项目，它的核心目标是：教人工智能（AI）真正“懂”日本文化。
为了让你更容易理解，我们可以把训练 AI 想象成教一个外国留学生（AI 模型）学习日本文化。
1. 现在的困境：教材不够好，或者全是“翻译版”
以前，想教 AI 懂日本，大家只有两种选择，但都有大问题：
- 教材太少：现有的日本图片 - 文字配对数据（比如维基百科里的），数量太少，就像只给留学生看几本小册子，根本学不透。
- 教材是“翻译版”：有些数据集是把英文的教材翻译成日文。这就像让留学生看一本“英译日”的《日本料理指南》。虽然字面意思对了，但味道不对。比如，英文里描述“樱花”可能只是“粉色的花”，但日文里的“樱花”包含了季节感、情感和日本人的审美。直接翻译会丢失这些文化精髓，甚至产生误解。
2. 我们的解决方案：WAON（日本文化的“原版图书馆”）
作者们决定自己动手，建一个全新的、超大规模的“原版图书馆”，这就是 WAON。
- 规模巨大：他们从互联网（Common Crawl）上抓取了1.55 亿张日本本土的图片，并配上了日本人自己写的文字说明。这相当于给留学生提供了 1.55 亿本“原汁原味”的日本生活图鉴。
- 精挑细选（像淘金一样）：
- 互联网上垃圾很多（广告、色情、模糊图片）。作者们设计了一套严格的过滤流水线。
- 去重：就像把图书馆里重复的复印本扔掉，只留独特的。
- 质量检查：用 AI 模型（SigLIP）来打分，确保图片和文字是“门当户对”的（比如图片是猫，文字不能说是狗）。
- 最终成果：经过层层筛选，留下了最精华的 1.55 亿对数据。
3. 为了考得好，我们重新设计了“考试卷”：WAON-Bench
光有教材不行，还得有考试来检验学生学得怎么样。以前的考试卷（一个叫 Recruit 的数据集）有很多毛病：
- 偏科严重：80% 的题都是关于“食物”的，其他文化（如建筑、节日）考得太少。
- 题目出错了：有些图片配的文字是错的（比如图片是清水寺，文字却只配了一个在附近的人）。
- 题目太像：很多图片长得几乎一模一样，学生只要背下那张图就能得分，没真本事。
WAON-Bench 就是作者们重新手写的“新考卷”：
- 题型丰富：涵盖了动物、建筑、节日、美食、自然等 8 大类，共 374 个细分主题。
- 人工把关：每一道题都是日本人手动挑选和核对的，确保图片真的代表那个文化概念。
- 难度适中：总共 1870 张图，专门用来测试 AI 是否真的“懂”日本文化。
4. 实验结果：效果惊人
作者们用这个新教材（WAON）去“特训”一个原本就很强的多语言 AI 模型（SigLIP2）。
- 对比结果：
- 用旧教材（翻译版或数据量小的）训练的 AI，在考日本文化题时，得分一般。
- 用 WAON 训练的 AI，在“日本文化考试”（WAON-Bench）中，得分高达 95.1%，远超其他所有模型。
- 有趣的现象：
- 这个 AI 不仅更懂日本文化，在考“西方文化”（如 ImageNet）时，成绩也没有下降，反而还有提升。
- 这说明：先让 AI 拥有全球视野（全球数据预训练），再让它深入钻研日本文化（WAON 微调），是最高效的学习路径。 就像让一个留学生先通读世界历史，再专门去日本留学，他既能懂日本，也能更好地把日本文化讲给世界听。
总结
这篇论文就像是在说：
“以前我们教 AI 学日语，要么书太少，要么是用英语翻译的，导致 AI 学得不伦不类。现在我们直接给了它 1.55 亿本日本人自己写的‘原版书’，还重新设计了一套严谨的‘期末考试’。结果证明，这样教出来的 AI，不仅成了日本文化专家，而且学得更聪明、更彻底。”
WAON 的发布，意味着未来 AI 在处理日本相关的任务（比如识别日本风景、理解日本节日、搜索日本信息）时，将变得更加精准和智能。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。