Diffusion-Based Ukrainian Handwritten Text Generation with Cross-Domain Style Transfer
本文通过构建大规模作者标注数据集，并证明最初基于拉丁字母训练的扩散模型能够通过跨域和少样本迁移成功泛化以生成清晰且风格一致的西里尔字母手写文本，从而解决了乌克兰语手写文本生成资源匮乏的问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位大师级的书法老师，他花费数年功夫，学习如何模仿数百位不同英语使用者的笔迹。只需看到陌生人写下的几个词，他便能瞬间复刻出此人独特的风格——字母的倾斜角度、笔画的粗细，以及单词间的间距。
这篇论文提出了一个重大问题：如果我们教会这位书法老师书写乌克兰语（一种拥有完全不同字母和形状的字母系统），他是否仍然能够模仿陌生人的风格？
以下是他们寻找答案的故事，简化分解如下：
1. 问题：缺失的食谱书
多年来，人工智能研究人员在生成伪造的英语笔迹方面表现卓越。但在乌克兰语（以及许多其他非英语语言）方面，他们却碰了壁。缺乏一本“食谱书”（即大型数据集），其中包含数百人书写的数千个乌克兰语单词，并标注了书写者身份。没有这些数据，人工智能就无法学习乌克兰语书写的规则，也无法模仿特定书写者的风格。
2. 解决方案：构建庞大的图书馆
作者们从零开始构建了这本缺失的食谱书。
- 来源： 他们从一批扫描的乌克兰语句子开始。
- 清理： 他们使用数字“橡皮擦”去除了不属于书写部分的杂点和线条。
- 切割： 他们利用智能“剪刀”（计算机视觉工具）将长句切割成单个单词。这颇具挑战性，因为乌克兰语字母经常相互接触或重叠。他们的方法准确率达到 95%，远超标准工具。
- 平衡： 某些乌克兰语字母非常罕见（如字母"ґ"）。人工智能倾向于忽略罕见事物，因此作者们人为地在图书馆中增加了这些罕见字母的示例，以确保人工智能也能学会它们。
- 结果： 一个包含 126,000 个单词 的图书馆，由 308 位不同人士 书写。
3. 测试：“变形”人工智能
他们采用了一个现有的名为 DiffusionPen 的人工智能模型。可以将该模型想象成一个“变形者”，能够将文本转化为手写笔迹。
- 转折： 他们并未重建人工智能的“大脑”，只是向其投喂了新的乌克兰语图书馆。
- 目标： 观察人工智能能否学会乌克兰语字母，同时保留仅凭少量样本单词即可模仿书写者风格的能力。
4. 结果：成功了！
人工智能学会了书写看起来逼真的乌克兰语单词。
- 可读性： 如果你将伪造的单词输入标准的阅读机器（OCR），它大多数时候都能正确识别（中等长度单词的准确率约为 84%）。
- 风格： 伪造的笔迹看起来与真实笔迹一样自然。
- 重大惊喜： 人工智能不仅学会了乌克兰语，还掌握了“笔迹风格”这一概念。
5. 魔法技巧：跨域风格迁移
这是最令人兴奋的部分。作者们测试了人工智能能否模仿其从未见过的来源的风格。
技巧一：英语转换（跨语言）
他们向人工智能展示了一个由英语人士（来自不同数据库）书写的几个单词。随后，要求人工智能书写一个乌克兰语单词。- 结果： 人工智能写出了乌克兰语单词，但带有该英语人士独特的倾斜度和笔压。它成功地将英语书写者的“灵魂”转移到了乌克兰语字母中。
技巧二：时间旅行者（历史迁移）
他们向人工智能展示了一页写于 20 世纪初的乌克兰语手稿（旧墨水、旧纸张纹理）。- 结果： 人工智能书写了现代乌克兰语单词，但它们看起来仿佛是用那种古老、正式的书法风格写成的。
技巧三：陌生人（零样本）
他们向人工智能展示了一个乌克兰语书写者的几个单词，而此人并不在他们的训练库中。- 结果： 人工智能完美地模仿了这位陌生人的笔迹风格，尽管从未见过此人。
6. 哪些地方还不够完美？
该系统尚未完美。
- 罕见字母： 非常罕见的乌克兰语字母有时看起来仍有些模糊，或被替换。
- 撇号： 微小的乌克兰语撇号（如单词 м'яч 中的撇号）对人工智能来说很难绘制，因为它太小，且经常在其他笔画中丢失。
结论
这篇论文证明，如果你教会现代人工智能如何书写一种文字（如英语），它就能学会书写完全不同的文字（如乌克兰语），并且仍然能够模仿它从未谋面的书写者的独特风格。这就像教会一位精通意大利面烹饪的厨师如何制作乌克兰饺子；一旦他们掌握了技术，就能将独特的烹饪风格应用到新的食材上。
作者们已发布其数据集和训练好的人工智能，以便其他人利用它来研究目前被技术忽视的其他语言的笔迹。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。