MULTITEXTEDIT: Benchmarking Cross-Lingual Degradation in Text-in-Image Editing
本文介绍了涵盖 12 种语言的受控基准 MULTITEXTEDIT 以及一种新颖的语言保真度指标，以证明当前的文生图编辑系统尽管保持了全局视觉结构，却在跨语言性能上存在显著退化，尤其是在非拉丁文字的字形准确性方面。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一张海报的数码照片，上面写着"SALE"（促销）。你想用 AI 工具将这些字改为"SOLD"（已售），同时不破坏背景、颜色或文字后面的衬衫图案。这被称为“图像内文本编辑”。
虽然这些 AI 工具在英语方面做得越来越好，但论文 MULTITEXTEDIT 提出了一个简单却至关重要的问题：当我们要求 AI 用其他语言做同样的事情时，会发生什么？
以下是他们研究发现的分解说明，辅以日常类比：
1. 问题：“仅限英语”的盲点
可以将当前的 AI 图像编辑器想象成一位精通意大利菜烹饪的大厨，却从未尝试过泰国菜、阿拉伯菜或日本料理。如果你请他们在泰国菜中替换某种食材，他们可能会保持盘子和餐桌布置完美无缺，但却可能给你用错香料，或者把菜名完全搞错。
作者发现，针对这些 AI 工具的现有测试几乎完全是用英语进行的。他们往往根据图片“看起来”是否美观（视觉合理性）来评判 AI，而忽略了文字是否真正有意义（语义正确性）。这就像给学生的评分只依据他们书写句子的整洁程度，即使他们把每个单词都拼错了。
2. 解决方案：一个新的“语言健身房”（基准测试）
为了解决这个问题，研究人员建立了一个名为 MULTITEXTEDIT 的大规模训练和测试平台。
- 设置：他们选取了 300 张基础图像（如空白海报），并为每张图像创建了 12 个不同版本，分别对应 12 种不同的语言（包括英语、西班牙语、阿拉伯语、希伯来语、中文，甚至较不常见的约鲁巴语和孟加拉语）。
- 控制：由于每个版本都源自完全相同的图像，他们可以隔离语言变量。这就像在赛道上测试汽车引擎，唯一改变的是燃料类型，而道路和天气保持不变。
- 规模：这产生了 3,600 个具体的测试案例，涵盖了 7 种不同类型的编辑（如更改字体大小、颜色或替换单词）。
3. 新标尺：衡量“脚本保真度”
研究人员意识到，标准的计算机测试（仅计算有多少像素匹配）在发现语言错误方面效果极差。
- 类比：想象一台电脑在检查一张手写便条。如果你写了"Mother"（母亲），但漏掉了"e"上的重音符号（使其变成了"me"，在越南语中意为“罗望子”），一个数像素的机器人可能会说：“嘿，那看起来有 99% 相似！”但人类知道含义已经完全改变了。
- 修正：他们创建了一个名为 语言保真度（LSF） 的新指标。他们使用一个智能 AI 裁判，仅查看被更改的具体单词，检查诸如缺失重音符号、字母颠倒（在阿拉伯语或希伯来语中很常见）或脚本混乱等细微细节。该裁判经过训练，能够识别人类在意但机器常忽略的这些“拼写错误”。
4. 结果：“全球布局”陷阱
当他们在这一新基准上测试 12 种不同的 AI 系统（包括免费和付费）时，发现了一个一致的模式：
- “好消息”：AI 非常擅长保持背景看起来美观。如果你要求它更改海滩图片中的文字，沙滩和海洋依然完美。
- “坏消息”：AI 在实际文字方面存在显著困难，尤其是在非英语语言中。
- “布局与含义”不匹配：AI 通常能完美保留文本框的形状和字体的风格，但字母本身却是胡言乱语、反向的，或者缺少关键符号。
- 最困难的语言：AI 在 希伯来语和阿拉伯语（从右向左阅读）以及带有复杂重音符号的语言上表现最差。
- 最容易的语言：它在 荷兰语和西班牙语 上表现最好，因为这些语言与英语更接近。
5. 结论
该论文得出结论，虽然 AI 图像编辑器在“绘画”方面越来越好，但在英语以外的语言“写作”方面仍然挣扎。它们可以完美复制外语标志的外观，但往往无法正确写出单词。
作者认为，为了构建真正适用于全世界的工具，我们需要停止仅在英语中测试 AI，并开始衡量它在处理每种书写系统的具体特性方面的表现，从字母的方向到它们上方的小点。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。