IMTBench: A Multi-Scenario Cross-Modal Collaborative Evaluation Benchmark for In-Image Machine Translation

本文提出了 IMTBench，这是一个涵盖四种实际场景和九种语言、包含 2500 个样本的新基准，旨在通过多模态协同评估指标解决现有端到端图像内翻译基准合成数据过多及评估维度单一的问题，从而推动该领域的发展。

要点

这篇论文介绍了一个名为 IMTBench 的新工具，它的出现是为了解决一个非常有趣但也很棘手的问题：如何把图片里的文字“翻译”并“无缝替换”成另一种语言，同时让整张图看起来依然自然、美观？

为了让你更容易理解，我们可以把这项技术想象成**“给图片做高级换装手术”**。

1. 核心任务：不仅仅是翻译，更是“整容”

想象一下，你看到一张国外的路牌或海报，上面写着外语。

• 传统的做法（流水线作业）：就像是一个笨拙的流水线工人。

  1. 先拿个放大镜把字认出来（OCR）。
  2. 查字典把意思翻出来（翻译）。
  3. 最后找个美工，把原来的字涂掉，再拿个新字体把翻译好的字“贴”上去。
  • 缺点：这个流程容易出错。比如，原来的字是弯曲的，新贴的字却是直的；或者原来的背景是夕阳，新贴的字却像印在白纸上一样突兀。

• IMTBench 想要测试的（端到端 AI）：就像是一位天才的“图片整容医生”。它不需要分三步走，而是直接看着原图，理解意思，然后在脑海里直接生成一张新图：原来的字消失了，新语言的字完美地“长”在了原来的位置，连光影、字体风格、弯曲程度都和背景融为一体。

2. 为什么要搞这个新基准（IMTBench）？

在 IMTBench 出现之前，大家测试这种“整容医生”的水平，就像是在**“考卷上做题”，而不是“实战演习”**。

• 以前的考题太假：以前的测试数据大多是电脑生成的，就像是在一张白纸上打印几个整齐的黑体字。这种“温室花朵”根本经不起真实世界的考验。
• 以前的评分太片面：以前只关心“翻译得对不对”（像语文考试），却不管“贴得漂不漂亮”（像美术考试）。如果翻译对了，但字是歪的、背景被涂花了，以前的系统可能还会给高分。

IMTBench 做了什么？
它建立了一个**“真实世界模拟考场”**：

• 场景丰富：不仅有整齐的文件（文档），还有复杂的网页、杂乱的街景（比如霓虹灯招牌）、甚至 PPT 演示文稿。
• 语言多样：涵盖了 9 种语言，包括中文、英文、阿拉伯文（从右往左写）、日文等。
• 评分全面：它不再只看翻译分，而是给医生做全方位体检：
  1. 翻译准不准？（意思对吗？）
  2. 背景保真吗？（除了字，周围的树、墙、光影有没有被破坏？）
  3. 整体好看吗？（有没有奇怪的噪点或光影不协调？）
  4. 图文一致吗？（这是最关键的！AI 嘴里说的翻译，和它画在图上的字，是不是完全一样？有没有“口是心非”？）

3. 实验结果：谁更厉害？

作者找来了三派“选手”进行大比武：

1. 传统流水线派（商业 API，如腾讯、有道）：

   • 特点：稳扎稳打。在整齐的文件和网页上表现最好，像是一个严谨的排版工，字贴得准，背景不乱。
   • 缺点：在复杂的街景（比如弯曲的招牌）上，容易显得生硬，不够自然。

2. 闭源全能派（如 GPT-4o 等）：

   • 特点：脑洞大，艺术感强。在复杂的街景中，它们能生成非常自然、光影完美的图片，像是一个天才画家。
   • 缺点：有时候“画虎不成反类犬”。翻译的意思可能对，但把字“画”在图上的位置歪了，或者字写得像乱码，甚至有时候它说的翻译和图上写的字对不上（图文不一致）。

3. 开源派（大家都能用的模型）：

   • 特点：潜力股，但目前还比较“青涩”。
   • 缺点：在翻译准确性和控制文字位置方面，和上面两派差距较大，经常会出现“字都认不全”或者“背景涂花”的情况。

4. 总结与启示

这篇论文的核心思想是：现在的 AI 虽然能看懂图、能翻译，但要想像人类一样，把翻译后的文字“天衣无缝”地融合回原图中，还有很长的路要走。

• 对于小语种（如阿拉伯语、俄语）：AI 目前还很吃力，就像让一个只会说英语的人去学一门生僻语言，还要同时学会画画，难度加倍。
• 对于复杂场景：AI 要么“翻译对了但贴歪了”，要么“贴得漂亮但意思错了”。

IMTBench 的意义：
它就像给这个领域立了一块**“金标准”**。以后大家开发新的 AI 模型，不能只说“我翻译得准”，必须拿着 IMTBench 去考一考：你的模型能不能在复杂的真实世界里，既当翻译官，又当美术师，还能当排版工？

只有通过了这个“全科考试”，真正的“图片翻译神器”才算诞生。

技术摘要

IMTBench 论文技术总结

1. 研究背景与问题定义

In-Image Machine Translation (IIMT) 旨在将嵌入在图像中的源语言文本直接翻译为目标语言，同时保持原始图像的视觉上下文、布局结构以及文本渲染风格（如字体、颜色、大小、方向等）。

尽管现有的 IIMT 解决方案（如级联的 OCR+ 翻译 + 渲染流程）和新兴的统一多模态模型（UMMs）取得了一定进展，但该领域仍面临以下核心挑战：

• 基准缺失：现有的基准数据集（如 SegPixel, IIMT30k, PRIM 等）大多基于合成数据或简化场景（单行、水平、单色），无法反映真实世界的复杂性（如多行、倾斜、彩色、复杂背景）。
• 评估片面：现有评估协议主要依赖单一模态指标（如 BLEU, COMET），缺乏对“跨模态忠实度”（Cross-modal Faithfulness）的衡量，即无法有效评估渲染在图像中的文本是否与模型输出的翻译文本在语义和布局上保持一致。
• 覆盖不足：缺乏对多场景（文档、网页、自然场景、幻灯片）和多语言（特别是低资源语言）的全面覆盖。

2. 方法论：IMTBench 构建与评估协议

2.1 数据集构建 (IMTBench)

作者构建了包含 2,500 个高质量图像翻译样本 的基准数据集，覆盖 4 个真实场景 和 9 种语言。数据构建通过三条互补的流水线完成：

1. 文档与网页 (Document & Web)：利用多语言平行语料库，通过 SynthDog 引擎和 WebSight 框架生成具有真实排版结构的文档和网页截图。
2. 自然场景 (Scene)：收集包含嵌入式文本的自然图像，利用 OCR 提取文本区域，通过多模态翻译模型结合视觉上下文进行翻译，并使用图像编辑模型（如 GPT-Image, SeedEdit）进行直接编辑，最后经人工审核确保渲染真实性和翻译准确性。
3. 演示文稿 (PowerPoint)：收集可编辑的 PPT 文件，利用多模态模型翻译文本组件，并通过 LibreOffice 渲染引擎生成幻灯片截图。

统计特征：

• 场景分布：文档 (800), 网页 (800), 场景 (400), PPT (500)。
• 语言覆盖：阿拉伯语、中文、俄语、日语、法语、西班牙语、英语、德语、意大利语。

2.2 评估协议 (Evaluation Protocols)

IMTBench 提出了一套多视角协同评估体系，包含四个核心指标（均归一化至 [0, 1]）：

1. 翻译质量 (Translation Quality, $S_{text}$)：使用 COMET 指标评估翻译的语义准确性和流畅度，优于传统的 BLEU。
2. 背景保持 (Background Preservation, $S_{bg}$)：使用 Mask-LPIPS 计算非文本区域（背景）的感知相似度，衡量图像编辑是否破坏了原始背景。
3. 视觉渲染质量 (Visual Rendering Quality, $S_{vis}$)：利用多模态大语言模型（MLLM）作为评估器，打分图像的“自然度”和“伪影严重程度”，评估光照、透视和字体一致性。
4. 跨模态对齐 (Cross-Modal Alignment, $S_{align}$)：这是 IMTBench 的核心创新。使用 MLLM 作为裁判，评估模型输出的翻译文本与渲染在图像中的实际文本之间的一致性（包括语义等价性、关键信息匹配、覆盖范围等）。

综合得分：$S = \frac{1}{4}(S_{text} + S_{bg} + S_{align} + S_{vis})$

3. 实验结果与分析

作者在 IMTBench 上对三类模型进行了基准测试：

1. 商业级联系统 (Tencent, Youdao)
2. 闭源统一多模态模型 (GPT-Image-1, Gemini/Nana-Banana)
3. 开源统一多模态模型 (Qwen-Image, Janus-Pro, Bagel, UniWorld)

关键发现：

• 级联系统的优势：商业级联系统在文档、网页和 PPT等结构化场景中表现最稳定，特别是在跨模态对齐 ($S_{align}$) 和背景保持 ($S_{bg}$) 方面得分极高。这表明将任务分解为 OCR、翻译和渲染的模块化流程在需要精确布局控制的场景中仍具有优势。
• UMM 的潜力与瓶颈：
  • 闭源 UMM：在自然场景 (Scene) 中表现较好，能更好地保持视觉自然度 ($S_{vis}$) 和全局一致性，但在文本定位和排版控制 ($S_{align}$) 上显著弱于级联系统，常出现文本错位或渲染错误。
  • 开源 UMM：在翻译理解 ($S_{text}$) 上有一定能力，但在文本编辑的精确性和指令遵循方面表现较差，尤其是在复杂布局和低资源语言方向上。
• 语言与场景差异：
  • 场景差异：UMM 在处理复杂背景（如自然场景）时视觉质量更好，而级联系统在布局敏感场景（如文档、PPT）中更可靠。
  • 语言差异：所有模型在处理低资源语言（如阿拉伯语、俄语、日语）时性能均有下降，且差距主要体现在生成阶段（渲染和排版），而非理解阶段。

4. 主要贡献

1. IMTBench 基准发布：首个涵盖 4 种真实场景、9 种语言、2500 个样本的多模态 IIMT 基准，填补了真实世界复杂场景数据的空白。
2. 多维评估体系：提出了包含翻译质量、背景保持、视觉质量和跨模态对齐的综合评估协议，首次量化了“渲染文本”与“模型输出”之间的一致性。
3. 全面基准测试：系统评估了级联系统与各类 UMM，揭示了当前端到端 IIMT 在复杂布局和排版控制上的主要瓶颈，为未来研究指明了方向。

5. 意义与展望

IMTBench 不仅是一个评估工具，其构建流程也为未来生成多语言 IIMT 数据提供了可扩展的范式。该基准表明，虽然统一多模态模型在端到端图像翻译上展现出潜力，但在低资源语言支持和排版忠实的文本编辑控制方面仍有巨大提升空间。IMTBench 有望成为推动多语言多模态翻译和可控图像文本编辑研究标准化的关键测试床。