💬 NLP

"Intelegi Româneste?'' A Recipe for Romanian Vision-Language Models

本文通过翻译英语语料库、构建具有文化根基的 HoraVQA 基准测试集，并证明经过罗马尼亚语骨干网络适配的模型在所有评估任务中均优于规模更大的多语言模型，对构建罗马尼亚特定视觉-语言模型进行了系统性研究。

原作者： Mihai Masala, Marius Leordeanu, Mihai Dascalu, Traian Rebedea

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Mihai Masala, Marius Leordeanu, Mihai Dascalu, Traian Rebedea

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个才华横溢、精通多种语言的机器人厨师。这位厨师以使用英文食谱（英文文本）并观察食物图片来烹饪美味佳肴而闻名。但如果你要求他使用一份罗马尼亚语食谱来烹饪一道传统的罗马尼亚菜，他可能会感到困惑，甚至把菜烧焦，或者干脆只给你上一份普通的美国汉堡。

这篇题为**《罗马尼亚视觉语言模型之食谱》（A Recipe for Romanian Vision-Language Models）**的论文，本质上是一份如何教导这位机器人厨师烹饪正宗罗马尼亚美食的指南。作者们——来自罗马尼亚的研究人员——并没有只是简单地告诉厨师“再努力一点”；他们构建了一个全新的厨房，翻译了食谱，甚至更改了菜单上的图片，以匹配当地的文化。

以下是他们工作的简要说明：

1. 问题所在：“仅限英语”的厨房

大多数先进的 AI 模型（称为视觉语言模型，Vision-Language Models）就像只懂英语的厨师。他们很擅长用英语描述一张狗的照片，但如果你给他们看一张罗马尼亚街标或传统民间舞蹈的照片，他们往往会失败。他们可能会读错标牌上的文字，或者无法理解舞蹈背后的文化背景。

研究人员发现，仅仅将英文问题翻译成罗马尼亚语是不够的。AI 仍然会遇到困难，因为它没有“见过”足够的罗马尼亚事物，也没有学会如何阅读图像中的罗马尼亚文本（比如公交票或菜单上的文字）。

2. 解决方案：完整的罗马尼亚化改造

团队构建了一个专门化的视觉语言模型版本，他们称之为 RoVLM。为了实现这一点，他们遵循了一套严格的“食谱”：

翻译菜单（数据）： 他们将数千个现有的英文图文数据集翻译成了罗马尼亚语。但他们不仅仅是翻译单词；他们还使用了特殊工具来翻译图像内部的文本。如果一张图片里的招牌写着“Open”，他们会编辑图像使其显示为“Deschis”。
添加本土风味（HoraVQA）： 他们意识到，翻译英文测试是不公平的。因此，他们创建了一个全新的测试，称为 HoraVQA。你可以把它想象成一个“罗马尼亚文化测验”。他们不再询问通用的事物，而是围绕罗马尼亚的地标、传统食物、民间习俗和当地历史进行提问。他们聘请了母语人士来编写这些问题并挑选照片，以确保这项测试真正植根于罗马尼亚的生活。
“OCR”挑战： 这份食谱的一个重要部分是教 AI 阅读图片中的文字（OCR）。他们发现，标准的 AI “眼睛”（视觉骨干网络）太擅长理解图片的“整体氛围”，却不擅长阅读招牌上的微小字母。他们发现，使用一种特定类型的“眼睛”（称为 CLIP）在阅读罗马尼亚文本方面比那些更新、更具“多语言能力”的眼睛效果更好。

3. 结果：小厨师，大胃口

他们发现最令人惊讶的部分是：专业化胜过规模。

通常在 AI 领域，越大越好。一个拥有数十亿参数的巨型模型理应击败较小的模型。然而，作者发现，他们规模较小的、经过罗马尼亚专业化训练的模型，表现优于：

与其规模相当的原版纯英文模型。
甚至优于一些规模是其两倍大但未经过专业化处理的模型。

这就像是一位精通制作 mămăligă（玉米糊）的当地罗马尼亚老奶奶，击败了一家试图制作同样食物但拿错了配方的巨型高科技国际食品工厂。

4. 关键经验教训

论文强调了让他们的“罗马尼亚厨师”成功的三个关键点：

语言骨干： 将 AI 的“大脑”改为罗马尼亚语特定的模型确实有帮助，但这并不是神奇的秘诀。
视觉骨干： 选择正确的“眼睛”（特别是 CLIP）对于阅读图像中的文本至关重要。
数据组合： 最重要的因素是数据。他们需要混合使用翻译数据、真实的罗马尼亚文档（如 PDF）以及合成图表。如果没有这种特定的“饮食”数据，模型就无法学习阅读或理解罗马尼亚文化。

总结

简而言之，这篇论文证明了你不能仅仅拿一个通用的 AI，就指望它在罗马尼亚语这种低资源语言中表现完美。你必须喂给它特定的、具有文化相关性的食物（数据），教它阅读当地的标牌（OCR），并在当地文化（HoraVQA）上测试它。当你这样做时，一个规模较小的、专业化的 AI 可以超越庞大的、通用的巨头。

作者们已经向公众发布了他们的“食谱”（代码、数据和模型），因此任何人都可以尝试烹饪出属于自己的罗马尼亚 AI 厨师。

技术摘要：“你懂罗马尼亚语吗？构建罗马尼亚语视觉语言模型的配方”

问题陈述

视觉语言模型（VLMs）在英语基准测试中取得了显著成功，但在低资源语言中面临性能大幅下降的问题。这种差距源于缺乏大规模、具有文化根基的图像-文本语料库以及针对罗马尼亚语等语言的评估框架。现有的多语言 VLM 通常依赖于对以英语为中心的数据集进行事后机器翻译，这无法捕捉本地化的视觉语义、文化背景以及图像内文本（OCR）的细微差别。因此，目前尚不清楚多语言能力如何有效地迁移到此类场景下的具身多模态理解中，特别是在涉及文档分析、文化推理和图像内文本识别的任务时。

方法论

作者展示了构建罗马尼亚语特定 VLM 的系统性研究，涵盖了从数据构建到架构消融的完整流程。

1. 数据构建与适配

作者通过适配 11 个成熟的英语数据集（如 LAION、LLaVA-Mix、PixMo、CoSyn、FinePDFs），构建了一个包含约 317 万个样本的训练语料库。

翻译策略： 不同于以往仅翻译文本注释的方法，本方法涉及“翻译”视觉内容。这包括提取图像中的文本、对其进行翻译，并在保留布局、字体和大小的同时重新生成带有翻译文本的图像。
原生数据： 该流程整合了原生的罗马尼亚语数据，特别是用于 OCR 的 FinePDFs 数据集，以及从 CoSyn 中（在源代码可用时）合成生成的图表。
翻译模型： 通过在 MMMU 数据集上的性能对比研究，选择了 GPT-4.1-mini 用于基准翻译，并选择 Seed-X-PPO 用于训练数据翻译。
质量控制： 人类标注员使用长度差异过滤器（标记翻译长度超过原文 1.5 倍的情况）和随机采样对翻译进行了验证。

2. 原生评估基准：HoraVQA

为了解决缺乏文化根基评估的问题，作者引入了 HoraVQA，该基准包含 232 张独特图像中的 580 个问答对。

内容： 图像描绘了来自 Wikimedia Commons 的罗马尼亚文化概念（地标、美食、习俗、历史）。
标注： 问题由七名志愿者用罗马尼亚语原生编写，分为多项选择和开放式格式。
文化根基： 每个问题都带有 is_cultural 标签，以区分通用视觉感知与需要罗马尼亚文化、历史或语言背景知识的任务。

3. 模型训练与架构

研究采用了模块化 VLM 架构（视觉编码器 + 语言主干 + 投影适配器），主要基于 LLaVA-NeXT，同时也测试了 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 和 Gemma3。

训练协议： 模型在以罗马尼亚语为中心的多模态数据上进行监督微调（SFT）。视觉主干保持冻结，而适配器和语言主干是可训练的。
超参数： 训练使用单轮（single epoch）、AdamW 优化器、余弦学习率调度器（峰值 $1.0 \times 10^{-5}$ ）以及 64 的批次大小（batch size）。

4. 消融实验

作者系统地隔离了以下因素的贡献：

语言主干： 比较多语言 LLM 与经过罗马尼亚语适配的 LLM（如 RoLlama3）。
视觉主干： 评估 CLIP、SigLIP 和 SigLIP2 编码器。
数据组成： 分析 OCR 富集数据和翻译后的图像内文本的影响。

核心贡献

RoVLM 模型： 发布了一套带有完全开放、可复现训练和评估流程的罗马尼亚语适配 VLM 系列。
全面的评估套件： 一个包含 19 个任务的基准测试套件，涵盖 OCR、视觉问答（VQA）、描述生成（captioning）和推理，包括创新的 HoraVQA 文化基准。
适配性的系统分析： 深入调查了数据组成（特别是 OCR 和翻译后的图像内文本）以及架构选择如何影响低资源多模态性能。
视觉内容的翻译： 一种用于翻译并重新生成图像内文本的新型流程，旨在在适配语言内容的同时保留视觉根基。

结果

性能提升： 罗马尼亚语适配的 VLM（RoVLMs）在所有 19 个基准测试中均一致优于其仅限英语的对应模型。值得注意的是，RoVLMs 通常能超越其规模更高一级别的模型（例如，一个 3B 的罗马尼亚语适配模型优于一个 7B 的仅限英语模型）。
架构泛化性： 性能提升在不同的视觉编码器和语言主干（Qwen, Gemma, Llama）之间具有泛化性。
视觉主干发现： 与在多语言预训练中 SigLIP2 表现卓越的趋势相反，CLIP 在 OCR 和文档任务上优于 SigLIP 和 SigLIP2。作者将其归因于 CLIP 保留了字符转录所需的高频视觉结构，而 SigLIP 变体则倾向于优化语义抽象，这可能会抑制细粒度细节。
语言主干发现： 使用罗马尼亚语适配的语言主干（RoLlama3）相比标准多语言 Llama3 仅带来了微不足道的改进，这表明 3.1M 样本的训练混合方案已提供了足够的适配能力，限制因素不在于预训练语言模型，而在于数据组成。
数据组成： 移除 OCR 数据会导致所有类别（而非仅是 OCR 特定类别）的性能下降，这表明文本识别能力是通用多模态理解的基础。
翻译图像： 使用包含翻译文本（目标语言）的图像进行训练，比使用原生英语图像获得了微弱但持续的性能提升（平均约 1.76 个点），其中在视觉定位（grounding）任务中观察到的增益最大。

意义与主张

论文认为，通过扩展单个通用型 VLM 来覆盖所有语言的主流路径对于低资源语言是不够的。相反，专门的、针对特定语言的适配是必要且有效的。

作者主张：

数据组成至关重要： 性能的主要驱动力不是语言主干本身，而是训练数据的组成——特别是包含 OCR 密集型监督和翻译后的图像内文本。
表示 vs. 根基： 预训练阶段的“多语言”表示并不自动保证具备具身的、符合 OCR 忠实度的或具有文化意识的行为。
文化基准是必不可少的： 标准的翻译基准是不够的；需要像 HoraVQA 这样的原生文化基准来评估并提高模型对本地视觉文化的理解。
效率： 使用精心策划的低资源数据训练的小型专门化模型，可以胜过规模更大的通用模型，这为非英语语境下的多模态 AI 提供了一条更高效的路径。

研究结论指出，虽然基于翻译的适配是一种可行的策略，但必须结合原生数据、严谨的视觉翻译以及特定文化的评估，才能实现稳健的低资源语言多模态理解。