💬 NLP

"Intelegi Româneste?'' A Recipe for Romanian Vision-Language Models

Cet article présente une étude systématique sur la construction de modèles vision-langage spécifiques au roumain par la traduction de corpus anglais, la constitution du benchmark culturellement ancré HoraVQA, et démontre que les modèles adaptés avec des noyaux linguistiques roumains surpassent les homologues multilingues plus larges sur l'ensemble des tâches évaluées.

Auteurs originaux : Mihai Masala, Marius Leordeanu, Mihai Dascalu, Traian Rebedea

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mihai Masala, Marius Leordeanu, Mihai Dascalu, Traian Rebedea

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un robot chef brillant et multilingue. Ce chef est célèbre pour cuisiner des repas incroyables en utilisant des recettes anglaises (texte anglais) et en regardant des photos de nourriture (images). Mais si vous lui demandez de cuisiner un plat traditionnel roumain avec une recette roumaine, il pourrait s'embrouiller, brûler la nourriture, ou simplement vous servir un burger américain générique.

Ce document, intitulé « Une recette pour les modèles de vision-langage roumains », est essentiellement un guide pour apprendre à ce robot chef à cuisiner la cuisine roumaine authentique. Les auteurs, des chercheurs roumains, ne se sont pas contentés de dire au chef « fais plus d'efforts » ; ils ont construit une toute nouvelle cuisine, ont traduit les recettes et ont même changé les photos sur le menu pour qu'elles correspondent à la culture locale.

Voici la décomposition de leur travail en termes simples :

1. Le problème : La cuisine « uniquement en anglais »

La plupart des modèles d'IA avancés (appelés Modèles de Vision-Langage) sont comme des chefs qui ne connaissent que l'anglais. Ils sont très doués pour décrire l'image d'un chien en anglais, mais si vous leur montrez une photo d'un panneau de signalisation roumain ou d'une danse folklorique traditionnelle, ils échouent souvent. Ils peuvent mal lire le texte sur le panneau ou ne pas comprendre le contexte culturel de la danse.

Les chercheurs ont découvert que le simple fait de traduire les questions de l'anglais vers le roumain ne suffisait pas. L'IA éprouvait toujours des difficultés car elle n'avait pas assez « vu » de choses roumaines ou appris à lire du texte roumain à l'intérieur des images (comme sur un billet de bus ou un menu).

2. La solution : Un relooking complet roumain

L'équipe a construit une version spécialisée de ces modèles d'IA, qu'ils appellent RoVLM. Pour ce faire, ils ont suivi une « recette » stricale :

Traduire le menu (Données) : Ils ont pris des milliers de jeux de données existants (image et texte) en anglais et les ont traduits en roumain. Mais ils n'ont pas seulement traduit les mots ; ils ont utilisé des outils spéciaux pour traduire aussi le texte à l'intérieur des images. Si une image comportait un panneau indiquant « Open », ils ont édité l'image pour qu'elle indique « Deschis ».
Ajouter une saveur locale (HoraVQA) : Ils ont réalisé que traduire des tests anglais n'était pas équitable. Ils ont donc créé un tout nouveau test appelé HoraVQA. Considérez cela comme un « Quiz de la culture roumaine ». Au lieu de poser des questions sur des choses génériques, ils ont posé des questions sur les monuments, la nourriture traditionnelle, les coutumes folkloriques et l'histoire locale de la Roumanie. Ils ont engagé des locuteurs natifs pour rédiger ces questions et choisir les photos, garantissant que le test soit véritablement ancré dans la vie roumaine.
Le défi de l'« OCR » : Une grande partie de la recette consistait à apprendre à l'IA à lire le texte à l'intérieur des images (OCR). Ils ont découvert que les « yeux » standards de l'IA (les architectures de vision ou vision backbones) étaient trop doués pour comprendre l'« ambiance générale » d'une image, mais mauvais pour lire les petites lettres sur un panneau. Ils ont découvert que l'utilisation d'un type spécifique d'« œil » (appelé CLIP) était bien meilleure pour lire le texte roumain que les nouveaux yeux plus « multilingues ».

3. Les résultats : Un petit chef, un grand appétit

La partie la plus surprenante de leurs découvertes est que la spécialisation bat la taille.

Habituellement, en IA, plus c'est gros, mieux c'est. On attend d'un modèle géant avec des milliards de paramètres qu'il surpasse les autres. Cependant, les auteurs ont constaté que leurs modèles plus petits et spécialisés pour le roumain étaient plus performants que :

Les versions originales en anglais de même taille.
Même certains modèles qui sont deux fois plus gros mais non spécialisés pour le roumain.

C'est comme si une petite grand-mère roumaine locale, qui sait exactement comment préparer la mămăligă (polenta) parfaitement, battait une immense usine alimentaire de haute technologie qui essaie de suivre la recette mais se trompe de dosage.

4. Leçons clés apprises

Le document met en évidence trois points principaux qui ont fait le succès de leur « Chef roumain » :

La structure linguistique (Language Backbone) : Changer le « cerveau » de l'IA pour un modèle spécifique au roumain a aidé un peu, mais ce n'était pas l'ingrédient magique.
La structure visuelle (Vision Backbone) : Choisir les bons « yeux » (spécifiquement CLIP) était crucial pour lire le texte dans les images.
Le mélange de données (Data Mix) : Le facteur le plus important était les données. Ils avaient besoin d'un mélange de données traduites, de vrais documents roumains (comme des PDF) et de graphiques synthétiques. Sans ce « régime » spécifique de données, le modèle ne pouvait pas apprendre à lire ou à comprendre la culture roumaine.

Résumé

En bref, ce document prouve que vous ne pouvez pas simplement prendre une IA générale et espérer qu'elle fonctionne parfaitement pour une langue à faibles ressources comme le roumain. Vous devez la nourrir avec des aliments spécifiques et culturellement pertinents (données), lui apprendre à lire les panneaux locaux (OCR) et la tester sur la culture locale (HoraVQA). Lorsque vous faites cela, une IA plus petite et spécialisée peut surpasser des géants massifs et génériques.

Les auteurs ont rendu leur « recette » (code, données et modèles) publique, afin que quiconque puisse essayer de cuisiner son propre chef IA roumain.

Résumé technique : « Înțelegi românește? Une recette pour les modèles de vision-langage roumains »

Problématique

Les modèles de vision-langage (VLM) ont connu un succès significatif sur les benchmarks anglais, mais souffrent d'une dégradation brutale des performances dans les langues à faibles ressources. Ce fossé provient d'un manque de corpus image-texte à grande échelle et culturellement ancrés, ainsi que de cadres d'évaluation pour des langues comme le roumain. Les VLM multilingues existants reposent souvent sur une traduction automatique post-hoc de jeux de données centrés sur l'anglais, ce qui échoue à capturer la sémantique visuelle localisée, le contexte culturel et les nuances du texte présent dans l'image (OCR). Par conséquent, il reste difficile de déterminer avec quelle efficacité les capacités multilingues se transfèrent à la compréhension multimodale ancrée dans ces contextes, particulièrement pour les tâches impliquant l'analyse de documents, le raisonnement culturel et la reconnaissance de texte au sein des images.

Méthodologie

Les auteurs présentent une étude systématique de la construction d'un VLM spécifique à la langue pour le roumain, couvrant l'ensemble du pipeline, de la construction des données à l'ablation architecturale.

1. Construction et adaptation des données

Les auteurs ont construit un corpus d'entraînement d'environ 3,17 millions d'échantillons en adaptant 11 jeux de données anglais établis (ex. : LAION, LLaVA-Mix, PixMo, CoSyn, FinePDFs).

Stratégie de traduction : Contrairement aux travaux antérieurs qui ne faisaient que traduire les annotations textuelles, cette approche consiste à « traduire » le contenu visuel. Cela inclut l'extraction du texte des images, sa traduction, puis la régénération de l'image avec le texte traduit tout en préservant la mise en page, la police et la taille.
Données natives : Le pipeline intègre des données natives roumaines, spécifiquement le jeu de données FinePDFs pour l'OCR et des graphiques synthétiquement régénérés à partir de CoSyn lorsque le code source était disponible.
Modèles de traduction : Une étude comparative a sélectionné GPT-4.1-mini pour la traduction de référence et Seed-X-PPO pour la traduction des données d'entraînement, sur la base de leurs performances sur le jeu de données MMMU.
Contrôle qualité : Des annotateurs humains ont validé les traductions en utilisant des filtres de différence de longueur (signalant les traductions >1,5 fois la longueur originale) et un échantillonnage aléatoire.

2. Benchmark d'évaluation natif : HoraVQA

Pour remédier au manque d'évaluation culturellement ancrée, les auteurs ont introduit HoraVQA, un benchmark contenant 580 paires questions-réponses réparties sur 232 images uniques.

Contenu : Les images représentent des concepts culturels roumains (monuments, cuisine, coutumes, histoire) provenant de Wikimedia Commons.
Annotation : Les questions ont été rédigées nativement en roumain par sept volontaires, classées en formats à choix multiples et questions ouvertes.
Ancrage culturel : Chaque question est marquée d'un drapeau is_cultural pour distinguer la perception visuelle générique du savoir nécessitant un contexte culturel, historique ou linguistique roumain.

3. Entraînement du modèle et architecture

L'étude utilise une architecture VLM modulaire (encodeur de vision + backbone linguistique + adaptateur de projection), principalement basée sur LLaVA-NeXT, mais testant également Qwen2-VL, Qwen2.5-VL, Qwen3-VL et Gemma3.

Protocole d'entraînement : Les modèles subissent un ajustement fin supervisé (SFT) sur les données multimodales centrées sur le roumain. Le backbone de vision est maintenu gelé, tandis que l'adaptateur et le backbone linguistique sont entraînables.
Hyperparamètres : L'entraînement utilise un seul epoch, l'optimiseur AdamW, un scheduler de taux d'apprentissage cosinus (pic de $1,0 \times 10^{-5}$ ) et une taille de batch de 64.

4. Études d'ablation

Les auteurs ont isolé systématiquement les contributions de :

Backbones linguistiques : Comparaison des LLM multilingues avec les LLM adaptés au roumain (ex. : RoLlama3).
Backbones de vision : Évaluation des encodeurs CLIP, SigLIP et SigLIP2.
Composition des données : Analyse de l'impact des données riches en OCR et du texte dans l'image traduit.

Contributions clés

Modèles RoVLM : Une suite de VLM adaptés au roumain, publiée avec un pipeline d'entraînement et d'évaluation entièrement ouvert et reproductible.
Suite d'évaluation complète : Un ensemble de benchmarks comprenant 19 tâches couvrant l'OCR, le VQA (Visual Question Answering), le légendage et le raisonnement, incluant le nouveau benchmark culturel HoraVQA.
Analyse systématique de l'adaptation : Une investigation détaillée sur la manière dont la composition des données (spécifiquement l'OCR et le texte dans l'image traduit) et les choix architecturaux affectent les performances multimodales en contexte de faible ressource.
Traduction de contenu visuel : Un nouveau pipeline pour traduire et régénérer le texte dans l'image afin de préserver l'ancrage visuel tout en adaptant le contenu linguistique.

Résultats

Gains de performance : Les VLM adaptés au roumain (RoVLMs) surpassent systématiquement leurs homologues exclusivement anglais sur les 19 benchmarks. Notamment, les RoVLMs surpassent souvent les modèles de la catégorie de taille supérieure (ex. : un modèle roumain de 3B surpassant un modèle anglais de 7B).
Généralisation de l'architecture : Les améliorations de performance se généralisent à travers différents encodeurs de vision et backbones linguistiques (Qwen, Gemma, Llama).
Découvertes sur les backbones de vision : Contrairement aux tendances du pré-entraînement multilingue où SigLIP2 excelle, CLIP a surperformé SigLIP et SigLIP2 sur les tâches d'OCR et de documents. Les auteurs attribuent cela au fait que CLIP préserve les structures visuelles à haute fréquence nécessaires à la transcription de caractères, alors que les variantes SigLIP optimisent l'abstraction sémantique, ce qui peut supprimer les détails fins.
Découvertes sur les backbones linguistiques : Le passage à un backbone linguistique adapté au roumain (RoLlama3) n'a apporté que des améliorations négligeables par rapport au Llama3 multilingue standard, suggérant que le mélange de 3,1 millions d'échantillons a fourni une capacité suffisante pour l'adaptation, et que la limitation ne venait pas du modèle de langage pré-entraîné mais de la composition des données.
Composition des données : La suppression des données OCR a entraîné des chutes de performance dans toutes les catégories, et pas seulement pour l'OCR, indiquant que les capacités de reconnaissance de texte sont fondamentales pour la compréhension multimodale générale.
Images traduites : L'entraînement avec des images contenant du texte traduit (langue cible) a produit un gain de performance léger mais constant (environ 1,76 points en moyenne) par rapport à l'utilisation d'images anglaises natives, les gains les plus importants étant observés dans les tâches d'ancrage.

Signification et affirmations

L'article soutient que la trajectoire dominante consistant à mettre à l'échelle un seul VLM généraliste pour toutes les langues est insuffisante pour les langues à faibles ressources. Au lieu de cela, une adaptation spécialisée et ciblée sur la langue est nécessaire et efficace.

Les auteurs affirment que :

La composition des données est critique : Le principal moteur de la performance n'est pas le backbone linguistique lui-même, mais la composition des données d'entraînement — spécifiquement l'inclusion d'une supervision riche en OCR et de texte traduit dans l'image.
Représentation vs Ancrage : La « multilingue » représentation au niveau du pré-entraînement ne garantit pas automatiquement un comportement ancré, fidèle à l'OCR ou culturellement conscient.
Les benchmarks culturels sont essentiels : Les benchmarks traduits standards sont insuffisants ; des benchmarks culturels natifs comme HoraVQA sont nécessaires pour évaluer et améliorer la compréhension d'une culture visuelle locale par un modèle.
Efficacité : Un modèle plus petit et spécialisé, entraîné sur des données curatées à faibles ressources, peut surpasser de plus grands modèles généralistes, offrant une voie plus efficace pour l'IA multimodale dans les contextes non anglophones.

L'étude conclut que si l'adaptation par traduction est une stratégie viable, elle doit être combinée à des données natives, une traduction visuelle rigoureuse et une évaluation culturellement spécifique pour atteindre une compréhension multimodale robuste dans les langues à faibles ressources.