💬 NLP

Annotation-Efficient Vision-Language Model Adaptation to the Polish Language Using the LLaVA Framework

Cet article présente l'adaptation du modèle LLaVA à la langue polonaise grâce à un pipeline automatisé de traduction et de filtrage de données, démontrant que cette approche peu coûteuse en annotations permet d'obtenir des performances significativement améliorées sur des tâches multimodales.

Auteurs originaux : Grzegorz Statkiewicz, Alicja Dobrzeniecka, Karolina Seweryn, Aleksandra Krasnodębska, Karolina Piosek, Katarzyna Bogusz, Sebastian Cygert, Wojciech Kusa

Publié 2026-02-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Grzegorz Statkiewicz, Alicja Dobrzeniecka, Karolina Seweryn, Aleksandra Krasnodębska, Karolina Piosek, Katarzyna Bogusz, Sebastian Cygert, Wojciech Kusa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🇵🇱 Le Défi : La Cuisine "Anglaise" pour un Goût "Polonais"

Imaginez que les modèles d'intelligence artificielle (les robots qui voient et parlent) sont comme des chefs cuisiniers de génie. Ces chefs sont formés dans les meilleures écoles du monde, mais il y a un gros problème : ils n'ont appris qu'avec des livres de cuisine en anglais.

Si vous leur demandez de décrire une image d'un marché polonais ou de lire une pancarte dans la rue à Varsovie, ils sont perdus. Ils peuvent essayer de deviner, mais leurs réponses sont souvent bizarres, pleines de fautes de grammaire, ou ils inventent des choses qui n'existent pas (comme dire qu'un chat est dans un lave-vaisselle alors qu'il est juste assis dessus).

Les chercheurs de l'institut NASK en Pologne se sont dit : "Comment on fait pour donner à ces chefs les compétences pour cuisiner et parler polonais, sans avoir à réécrire tout le livre de cuisine à la main ?"

🛠️ La Solution : Une Usine de Traduction Automatisée

Au lieu d'engager des milliers de traducteurs humains pour tout traduire (ce qui prendrait des années et coûterait une fortune), ils ont construit une usine de traduction ultra-rapide et automatisée.

Voici comment leur "usine" fonctionne, étape par étape :

Le Transport de la Marchandise (Traduction) : Ils prennent des milliers d'images et de questions existantes (en anglais) et les font passer dans un traducteur automatique très puissant (un autre robot appelé Tower+). C'est comme si on envoyait des livres de cuisine anglais dans une machine à laver magique qui les ressort en polonais.
Le Contrôle Qualité (Filtrage) : Comme la machine à laver peut parfois faire des erreurs (par exemple, traduire "pomme" par "pomme de terre"), ils utilisent un autre robot pour vérifier la qualité. Si la traduction est trop mauvaise, le livre est jeté à la poubelle.
Les Ingrédients Spéciaux (Données Synthétiques) : Pour certaines tâches difficiles à traduire, comme lire des textes sur des images (OCR) ou compter des objets, ils ont créé des "ingrédients artificiels". Ils ont généré des images de reçus ou de panneaux avec du texte polonais inventé, pour entraîner le robot à lire l'écriture polonaise.
L'Entraînement (La Cuisine) : Ils prennent un chef polonais existant (un modèle de langage qui parle déjà bien polonais, comme PLLuM ou Bielik) et lui donnent ces nouveaux livres de cuisine traduits. Le chef apprend à associer ce qu'il voit (les images) avec ce qu'il dit (le polonais).

🏆 Les Résultats : Un Succès Surprenant

Le résultat est bluffant. Même en utilisant presque uniquement des traductions automatiques (avec très peu d'aide humaine), leur nouveau chef polonais (LLaVA-PLLuM) est devenu bien meilleur que les anciens chefs qui parlaient anglais.

Avant : Le robot anglais traduisait mal le polonais ou ne comprenait pas les nuances culturelles.
Après : Le nouveau robot comprend parfaitement les images en Pologne, compte correctement les voisins de la Pologne sur une carte, et écrit des descriptions de photos avec une grammaire polonaise parfaite.

Ils ont même battu certains des meilleurs robots du monde (comme Pixtral ou Qwen) sur des tests de description d'images en polonais, surtout pour la qualité de la langue.

🧐 Les Limites : Ce n'est pas encore parfait

Les chercheurs sont honnêtes : ce n'est pas magique.

Le "Parler Traduction" : Parfois, le robot parle un polonais un peu "robotique", comme si c'était traduit mot à mot, car il a appris sur des données traduites.
La Culture : Il connaît bien la Pologne, mais il reste un peu moins fort sur des sujets très spécifiques à la culture polonaise que s'il avait été nourri avec des données créées par des humains natifs depuis le début.
Les Tests : Ils ont dû corriger des erreurs dans les examens eux-mêmes (le MMBench), car certaines questions en anglais ne fonctionnaient pas du tout une fois traduites en polonais (par exemple, des questions sur des lieux ou des objets qui n'existent pas en Europe).

💡 La Grande Leçon

Ce papier nous dit quelque chose d'important pour l'avenir de l'IA : On n'a pas besoin d'avoir des montagnes de données créées par des humains pour chaque langue.

En combinant une traduction automatique intelligente avec un peu de filtrage et des modèles de base déjà solides, on peut créer des robots intelligents pour des langues comme le polonais, le swahili ou le vietnamien, beaucoup plus vite et moins cher qu'on ne le pensait. C'est comme si on apprenait à un enfant à parler une nouvelle langue en lui donnant des livres traduits, plutôt que de le forcer à apprendre avec un professeur privé pour chaque mot.

En résumé : Une traduction automatique bien filtrée + un bon modèle de base = Un robot qui parle et comprend votre langue maternelle.

1. Problématique

Les modèles de vision-langage (VLM) actuels sont majoritairement entraînés sur des données anglophones, ce qui limite fortement leurs performances dans d'autres langues et contextes culturels. Cette prédominance de l'anglais rend ces modèles peu utilisables pour les locuteurs non anglophones et freine le développement de systèmes multimodaux reflétant la diversité linguistique.

Le défi spécifique abordé par cette étude est l'adaptation des VLM à la langue polonaise, une langue à morphologie riche (sept cas grammaticaux, accords complexes, ordre des mots flexible), qui pose des défis particuliers pour la génération et la compréhension textuelle. L'objectif est de déterminer si l'on peut créer des modèles VLM de haute qualité pour une langue à ressources limitées en s'appuyant presque exclusivement sur la traduction automatisée à grande échelle, avec une intervention humaine minimale, plutôt que sur la collecte coûteuse de données manuellement annotées.

2. Méthodologie

L'équipe propose un pipeline entièrement automatisé pour la préparation des données et l'adaptation de l'architecture LLaVA-NeXT.

A. Architecture du Modèle

Les modèles proposés (nommés LLaVA-PLLuM et LLaVA-Bielik) reposent sur l'architecture LLaVA-NeXT :

Encodeur Visuel : Remplacement de l'encodeur CLIP classique par SigLIP2 (SO400M/14), choisi pour son alignement image-texte multilingue supérieur et sa robustesse dans la localisation du texte (crucial pour l'OCR).
Backbone Linguistique (LLM) : Utilisation de modèles natifs polonais instructionnés de 11 à 12 milliards de paramètres : PLLuM-12B et BIELIK-11B.
Connecteur : Un projecteur MLP à deux couches aligne les caractéristiques visuelles avec l'espace d'embedding du LLM.

B. Pipeline de Données et Entraînement

L'approche repose sur un mélange de traduction automatique et de données synthétiques, divisé en deux étapes :

Pré-entraînement (Alignement de l'espace de caractéristiques) :
- Utilisation du corpus LLaVA-LCS-558K traduit en polonais.
- Pipeline de traduction en trois étapes : traduction par Tower+ 72B (modèle multilingue SOTA), estimation de la qualité sans référence via la métrique COMET, et filtrage des paires question-réponse de faible qualité.
Instruction Tuning (Ajustement fin) :
- Construction d'un mélange d'instructions de 2 millions d'échantillons couvrant quatre catégories :
  - Général : Traduction de datasets VQA (Allava, LLaVA-158K, etc.).
  - OCR : Génération de données synthétiques (SynthDoG-PL) en superposant du texte polonais sur des images naturelles (panneaux, reçus) pour renforcer la lecture.
  - Connaissances : Adaptation du dataset WIT (Wikipedia Image-Text) avec des légendes rédigées par des humains.
  - Comptage : Adaptation de TallyQA.
- Ratio de données : Le jeu de données final maintient un équilibre 85:15 (Polonais:Anglais) pour préserver les capacités en anglais.
- Stratégie d'entraînement : Utilisation de LoRA (Low-Rank Adaptation) pour l'ajustement fin du LLM (paramètres $r=128, \alpha=256$ ), permettant un entraînement efficace en ressources tout en préservant les compétences linguistiques pré-entraînées.

C. Évaluation

MMBench : Adaptation du benchmark MMBench-dev en polonais. Une traduction automatique a été suivie d'une révision rigoureuse par des linguistes natifs, identifiant et corrigeant environ 3,56 % d'erreurs et 3,02 % de questions culturellement inadaptées.
XM3600 : Évaluation de la qualité des légendes générées via trois approches : juges LLM/VLM (Llama-3.3, Claude Sonnet 4.5) et évaluation manuelle par des linguistes professionnels sur des critères de correction linguistique et de fidélité au contenu.

3. Contributions Clés

Pipeline Automatisé Efficace : Démonstration qu'un pipeline de traduction massive couplé à un filtrage automatique (COMET) et à des données synthétiques pour l'OCR suffit à créer des VLM performants pour des langues à ressources limitées, sans modification de vocabulaire ni pré-entraînement croisé complexe.
Famille de Modèles Polonais : Introduction de LLaVA-PLLuM et LLaVA-Bielik, les premiers VLM natifs polonais basés sur LLaVA-NeXT avec des backbones LLM polonais.
Ressources Publiques : Publication des modèles et du dataset MMBench-dev adapté au polonais, incluant les annotations linguistiques et les corrections apportées aux benchmarks.
Analyse des Limites des Benchmarks : Identification systématique d'erreurs et de biais culturels dans MMBench lors de son adaptation, offrant une méthodologie pour la localisation de benchmarks multimodaux.

4. Résultats

Les résultats montrent des améliorations significatives par rapport aux modèles de base anglophones et aux concurrents open-source :

Performance sur MMBench (Polonais) :
- Le modèle LLaVA-PLLuM-12B-NC atteint 79,35 % de précision, surpassant le meilleur modèle de base LLaVA-1.6-Vicuna-13B (69,80 %) d'un écart de +9,55 points.
- Il surpasse également des modèles open-source de pointe comme Qwen2.5-VL-7B (75,56 %) et PaliGemma2-10B (78,39 %) sur la version polonaise.
Qualité des Légendes (XM3600) :
- Correction Linguistique : Les modèles proposés surpassent largement les baselines (LLaVA-1.6, PaliGemma2) et rivalisent avec Pixtral-12B et Qwen2.5-VL-7B. L'évaluation manuelle révèle un avantage décisif : le modèle LLaVA-PLLuM-12B-nc gagne 84 % des comparaisons contre Pixtral-12B sur la correction linguistique, contre seulement 48 % selon les juges automatiques, soulignant la difficulté des juges LLM à évaluer les nuances linguistiques fines.
- Fidélité au Contenu : Les modèles obtiennent des résultats comparables aux meilleurs modèles (Pixtral, Qwen) en termes de description fidèle de l'image, bien qu'ils soient légèrement en retrait sur certains aspects de raisonnement complexe.
Analyse Qualitative : Les exemples montrent que les modèles polonais corrigent des erreurs de contenu et de grammaire présentes dans les modèles anglophones traduits (ex: identification correcte des voisins de la Pologne, description précise d'objets culturels).

5. Signification et Conclusion

Cette étude démontre que la traduction automatisée à grande échelle, combinée à un filtrage léger et à des données synthétiques ciblées, est une stratégie viable et efficace pour "bootstrapper" des modèles multimodaux de haute qualité pour des langues à ressources limitées.

Impact : Cela ouvre la voie à la démocratisation des VLM pour des langues morphologiquement complexes sans nécessiter des coûts de collecte de données prohibitifs.
Limites : Les auteurs notent que la qualité dépend encore de la traduction (risque de "translationese") et que la couverture culturelle reste partielle car les données sources sont majoritairement anglophones.
Perspectives : Le travail suggère que l'avenir réside dans l'amélioration des filtres de qualité de traduction et l'enrichissement des données avec des contextes culturels spécifiques pour réduire les biais résiduels.

En résumé, ce papier fournit une feuille de route pratique pour l'adaptation multilingue des VLM, validée empiriquement sur le cas du polonais, et met en lumière l'importance de l'évaluation humaine pour les tâches linguistiques fines.