Annotation-Efficient Vision-Language Model Adaptation to the Polish Language Using the LLaVA Framework

Probleemstelling

De meeste bestaande Vision-Language Models (VLM's) worden getraind op datasets die gedomineerd worden door de Engelse taal. Dit beperkt hun prestaties in andere talen en culturele contexten, waardoor ze minder bruikbaar zijn voor niet-Engelstalige gebruikers. Specifiek voor het Pools vormen de rijke morfologische complexiteit (zeven grammaticale gevallen, complexe overeenkomstpatronen) en de beperkte beschikbaarheid van hoogwaardige, taal-specifieke multimodale instructiedata een grote uitdaging. Bestaande oplossingen vereisen vaak handmatige annotatie of uitgebreide cross-linguale pre-training, wat kostbaar en niet schaalbaar is voor minderheidstalen.

Methodologie

Het team van het NASK National Research Institute (Warschau) heeft een volledig geautomatiseerd pipeline ontwikkeld om hoogwaardige Poolse VLM's te creëren met minimale menselijke tussenkomst.

1. Architectuur:

• Basis: Het model bouwt voort op de LLaVA-NeXT architectuur.
• Visuele Encoder: In plaats van de gebruikelijke CLIP-encoder, gebruiken ze SigLIP2 (SO400M/14), gekozen vanwege zijn sterke multilinguale beeld-tekstuitlijning en robuuste signaal voor tekstlocatie (belangrijk voor OCR).
• Taalbackbone: Ze gebruiken Poolse native Large Language Models (LLM's) in het bereik van 11-12 miljard parameters: PLLuM-12B en BIELIK-11B.
• Training: Een twee-fasen strategie:
  • Fase 1 (Pre-training): Alleen de projector wordt bijgewerkt om visuele features uit te lijnen met de LLM-embeddings (gebruikmakend van beeld-tekstparen).
  • Fase 2 (Instruction Tuning): Gezamenlijke fine-tuning van de projector en visuele encoder, terwijl de taalmodelbackbone wordt bijgewerkt via LoRA (Low-Rank Adaptation) om rekenkracht te besparen.

2. Datapipeline (Geautomatiseerd):

• Vertaling: Bestaande Engelstalige multimodale datasets (zoals LLaVA-Instruct, The Cauldron, WIT) worden vertaald naar het Pools met behulp van Tower+ 72B, een state-of-the-art meertalig model.
• Filtering: De kwaliteit van de vertaling wordt geëvalueerd met de COMET-metric (zonder referentie). Samples onder een bepaalde drempelwaarde worden verwijderd.
• Synthetische Data: Voor taken die moeilijk te vertalen zijn, zoals OCR (Optical Character Recognition), genereren ze synthetische Poolse data (SynthDoG-PL) door tekstfragmenten van Wikipedia te combineren met natuurlijke achtergronden.
• Dataset Samenstelling: Het eindresultaat is een instructiemengsel van ongeveer 2 miljoen conversaties, waarbij 85% vertaalde Poolse data is en 15% origineel Engels om de Engelstalige capaciteiten te behouden.

3. Evaluatie:

• Ze hebben de MMBench-dev dataset vertaald en grondig gecontroleerd door native Poolse linguïsten. Ongeveer 6,5% van de vragen bleek ongeschikt (door taalfouten of culturele ongeschiktheid) en werd gecorrigeerd.
• Evaluatie vond plaats op zowel de Poolse als Engelse variant van MMBench, evenals op de XM3600 dataset voor beeldbeschrijving (captioning).
• Menselijke evaluatie: Native linguïsten beoordeelden de output op twee criteria: taalkundige correctheid (grammatica, stijl, geen "Dutch-English" leenvertalingen) en inhoudelijke kwaliteit (geen hallucinaties, correcte objectherkenning).

Belangrijkste Bijdragen

1. Geautomatiseerde Pipeline: Een schaalbare methode om multimodale datasets voor laag-resource talen te voorbereiden via vertaling, filtering en synthetische data-generatie, zonder uitgebreide handmatige annotatie.
2. Poolse VLM Familie: Introductie van LLaVA-PLLuM en LLaVA-Bielik, de eerste open-source VLM's die specifiek zijn getraind op Poolse native LLM-backbones.
3. MMBench Adaptatie: Een volledige adaptatie van de MMBench-dev dataset naar het Pools, inclusief linguïstische herannotatie en identificatie van culturele bias in de oorspronkelijke dataset.
4. Open Source: Publicatie van de modellen en de Poolse evaluatiedatasets om verder onderzoek te faciliteren.

Resultaten

• MMBench Prestaties: Het beste model (LLaVA-PLLuM-12B-NC) behaalde een score van 79,35% op de Poolse versie van MMBench, een verbetering van +9,5% ten opzichte van de sterke LLaVA-1.6-Vicuna-13B baseline (69,80%). Het model presteerde ook beter dan concurrenten zoals Qwen2.5-VL-7B en PaliGemma2-10B op de Poolse benchmark.
• Taalkundige Kwaliteit: Bij het genereren van Poolse beeldbeschrijvingen (captioning) presteerden hun modellen aanzienlijk beter dan Engelstalige baselines op het gebied van grammatica en stijl. Menselijke evaluatoren gaven hun modellen een winpercentage van 64% tot 84% tegenover sterke concurrenten zoals Pixtral-12B op het criterium van taalkundige correctheid.
• Inhoudelijke Kwaliteit: Hoewel de modellen sterk waren in taal, bleven ze iets achter bij de allerbeste modellen (zoals Qwen2.5-VL-7B) op het gebied van puur inhoudelijke nauwkeurigheid in complexe scènes, hoewel ze Pixtral-12B wel versloegen.
• Efficiëntie: De modellen werden getraind met parameter-efficiënte methoden (LoRA), wat ze een kosteneffectief alternatief maakt voor volledig gefinetuned modellen.

Betekenis en Conclusie

Dit paper demonstreert dat grootschalige geautomatiseerde vertaling, gecombineerd met lichte filtering en synthetische data, een effectieve strategie is om hoogwaardige multimodale modellen te "bootstrappen" voor talen met beperkte bronnen. Het weerlegt de noodzaak van massale handmatige annotatie voor het ontwikkelen van sterke VLM's in niet-Engelse contexten.

De studie benadrukt dat het gebruik van native taalmodellen (in plaats van vertaalde Engelstalige modellen) cruciaal is voor het behalen van natuurlijke grammatica en correcte morfologie in complexe talen zoals het Pools. Hoewel er nog uitdagingen blijven op het gebied van culturele dekking en het vermijden van vertaal-gerelateerde artefacten, biedt deze aanpak een blauwdruk voor het uitbreiden van multimodale AI naar een veel bredere reeks van wereldtalen.