Annotation-Efficient Vision-Language Model Adaptation to the Polish Language Using the LLaVA Framework

1. Il Problema

I modelli Vision-Language (VLM) attuali sono prevalentemente addestrati su dati in inglese, il che ne limita drasticamente le prestazioni in altre lingue e contesti culturali. Questo squilibrio ostacola l'usabilità per gli utenti non anglofoni e impedisce lo sviluppo di sistemi multimodali che riflettano la diversità linguistica e culturale.
In particolare, la lingua polacca presenta sfide uniche a causa della sua complessa morfologia (7 casi grammaticali, accordi complessi, ordine delle parole flessibile), che rende difficile sia la generazione che la comprensione del testo per i modelli LLM, e ancor più per i VLM. Attualmente, mancano dataset e modelli VLM nativi di alta qualità per il polacco.

2. Metodologia

Gli autori propongono una pipeline quasi completamente automatizzata per adattare l'architettura LLaVA-NeXT alla lingua polacca, minimizzando l'intervento manuale sui dati di addestramento.

• Architettura del Modello:

  • Si basa su LLaVA-NeXT, che allinea un encoder visivo pre-addestrato con un Large Language Model (LLM) tramite un proiettore MLP a due livelli.
  • Backbone Linguistico: Vengono utilizzati tre modelli LLM nativi polacchi e istruiti (instruction-tuned) nella fascia 11B-12B parametri: PLLuM-12B e BIELIK-11B.
  • Torre Visiva: Sostituisce il classico encoder CLIP con SigLIP2, scelto per il suo allineamento immagine-testo multilingue superiore e per la robustezza nel localizzare il testo (cruciale per l'OCR).
  • Strategia di Addestramento: Utilizza un approccio a due fasi con LoRA (Low-Rank Adaptation) per l'efficienza dei parametri:
    1. Fase 1 (Pre-training): Aggiornamento solo del proiettore per allineare le feature visive allo spazio di embedding dell'LLM.
    2. Fase 2 (Instruction Tuning): Fine-tuning congiunto di proiettore e torre visiva, aggiornando l'LLM tramite LoRA su un set diversificato di istruzioni multimodali.

• Costruzione del Dataset (Pipeline Automatizzata):

  • Traduzione e Filtraggio: I dataset multimodali inglesi (come LLaVA-Instruct, Allava, ecc.) vengono tradotti in polacco utilizzando il modello multilingue Tower+ 72B. La qualità della traduzione è valutata con la metrica COMET (senza riferimento) e i campioni di bassa qualità vengono filtrati automaticamente.
  • Dati Sintetici: Per compiti difficili da tradurre direttamente, come l'OCR, vengono generati dati sintetici (SynthDoG-PL) sovrapponendo testo polacco su immagini naturali.
  • Bilanciamento: Il set finale di istruzioni mantiene un rapporto 85:15 tra campioni adattati in polacco e originali in inglese per preservare le capacità multilingue.
  • Adattamento del Benchmark: Il dataset di valutazione MMBench è stato tradotto e sottoposto a una revisione linguistica professionale umana per correggere errori e adattare il contesto culturale.

3. Contributi Chiave

1. Pipeline Automatizzata Scalabile: Dimostrazione che è possibile creare dataset multimodali di alta qualità per lingue a risorse limitate (come il polacco) utilizzando quasi esclusivamente traduzione automatica su larga scala e filtraggio metrico, con intervento umano limitato alla curatela dei benchmark.
2. Famiglia di Modelli VLM Polacchi: Introduzione di nuovi modelli (LLaVA-PLLuM e LLaVA-Bielik) basati su architetture LLaVA-Next e backbone LLM nativi polacchi.
3. Adattamento e Valutazione Rigorosa: Una completa adattamento del benchmark MMBench-dev in polacco, identificando e correggendo errori in circa il 4% dei campioni, e la creazione di un nuovo dataset di valutazione per la qualità delle didascalie.
4. Open Source: Rilascio pubblico dei modelli e del dataset di valutazione per facilitare la ricerca futura.

4. Risultati

Le valutazioni sono state condotte su MMBench (versione polacca e inglese) e su XM3600 (per la qualità delle didascalie), confrontando i modelli con baseline come LLaVA-1.6, PaliGemma2, Pixtral e Qwen2.5-VL.

• Prestazioni su MMBench: I modelli proposti mostrano un miglioramento significativo rispetto alle baseline LLaVA-1.6. In particolare, il modello LLaVA-PLLuM-12b-nc ottiene un +9.55% di miglioramento sulla versione polacca rispetto a LLaVA-1.6-Vicuna-13B, mantenendo prestazioni competitive anche in inglese. Superano modelli open-source come Qwen2.5-VL-7B e PaliGemma2-10B nel benchmark polacco.
• Qualità delle Didascalie (XM3600):
  • Correttezza Linguistica: I modelli proposti superano nettamente le baseline (inclusi Pixtral e Qwen) nella correttezza grammaticale, ortografica e sintattica del polacco, come valutato sia da giudici LLM/VLM che da annotatori umani.
  • Descrizione dei Contenuti: Mentre i modelli polacchi eccellono nella forma linguistica, mostrano prestazioni leggermente inferiori rispetto a modelli molto grandi come Pixtral-12B e Qwen2.5-VL-7B nella fedeltà assoluta al contenuto dell'immagine (rilevamento di dettagli specifici), sebbene la differenza sia minima in alcune valutazioni umane.
• Analisi Qualitativa: Gli esempi mostrano che i modelli polacchi evitano errori di "calco" dall'inglese e forniscono risposte culturalmente e linguisticamente accurate (es. corretta identificazione dei confini della Polonia), a differenza di modelli generici che commettono errori fattuali o linguistici.

5. Significato e Implicazioni

Questo lavoro dimostra che la traduzione automatica su larga scala, combinata con un filtraggio leggero e l'uso di backbone LLM nativi, è una strategia efficace ed economica per "bootstrappare" modelli multimodali di alta qualità per lingue a risorse limitate.

• Efficienza delle Risorse: Evita la necessità di costosi dataset annotati manualmente in lingua target o di pre-addestramento cross-linguale complesso.
• Accessibilità: Fornisce strumenti pratici per democratizzare l'accesso alle tecnologie VLM per lingue europee non inglesi.
• Limiti e Futuro: Lo studio ammette che la qualità dei dati dipende dalla traduzione automatica (rischio di "translationese") e che la copertura culturale potrebbe essere migliorata con dati più specifici. Tuttavia, i risultati suggeriscono che questo approccio è un punto di partenza solido per la ricerca multimodale multilingue.

In sintesi, il paper offre una prova empirica che è possibile costruire sistemi VLM competitivi per lingue morfologicamente complesse come il polacco senza dipendere da enormi quantità di dati annotati manualmente, aprendo la strada a soluzioni simili per altre lingue.