Technische Samenvatting: "Înțelegi românește? A Recipe for Romanian Vision-Language Models"

Probleemstelling

Vision-Language Models (VLM's) hebben aanzienlijk succes behaald op Engelse benchmarks, maar lijden onder een scherpe prestatiedegradatie in minder gefaciliteerde talen (low-resource languages). Deze kloof komt voort uit een gebrek aan grootschalige, cultureel gewortelde beeld-tekst corpora en evaluatieframeworks voor talen zoals het Roemeens. Bestaande meertalige VLM's vertrouwen vaak op post-hoc machinevertaling van Engelstalige gecentreerde datasets, wat er niet in slaagt om gelokaliseerde visuele semantiek, culturele context en de nuances van tekst in afbeeldingen (OCR) te vangen. Gevolgelijk blijft het onduidelijk hoe effectief meertalige capaciteiten overdragen naar gegronde multimodale begrijping in deze settings, met name voor taken die betrokken zijn bij documentanalyse, cultureel redeneren en tekstherkenning binnen afbeeldingen.

Methodologie

De auteurs presenteren een systematische studie naar het bouwen van een taalspecifieke VLM voor het Roemeens, waarbij de volledige pijplijn wordt behandeld van dataconstructie tot architecturale ablatie.

1. Dataconstructie en Adaptatie

De auteurs construeerden een trainingscorpus van ongeveer 3,17 miljoen samples door 11 gevestigde Engelse datasets (bijv. LAION, LLaVA-Mix, PixMo, CoSyn, FinePDFs) aan te passen.

• Vertalingsstrategie: In tegenstelling tot eerdere werken die alleen tekstuele annotaties vertaalden, omvat deze aanpak het "vertalen" van de visuele inhoud. Dit houdt het extraheren van tekst uit afbeeldingen in, het vertalen ervan, en het regenereren van de afbeelding met de vertaalde tekst, waarbij lay-out, lettertype en grootte behouden blijven.
• Natieve Data: De pijplijn incorporeert natieve Roemeense data, specifiek de FinePDFs dataset voor OCR en synthetisch geregenereerde grafieken van CoSyn waar broncode beschikbaar was.
• Vertalingsmodellen: Een vergelijkende studie selecteerde GPT-4.1-mini voor benchmark-vertaling en Seed-X-PPO voor de vertaling van trainingsdata op basis van prestaties op de MMMU-dataset.
• Kwaliteitscontrole: Menselijke annotatoren valideerden vertalingen met behulp van filters voor lengteverschillen (het markeren van vertalingen die >1,5x de lengte van het origineel bedroegen) en steekproefsgewijze controles.

2. Natieve Evaluatie Benchmark: HoraVQA

Om het gebrek aan cultureel gewortelde evaluatie aan te pakken, introduceerden de auteurs HoraVQA, een benchmark bestaande uit 580 vraag-antwoordparen over 232 unieke afbeeldingen.

• Inhoud: Afbeeldingen tonen Roemeense culturele concepten (bezienswaardigheden, keuken, gebruiken, geschiedenis) afkomstig van Wikimedia Commons.
• Annotatie: Vragen werden origineel in het Roemeens geschreven door zeven vrijwilligers, gecategoriseerd in meerkeuzevragen en open vragen.
• Culturele Gronding: Elke vraag is voorzien van een is_cultural flag om onderscheid te maken tussen generieke visuele perceptie en kennis die Roemeense culturele, historische of linguïstische context vereist.

3. Modeltraining en Architectuur

De studie maakt gebruik van een modulaire VLM-architectuur (vision encoder + taal backbone + projectie adapter), primair gebaseerd op LLaVA-NeXT, maar test ook Qwen2-VL, Qwen2.5-VL, Qwen3-VL en Gemma3.

• Trainingsprotocol: Modellen ondergaan supervised fine-tuning (SFT) op de Roemeens-gecentreerde multimodale data. De vision backbone wordt bevroren gehouden, terwijl de adapter en de taal backbone trainbaar zijn.
• Hyperparameters: Training gebruikt één epoch, AdamW optimizer, cosine learning rate scheduler (piek $1.0 \times 10^{-5}$), en een batchgrootte van 64.

4. Ablatiestudies

De auteurs isoleerden systematisch de bijdragen van:

• Taal Backbones: Het vergelijken van meertalige LLM's met Roemeens-geadapteerde LLM's (bijv. RoLlama3).
• Vision Backbones: Het evalueren van CLIP, SigLIP en SigLIP2 encoders.
• Datasamenstelling: Het analyseren van de impact van OCR-rijke data en vertaalde tekst in afbeeldingen.

Belangrijkste Bijdragen

1. RoVLM Modellen: Een suite van Roemeens-geadapteerde VLM's, uitgebracht met een volledig open, reproduceerbare trainings- en evaluatiepijplijn.
2. Uitgebreide Evaluatiesuite: Een benchmarksuite van 19 taken die variëren van OCR, visuele vraagbeantwoording (VQA), captioning en redeneren, inclus\nclusief de nieuwe HoraVQA culturele benchmark.
3. Systematische Analyse van Adaptatie: Een gedetailleerd onderzoek naar hoe datasamenstelling (specifiek OCR en vertaalde tekst in afbeeldingen) en architecturale keuzes de prestaties van meertalige modellen met beperkte middelen beïnvloeden.
4. Vertaling van Visuele Inhoud: Een nieuwe pijplijn voor het vertalen en regenereren van tekst in afbeeldingen om visuele gronding te behouden terwijl de linguïstische inhoud wordt aangepast.

Resultaten

• Prestatiewinst: Roemeens-geadapteerde VLM's (RoVLMs) presteren consequent beter dan hun Engelstalige tegenhangers over alle 19 benchmarks. Opvallend genoeg presteren RoVLMs vaak beter dan modellen uit de volgende grotere groottecategorie (bijv. een 3B Roemeens-geadapteerd model dat een 7B Engels-alleen model overtreft).
• Architecturale Generalisatie: De prestatieverbeteringen generaliseren over verschillende vision encoders en taal backbones (Qwen, Gemma, Llama).
• Bevindingen over Vision Backbones: In tegenstelling tot trends in meertalige pretraining waarbij SigLIP2 uitblinkt, presteerde CLIP beter dan SigLIP en SigLIP2 op OCR- en documenttaken. De auteurs wijten dit aan het feit dat CLIP hoogfrequente visuele structuren behoudt die nodig zijn voor karaktertranscriptie, terwijl SigLIP-varianten optimaliseren voor semantische abstractie, wat fijne details kan onderdrukken.
• Bevindingen over Taal Backbones: Het overschakelen naar een Roemeens-geadapteerde taal backbone (RoLlama3) leverde verwaarloosbare verbeteringen op ten opzichte van de standaard meertalige Llama3, wat suggereert dat de 3,1M sample trainingsmix voldoende capaciteit bood voor adaptatie, en dat de beperking niet de pre-trained taalmodel was, maar de datasamenstelling.
• Datasamenstelling: Het verwijderen van OCR-data leidde tot prestatiedalingen in alle categorieën, niet alleen in OCR-specifieke categorieën, wat aangeeft dat tekstherkenningscapaciteiten fundamenteel zijn voor algemene multimodale begrip.
• Vertaalde Afbeeldingen: Trainen met afbeeldingen die vertaalde tekst bevatten (doeltaal) leverde een lichte maar consistente prestatieverbetering op (gemiddeld circa 1,76 punten) ten opzichte van het gebruik van natuurlijke Engelse afbeeldingen, met de grootste winsten in grounding-taken.

Betekenis en Claims

Het paper betoogt dat de dominante trend van het schalen van een enkele generalistische VLM naar alle talen onvoldoende is voor talen met beperkte middelen. In plaats daarvan is gespecialiseerde, taal-gerichte adaptatie noodzakelijk en effectief.

De auteurs beweren dat:

• Datasamenstelling is Cruciaal: De primaire drijfveer van prestaties is niet de taal backbone zelf, maar de samenstelling van de trainingsdata — specifiek de inclusie van OCR-rijke supervisie en vertaalde tekst in afbeeldingen.
• Representatie vs. Gronding: "Meertalige" representatie op pre-training niveau garandeert niet automatisch gegronde, OCR-getrouwe of cultureel bewuste gedrag.
• Culturele Benchmarks zijn Essentieel: Standaard vertaalde benchmarks zijn onvoldoende; natieve culturele benchmarks zoals HoraVQA zijn vereist om het begrip van een model voor lokale visuele cultuur te evalueren en te verbeteren.
• Efficiëntie: Een kleiner, gespecialiseerd model getraind op gecureerde data met beperkte middelen kan grotere, generalistische modellen overtreffen, wat een efficiënter pad biedt voor multimodale AI in niet-Engelse contexten.

Het werk concludeert dat hoewel vertaling-gebaseerde adaptatie een levensvatbare strategie is, deze moet worden gecombineerd met natieve data, rigoureuze visuele vertaling en cultuurspecifieke evaluatie om robuust multimodale begrip in talen met beperkte middelen te bereiken.