Multimodal Large Language Models for Low-Resource Languages: A Case Study for Basque

Dit paper presenteert een multimodaal groot taalmodel voor het Baskisch dat, ondanks het gebruik van een niet-Baskisch aangepaste backbone, sterke prestaties levert met slechts een klein percentage Baskische multimodale trainingsdata en zo een weg vrijmaakt voor de ontwikkeling van dergelijke modellen voor andere taalarme talen.

De kern

Stel je voor dat je een slimme robot wilt bouwen die niet alleen tekst kan lezen, maar ook plaatjes kan "zien" en begrijpen. Dit noemen we een Multimodaal Groot Taalmodel (MLLM). Denk aan een super-intelligente assistent die je een foto van een hond toont en vraagt: "Wat doet deze hond?" en hij antwoordt: "Hij rent achter een bal aan."

De meeste van deze slimme robots zijn echter getraind op Engelse data. Ze spreken Engels als hun moedertaal. Voor talen die minder vaak op internet voorkomen, zoals het Baskisch (gesproken in een deel van Spanje en Frankrijk), is het alsof je een robot probeert te leren een taal te spreken waar er maar heel weinig boeken en foto's van bestaan.

De auteurs van dit paper (Lukas, Julen, Ander en Gorka) wilden een slimme robot bouwen die Baskisch spreekt en plaatjes begrijpt. Hier is hoe ze dat deden, vertaald naar een simpel verhaal:

1. Het probleem: De "Baskische Bibliotheek" is leeg

Om een robot slim te maken, heb je duizenden voorbeelden nodig (plaatjes met bijbehorende tekst). Voor het Engels is er een enorme bibliotheek vol met deze voorbeelden. Voor het Baskisch is die bibliotheek bijna leeg. Er zijn maar heel weinig foto's met Baskische bijschriften.

2. De oplossing: Vertalen en Mixen

De onderzoekers hadden een slim idee. In plaats van te wachten tot er vanzelf Baskische foto's opduiken, hebben ze:

• Bestaande Engelse foto's genomen en de bijschriften vertaald naar het Baskisch.
• Een mix gemaakt: een beetje Baskisch en veel Engels.

De grote ontdekking (Analogie: Het Baking van een Cake):
Stel je voor dat je een cake wilt bakken die in het Baskisch smaakt. Je zou denken dat je 100% Baskische ingrediënten nodig hebt. Maar de onderzoekers ontdekten iets verrassends:

• Je hebt niet 100% Baskische ingrediënten nodig.
• Als je 20% Baskische ingrediënten toevoegt aan een basis van Engels, smaakt de cake al perfect voor Baskische proevers!
• Zelfs als je alleen maar Engelse foto's gebruikt, maar de tekst in het Baskisch uitlegt, kan de robot de Baskische taal nog steeds goed leren begrijpen.

3. De Motor: Is een "Baskische Motor" nodig?

Om zo'n robot te bouwen, heb je een "motor" nodig (een taalmodel).

• Optie A: Een motor die al in het Baskisch is getraind (genaamd Latxa).
• Optie B: Een standaard Engelse motor (genaamd Llama).

De onderzoekers dachten: "Natuurlijk hebben we Optie A nodig, want die kent de taal al."
Maar hun experimenten toonden aan: Het maakt niet uit welke motor je gebruikt! Een standaard Engelse motor werkt net zo goed als een gespecialiseerde Baskische motor, zolang je maar de juiste "plaatjes en teksten" (de data) erin stopt.

4. Wat hebben ze precies gedaan?

Ze hebben voor het eerst in de geschiedenis een complete set getraind en getest voor het Baskisch:

• Trainingsdata: Ze hebben meer dan 3 miljoen plaatjes met Baskische teksten gemaakt (door vertaling).
• Testen: Ze hebben de robot laten testen op vragen over plaatjes (bijv. "Wat zie je op deze foto?").
• Resultaat: De robot werkt uitstekend in het Baskisch, zelfs met weinig Baskische data.

5. Waarom is dit belangrijk?

Dit paper is als een bouwhandleiding voor de rest van de wereld.
Veel talen (zoals het Baskisch, maar ook vele andere minderheidstalen) hebben weinig digitale bronnen. Deze studie bewijst dat je niet hoeft te wachten tot die bronnen er vanzelf komen. Je kunt:

1. Bestaande Engelse data gebruiken.
2. Die vertalen naar je eigen taal.
3. Een klein beetje echte data van die taal toevoegen.
4. En klaar is je slimme robot die je eigen taal spreekt!

Kort samengevat:
Je hoeft geen enorme bibliotheek in je eigen taal te hebben om een slimme AI te bouwen. Met een beetje vertaalwerk, een goede mix van data en een standaard "motor", kun je een slimme assistent maken die je eigen taal en cultuur begrijpt. Dit opent de deur voor honderden andere talen die nu nog door de AI worden genegeerd.

Technische samenvatting

Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) vertonen uitstekende prestaties in taken zoals beeldbeschrijving, visuele vraagbeantwoording (VQA) en OCR. Echter, de huidige state-of-the-art modellen zijn voornamelijk getraind op Engelstalige bronnen. Dit leidt tot een aanzienlijke prestatiedaling in talen met weinig hulpbronnen (low-resource languages). Hoewel commerciële modellen redelijk presteren in deze talen, ontbreekt het binnen de open wetenschappelijke gemeenschap aan vergelijkbare resultaten. Specifiek voor het Baskisch (Eus), een taal die ongeveer 50e staat in Common Crawl met ongeveer 1000x minder tekstdata dan het Engels, ontbreken er multimodale datasets en open MLLM's.

Methodologie

1. Architectuur en Modellen
De auteurs hanteren een late-fusion architectuur (gebaseerd op het werk van LLaVA en Pangea). De opbouw bestaat uit:

• Visuele Encoder: Een vooraf getrainde CLIP-encoder (clip-vit-large-patch14-336) om beelden te vertalen naar visuele representaties.
• Connector: Een eenvoudige lineaire laag (fully connected) die de visuele features projecteert in de embedding-ruimte van de taalmodel.
• Backbone LLM: Twee verschillende modellen werden getest om de impact van een taalspecifiek model te evalueren:
  • Llama-3.1-8B-Instruct: Een Engelstalig model.
  • Latxa-Llama-3.1-8B-Instruct: Een variant die specifiek is aangepast en getraind op het Baskisch voor tekstuele instructies.

2. Data-creatie (Datasets)
Omdat er geen bestaande Baskische multimodale datasets waren, creëerden de auteurs nieuwe resources door vertaling vanuit Engelstalige bronnen:

• Trainingsdata:
  • Stage 1 (Visueel-Taal Alignement): Vertaling van het CC3M dataset (Conceptual Captions) naar het Baskisch, resulterend in 2,8 miljoen beeld-tekstparen (CC3MEus).
  • Stage 2 (Multimodale Instructie Tuning): Vertaling van het Pixmo-ask-model-anything dataset (Pixmo-AMA) naar het Baskisch. Voor deze complexe, meerzinnige antwoorden werd gebruikgemaakt van een groot LLM (Latxa-70B) in plaats van zinsgebaseerde vertalers om coherentie te behouden. Dit resulteerde in 146.000 instructies.
• Evaluatiebenchmarks:
  • Vier benchmarks werden vertaald en gevalideerd door native sprekers: VQAv2, A-OKVQA, PixMo-CapQA (gesloten vragen) en WildVision (open-ended generatie).
  • De kwaliteit van de vertalingen werd bevestigd met hoge acceptatiepercentages en inter-annotator overeenstemming.

3. Trainingsprocedure
Het trainingsproces volgde een tweestapsprocedure:

1. Visueel-Taal Alignement: Alleen de connector werd getraind om de visuele encoder af te stemmen op de LLM, terwijl de LLM bevroren bleef.
2. Multimodale Instructie Tuning: Zowel de connector als de backbone LLM werden fijngeslepen (fine-tuned) op instructiedata.

4. Experimenteel Ontwerp
De auteurs varieerden de verhouding van Baskische versus Engelstalige multimodale data tijdens de training (0%, 20%, 80%, 100% Baskisch). Daarnaast werd onderzocht of het toevoegen van alleen tekstuele data (text-only) in het Baskisch de prestaties kon verbeteren, gezien de schaarste aan multimodale data.

Kernbijdragen

1. Eerste Open MLLM voor het Baskisch: De ontwikkeling van het eerste open multimodale model voor het Baskisch, inclusief de eerste grote schaal multimodale trainings- en evaluatiedatasets voor deze taal.
2. Openbare Resources: De publicatie van de datasets (CC3MEus, Pixmo-AMAEus, en de evaluatiebenchmarks) en de trainingscode, wat een belangrijke stap is voor de gemeenschap van talen met weinig hulpbronnen.
3. Empirische Bewijzen voor Low-Resource Strategieën: Het paper levert concrete bewijzen dat men geen enorme hoeveelheden multimodale data in de doeltaal nodig heeft om een sterk model te bouwen.

Resultaten en Belangrijkste Bevindingen

De experimenten leverden zes cruciale bevindingen op:

1. Lage verhoudingen Baskische data zijn voldoende: Het gebruik van slechts 20% Baskische multimodale data (in combinatie met 80% Engels) was al voldoende om solide resultaten te behalen op Baskische benchmarks. Het verhogen van het percentage Baskische data naar 100% leverde slechts marginale verbeteringen op.
2. Engelse data is noodzakelijk om "catastrophic forgetting" te voorkomen: Als het model uitsluitend met Baskische multimodale data werd getraind, daalde de prestatie in het Engels drastisch. Een mix is essentieel om de Engelstalige capaciteiten te behouden.
3. Tekstuele data verbetert multimodale prestaties: Het toevoegen van Baskische tekst-only instructies aan de training verbeterde de multimodale prestaties aanzienlijk, zelfs bij modellen die alleen met Engelstalige multimodale data waren getraind. Dit suggereert een cross-modale transfer: de taalvaardigheid uit tekst-only data helpt het model om multimodale taken in die taal uit te voeren.
4. Geen Baskische backbone nodig: In tegenstelling tot wat vaak wordt verwacht, is een vooraf getraind Baskisch instructiemodel (Latxa) niet vereist om een sterke Baskische MLLM te bouwen. Het Engelstalige Llama-3.1 model presteerde vrijwel gelijk aan de Baskische Latxa-variant op gesloten vragen en open-ended generatie.
5. Mensen vs. AI-evaluatie: Voor open-ended generatie bleek menselijke evaluatie noodzakelijk. Hoewel GPT-5 als "judge" redelijk overeenkwam met mensen, neigde het naar minder "ties" (gelijkspel) en vertoonde het bekende biases. Menselijke evaluatie blijft de gouden standaard voor kwaliteitsbeoordeling.
6. Generalisatie: De bevindingen suggereren dat deze aanpak (Engelse backbone + kleine hoeveelheid multimodale data + tekst-only data in de doeltaal) een haalbare route is voor veel andere talen met weinig hulpbronnen.

Betekenis en Impact

Dit paper is van groot belang voor de ontwikkeling van AI voor talen met weinig hulpbronnen. Het weerlegt de noodzaak van het verzamelen van enorme, kostbare multimodale datasets in elke specifieke taal. In plaats daarvan toont het aan dat:

• Kostenefficiëntie: Men kan bestaande Engelstalige multimodale modellen gebruiken en deze met een relatief kleine hoeveelheid vertaalde data en tekst-only instructies aanpassen.
• Toegankelijkheid: Door de datasets en modellen openbaar te maken, wordt de drempel verlaagd voor onderzoekers om MLLM's te ontwikkelen voor andere minderheidstalen.
• Strategische Inzicht: Het benadrukt het belang van tekst-only data als brug om multimodale vaardigheden over te dragen naar een nieuwe taal, zelfs zonder dat er veel beeld-tekstparen in die taal beschikbaar zijn.

Kortom, het paper biedt een blauwdruk voor het bouwen van krachtige, open multimodale modellen voor talen zoals het Baskisch, zonder afhankelijk te zijn van dure proprietary systemen of onmogelijke dataverzamelingen.