Instructing Large Language Models for Low-Resource Languages: A Systematic Study for Basque

Titel: Instructie van Grootte Taalmodellen voor Taalbron-arme Talen: Een Systematische Studie voor Baskisch

1. Het Probleem

Grootte Taalmodellen (LLMs) zijn overwegend Engels-gecentreerd en presteren vaak slecht op taalbron-arme talen (low-resource languages), zelfs na recente pogingen tot meertalige pre-training. Het grootste knelpunt bij het aanpassen van instructie-tuned modellen aan deze talen is het gebrek aan grote, hoogwaardige instructiedatasets in de doeltaal.
Traditionele aanpakken volgen vaak een sequentiële pipeline: eerst continued pretraining op een doeltaal-corpus, gevolgd door instruction tuning met instructies in die taal. Dit paper onderzoekt of deze standaardpipeline optimaal is, of dat er alternatieve strategieën bestaan die beter werken met beperkte middelen, specifiek voor het Baskisch (Eus), een taal met een zeer kleine digitale aanwezigheid en geen bestaande instructiedatasets.

2. Methodologie

De auteurs hebben een systematisch experiment opgezet om verschillende combinaties van componenten te testen. Het raamwerk omvat drie kerncomponenten:

• Backbone-modellen:
  1. BASE_EN: Een standaard Llama 3.1 base model (Engels).
  2. BASE_EU: Een Llama 3.1 model dat is doorgelopen (continued pretraining) op een Baskisch corpus.
  3. INSTRUCT_EN: Een instructie-tuned versie van Llama 3.1 (Engels).
• Trainingsdata:
  • Corpus_EU: Een hoogwaardig Baskisch corpus (4,3 miljoen documenten, ~3,5 miljard tokens).
  • Synthetische Instructies: Omdat er geen menselijke instructies in het Baskisch zijn, werden deze gegenereerd:
    • Engelse instructies: Direct gesampled van het INSTRUCT_EN model.
    • Baskische instructies: Vertalingen van de Engelse instructies, uitgevoerd door het BASE_EU model (few-shot prompting).
• Experimenteel Ontwerp:
  De auteurs trainden 18 verschillende modelvarianten (plus een 70B versie) door alle mogelijke combinaties van backbone en trainingsdata te testen. Dit omvatte scenario's zoals:
  • Leren de taal en instructies tegelijkertijd.
  • Eerst de taal leren, dan instructies.
  • Eerst instructies leren (in het Engels), dan de taal.
  • Gebruik van enkel Baskisch, enkel Engels, of bilinguale instructiedata.

Evaluatie:
De modellen werden geëvalueerd via twee methoden:

1. Statische benchmarks: 27 tests in het Baskisch, Engels en Spaans (lezen, redeneren, wiskunde, kennis).
2. Menselijke evaluatie (Arena): Een crowdsourced "Chatbot Arena" met 1.680 deelnemers die 12.890 voorkeursannotaties leverden. Dit is de grootste menselijke evaluatie ooit voor een taalbron-arme taal.

3. Belangrijkste Bijdragen

• Systematische Analyse: Een van de eerste studies die systematisch de volgorde van training (taal vs. instructie) en de bron van instructiedata (synthetisch vs. vertaald) vergelijkt voor een taalbron-arme taal.
• Latxa Instruct Familie: De release van instructie-tuned LLMs voor het Baskisch in 8B en 70B parameters.
• Datasets: De publicatie van synthetische instructiedatasets (Engels en Baskisch) en het eerste voorkeursdataset (preference dataset) voor het Baskisch, inclusief menselijke annotaties.
• Methodologische Inzichten: Het tonen aan dat het starten met een reeds instructie-tuned Engelstalig model superieur is aan het trainen van een base model vanaf nul voor instructie-volging.

4. Resultaten

De experimenten leverden drie cruciale inzichten op:

1. Essentieel Corpus: Een corpus in de doeltaal (Baskisch) is onmisbaar. Modellen zonder blootstelling aan plat Baskisch tekst presteerden significant slechter, ongeacht andere technieken.
2. Synthetische Instructies: Synthetisch gegenereerde instructies (zowel in het Engels als vertaald naar het Baskisch) leveren robuuste modellen op. Een mix van Engelse en Baskische instructies gaf over het algemeen de beste resultaten.
3. Backbone Strategie (Cruciaal): Het starten met een instructie-tuned Engelstalig model (INSTRUCT_EN) en dit aan te passen aan het Baskisch, presteerde beter dan het trainen van een base model (BASE_EN of BASE_EU) om instructies te volgen. Dit daagt de standaard "base-model eerst" pipeline uit.

Prestaties:

• Het beste 70B model (gebaseerd op INSTRUCT_EN + Corpus_EU + bilinguale instructies) presteerde zeer competitief in de menselijke evaluatie ("Arena"), met name qua taalkwaliteit, en naderde de prestaties van gesloten state-of-the-art modellen zoals GPT-4o en Claude 3.5 Sonnet, zonder gebruik te maken van menselijke Baskische instructies.
• Er was een sterke correlatie gevonden tussen de automatische benchmarks in het Baskisch en de menselijke evaluaties, wat suggereert dat automatische benchmarks een betrouwbare proxy kunnen zijn voor menselijke beoordeling in deze context.

5. Betekenis en Impact

Dit paper biedt een blauwdruk voor het ontwikkelen van hoogwaardige LLMs voor taalbron-arme talen zonder afhankelijk te zijn van dure menselijke annotatie of gesloten API's.

• Efficiëntie: Het bewijst dat synthetische data en slimme transfer-learning strategieën (starten met een instructie-tuned backbone) effectiever zijn dan traditionele methoden.
• Reproduceerbaarheid: Door het openbaar maken van code, modellen, instructiedatasets en menselijke voorkeursdata, wordt de basis gelegd voor toekomstig onderzoek in andere taalbron-arme talen.
• Toekomstperspectief: De resultaten suggereren dat het mogelijk is om modellen te creëren die concurreren met commerciële reuzen voor specifieke talen, zelfs met beperkte resources, mits de juiste adaptatiestrategieën worden toegepast.

Kortom, de studie concludeert dat voor taalbron-arme talen de optimale route is: Start met een sterke instructie-tuned Engelstalig model -> Voeg een corpus van de doeltaal toe -> Train met synthetische bilinguale instructies.