On the limited utility of parallel data for learning shared multilingual representations

Probleemstelling

Multilinguale taalmodellen (MLLM's) worden steeds belangrijker voor cross-linguale taken en kennisoverdracht. Een wenselijke eigenschap van deze modellen is het delen van representaties tussen talen, waardoor wat in de ene taal is geleerd, kan worden toegepast op een andere taal. Een veelgebruikte aanname is dat het toevoegen van parallelle data (vertaalde zinsparen) aan het pre-training corpus deze representatie-deling aanzienlijk verbetert.

Hoewel dit intuïtief aantrekkelijk klinkt, is de mate waarin parallelle data daadwerkelijk bijdraagt aan het leren van gedeelde cross-linguale representaties onduidelijk. Bestaande methoden voegen vaak een klein percentage parallelle zinnen toe aan het corpus, maar het is niet bewezen of dit noodzakelijk is of dat het effectief is vergeleken met het trainen op alleen monolinguale data.

Methodologie

De auteurs hebben een gecontroleerd experiment opgezet om de impact van parallelle data systematisch te evalueren.

• Modellen: Er zijn vier transformer-taalmodellen (1,4 miljard parameters) vanaf nul getraind, gebaseerd op de OLMo-architectuur (decoder-only).
• Data: Het trainingscorpus bestaat uit 200 miljard tokens in twee talen: Engels en Fins. Deze talen zijn typologisch ver uit elkaar, wat een robuuste test biedt voor generalisatie.
• Variatie in Parallelle Data: De vier modellen verschillen alleen in het percentage parallelle data in het corpus:
  • lm-0: 0% parallelle data.
  • lm-1: 1% parallelle data.
  • lm-2: 2% parallelle data.
  • lm-5: 5% parallelle data.
  • Opmerking: De monolinguale data is aangepast om de totale token-aantal en de taalverhouding (80% Engels, 20% Fins) constant te houden.
• Evalueringsmethoden: Om het niveau van representatie-deling te meten, werden vijf methoden gebruikt:
  1. Hoofdaspectenprojectie (PCA): Visuele inspectie van de ruimtelijke overlap van representaties.
  2. Cosine-相似iteit: Meting van de hoeknabijheid tussen vertaalde zinsparen versus willekeurige zinsparen.
  3. Projection Weighted Canonical Correlation Analysis (PWCCA): Een statistische maat voor lineaire correlatie tussen representaties van parallelle paren, ongeacht lineaire transformaties.
  4. Analyse van taalspecifieke neuronen: Identificatie van neuronen die sterk reageren op één specifieke taal (gebaseerd op Kojima et al., 2024).
  5. Controlevectoren (Control Vectors): Testen of vectoren die taaldirectionen vastleggen, effectief kunnen worden gebruikt om de output-taal van het model te forceren (van Engels naar Fins) zonder de coherentie te verliezen.

Belangrijkste Bijdragen en Resultaten

1. Gedeelde representaties ontstaan zonder parallelle data
De belangrijkste bevinding is dat gedeelde cross-linguale representaties ook optreden in modellen die volledig zonder parallelle data zijn getraind (lm-0).

• PCA-projecties tonen aan dat Engelse en Finse zinnen in de middelste lagen van het netwerk sterk overlappen, ongeacht de hoeveelheid parallelle data.
• PWCCA-scores tonen een vergelijkbaar patroon voor alle modellen: de correlatie tussen talen neemt toe in de middelste lagen en bereikt een piek rond laag 14-15, zonder significante verschillen tussen de modellen met 0% en 5% parallelle data.

2. Beperkte impact van parallelle data op de eindresultaten
De hoeveelheid parallelle data heeft weinig tot geen invloed op het uiteindelijke niveau van cross-linguale alignatie in de volledig getrainde modellen.

• De meeste evaluatiemethoden (PCA, PWCCA, controlevectoren) tonen geen significante correlatie met het percentage parallelle data.
• De cosinesimilariteit bleek een onbetrouwbare maatstaf, aangezien zowel vertaalde paren als willekeurige paren een vergelijkbaar patroon vertonen (waarschijnlijk door anisotropie in de representatieruimte).

3. Effecten op de trainingsfase en neuron-distributie
Hoewel de eindresultaten vergelijkbaar zijn, werden er subtiele effecten waargenomen tijdens het trainingsproces:

• Versnelling: Parallelle data lijkt de vorming van gedeelde representaties in de vroege fasen van het pre-training te versnellen. In de eerste 20.000 stappen vertoonde het model met 5% parallelle data (lm-5) een iets hogere coherentie bij het genereren van Finse teksten dan het model zonder parallelle data.
• Neuron-distributie: Modellen met parallelle data hebben iets minder "taalspecifieke neuronen" (neuronen die sterk reageren op slechts één taal) dan het model zonder parallelle data. Echter, het aantal taalspecifieke neuronen neemt bij alle modellen toe naarmate het trainen vordert, wat suggereert dat dit een dynamisch proces is dat niet volledig wordt opgelost door parallelle data.

4. Locatie van gedeelde representaties
Alle modellen vertonen een duidelijke structuur waarbij taalspecifieke neuronen voornamelijk in de eerste en laatste lagen voorkomen, terwijl de middelste lagen gedomineerd worden door taalonafhankelijke, gedeelde semantische representaties. Dit bevestigt eerdere bevindingen in de literatuur.

Significantie en Conclusie

De studie concludeert dat het toevoegen van parallelle data aan het pre-training corpus, hoewel intuïtief aantrekkelijk, geen groot voordeel biedt voor het creëren van cross-linguale alignatie in multilinguale taalmodellen.

• Fundamentele bevinding: Cross-linguale representatie-deling lijkt een inherent kenmerk van transformer-architecturen te zijn die trainen op grote, gemengde corpora, zelfs zonder expliciete signalen van vertaalde zinnen. Dit kan worden veroorzaakt door beperkte parametercapaciteit (het model moet efficiënt zijn) of door verborgen parallelle data in de monolinguale datasets.
• Praktische implicatie: Voor onderzoekers en engineers die multilinguale modellen trainen, suggereert dit dat de kosten en moeite om grote hoeveelheden parallelle data te verzamelen en te integreren mogelijk niet noodzakelijk zijn voor het bereiken van goede cross-linguale transfer, tenzij het doel specifiek is om de trainingsfase te versnellen of de hoeveelheid taalspecifieke neuronen te minimaliseren.
• Beperkingen: De studie is beperkt tot één taalpaaar (Engels-Fins) en relatief kleine modellen (1,4B parameters). De auteurs merken op dat de resultaten mogelijk generaliseren naar andere taalpaaars, maar dat grootschalige modellen mogelijk andere dynamieken vertonen.

Kortom: Parallelle data is niet de "magische sleutel" voor cross-linguale alignatie; de capaciteit van het model om representaties te delen, lijkt al aanwezig te zijn in de basisarchitectuur en het trainingsproces op grote schaal.