One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography
Dit artikel toont aan dat het voortrainen van meertalige taalmodellen op geromaniseerde tekst, in plaats van de native orthografie of IPA, de kruislingse kennisoverdracht over diverse schriftsystemen aanzienlijk verbetert, wat suggereert dat romanisering een kernkeuze voor het ontwerp van het voortrainen moet zijn in plaats van een achteraf toegepaste aanpassing.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin één computerprogramma elke taal op aarde met gelijke vloeiendheid kan lezen, schrijven en begrijpen. Dit is de belofte van meertalige kunstmatige intelligentie, een vakgebied dat de afgelopen jaren ongelooflijke stappen heeft gezet. Deze programma's leren door enorme hoeveelheden tekst te lezen, waarbij ze patronen van grammatica en betekenis absorberen. Een essentieel onderdeel van hun werking is een gedeeld woordenboek van woordfragmenten, of subwoorden, dat hen in staat stelt om overeenkomsten tussen verschillende talen te herkennen. Als twee talen hetzelfde alfabet gebruiken, zoals Engels en Spaans, delen ze van nature veel van deze fragmenten, waardoor het voor de computer gemakkelijk is om kennis van de ene naar de andere taal over te dragen. De wereld is echter gevuld met talen die geheel verschillende schrifttelsystemen gebruiken, zoals het Cyrillische schrift van het Russisch, het Devanagari-schrift van het Hindi of het Arabische schrift van het Urdu. Wanneer deze schriften niet overlappen, stort het gedeelde woordenboek van de computer in, en verdwijnt het vermogen om van de ene taal te leren om een andere te helpen. Deze barrière is lang een struikelblok geweest bij het creëren van werkelijk universele taalmodellen.
Om dit op te lossen, hebben onderzoekers geprobeerd verschillende schrifttelsystemen in een gemeenschappelijke vorm te dwingen. Eén benadering is het converteren van tekst naar het Internationaal Fonetisch Alfabet, een universele set symbolen die menselijke spraakklanken vertegenwoordigt. Een andere is het translittereren van tekst naar het Latijnse alfabet, het schrift dat voor het Engels wordt gebruikt, wat in feidert elke taal herschrijft in één enkel, gedeeld schrift. Hoewel deze methoden veelbelovend bleken in kleinere experimenten, bleef het onduidelijk welke benadering werkelijk superieur was bij het bouwen van grote, krachtige modellen vanaf nul, of dat het simpelweg converteren van tekst nadat het model al getraind was, net zo goed zou werken. Een team van onderzoekers van Ohio State University en de University of Washington zette zich af om deze vragen te beantwoorden door een reeks taalmodellen te bouwen en te testen die ontworpen zijn om acht verschillende talen te verwerken, verspreid over vier verschillende taalfamilies.
De onderzoekers construeerden een gecontroleerd experiment met acht talen: Engels en Spaans, Russisch en Pools, Hindi en Urdu, en Tamil en Malayalam. Deze paren werden gekozen omdat ze een mix van relaties boden; sommige deelden schriften, terwijl andere klanken deelden maar volledig verschillende schrifttelsystemen gebruikten. Ze bouwden drie versies van een taalmodel voor elk van de drie verschillende groottes, variërend van ongeveer 467 miljoen tot meer dan een miljard parameters. Voor elke grootte trainden ze één model op de oorspronkelijke inheemse schriften, een tweede op tekst die is geconverteerd naar het Internationaal Fonetisch Alfabet, en een derde op tekst die is geconverteerd naar het Latijnse alfabet. Cruciaal was dat ze de rest van alles identiek hielden: de hoeveelheid data, de computerarchitectuur en de trainingstijd. Dit stelde hen in staat om het effect van het schrift zelf op het vermogen van het model om te leren en kennis over te dragen te isoleren.
De resultaten waren opvallend en duidelijk. De modellen die getraind waren op tekst die naar het Latijnse alfabet was geconverteerd, oftewel geromaniseerd, presteerden consequent beter dan de anderen in elke test. Of de taak nu het beantwoorden van vragen was, het begrijpen van de betekenis van zinnen, of het samenvatten van nieuwsartikelen, de geromaniseerde modellen vertoonden het sterkste vermogen om kennis van de ene taal naar de andere over te dragen. Dit voordeel werd groter naarmate de modellen groter werden. De modellen die getraind waren op het fonetische alfabet presteerden ook beter dan die getraind op de oorspronkelijke schriften in de meeste gevallen, maar ze bleven over het algemeen achter bij de geromaniseerde modellen. De enige uitzondering was het paar Hindi en Urdu; omdat deze twee talen bijna identiek zijn in hoe ze klinken maar verschillende schriften gebruiken, werkte de fonetische benadering uitzonderlijk goed voor hen en kwam de prestaties van de geromaniseerde modellen evenaren. Echter, wanneer de modellen werden getest op talen die ze nog nooit eerder hadden gezien, bleef de geromaniseerde benadering het meest robuust.
Misschien wel de meest verrassende bevinding betrof een veelgebruikte strategie in het vakgebied: het nemen van een model dat al getraind is op inheemse schriften en het later finetunen op geromaniseerde data. Veel onderzoekers hadden aangenomen dat dit een efficiënte afkorting zou zijn, waardoor ze de voordelen van romanisering konden verkrijgen zonder de kosten van het volledig hertrainen van het model. De studie toonde aan dat het tegendeel waar was. Wanneer de onderzoekers deze afkorting op hun modellen toepasten, daalde de prestatie aanzienlijk op de talen die het model al kende. De interventie hielp alleen wanneer het model werd gevraagd een taal te behandelen waar het geen eerdere blootstelling aan had gehad, en zelfs dan was de verbetering bescheiden vergeleken met het trainen van het model op geromaniseerde tekst vanaf het begin. Dit suggereert dat het voordeel van romanisering niet alleen gaat over het uiteindelijke outputformaat, maar over hoe het model de fundamentele structuur van taal leert tijdens de initiële trainingsfase.
De studie keek ook naar de efficiëntie van deze verschillende schrifttelsystemen. Talen die complexe schriften gebruiken, zoals Tamil en Malayalam, vereisten aanzienlijk meer computer-tokens om dezelfde hoeveelheid tekst te vertegenwoordigen vergeleken met talen die het Latijnse alfabet gebruiken. Dit betekende dat trainen op de oorspronkelijke schriften niet alleen moeilijker was voor het model om over talen heen te leren, maar ook duurder en langzamer. Zowel de fonetische als de geromaniseerde benadering comprimeerden deze tekst, waardoor de kosten en snelheid van deze talen in lijn kwamen met die van de anderen. Deze compressie, gecombineerd met het verbeterde vermogen om kennis over verschillende schriften heen te delen, maakte de geromaniseerde benadering de meest effectieve ontwerpkeuze voor het bouwen van meertalige modellen die diverse schrifttelsystemen overspannen.
Uiteindelijk geeft het onderzoek aan dat voor kunstmatige intelligentie om de kloof tussen de vele talen van de wereld werkelijk te overbruggen, de keuze van hoe tekst wordt gerepresenteerd een fundamentele ontwerpbeslissing is, en geen klein technisch detail. Het bewijs suggereert dat het converteren van diverse schriften naar een gedeelde Latijnse vorm vóór de training van het model de beste resultaten oplevert, waardoor het systeem een verenigde structuur kan internaliseren die werkt over taalgrenzen heen. Hoewel het converteren van tekst naar fonetische symbolen enkele voordelen biedt, met name voor talen die qua klank op elkaar lijken maar er verschillend uitzien, vervangt het de voordelen van een verenigd schrift niet. De bevindingen dagen het idee uit dat het simpelweg aanpassen van een model nadat het is gebouwd voldoende is; in plaats daarvan wijzen ze op de noodzaak van een doelgerichte, voorafgaande strategie in de manier waarop deze digitale geesten leren de wereld te lezen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.