Evaluating Modern Large Language Models on Low-Resource and Morphologically Rich Languages:A Cross-Lingual Benchmark Across Cantonese, Japanese, and Turkish
Deze paper presenteert een uitgebreide evaluatie van zeven moderne grote taalmodellen op een nieuw kruislinguaal benchmark met de taakgerichte, laag-resource en morfologisch rijke talen Kantonees, Japans en Turks, waarbij wordt geconcludeerd dat hoewel de grootste gesloten modellen over het algemeen het beste presteren, er aanzienlijke uitdagingen blijven bestaan op het gebied van cultureel begrip en morfologische generalisatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat grote taalmodellen (zoals de slimme AI's die we vandaag de dag gebruiken) als supersterke multinationale chefs zijn. Ze hebben in de keuken van het Engels (een taal met een enorme voorraad aan ingrediënten en recepten) zo'n ervaring opgedaan dat ze bijna perfect koken. Maar wat gebeurt er als je ze vraagt om te koken met ingrediënten uit een klein dorpje in Turkije, Japan of het Chinese dialect van Kanton?
Dit onderzoek is precies zo'n proef: het laat zien hoe goed deze "chefs" presteren als ze de keuken verlaten en de wereld in gaan, specifiek voor drie talen die vaak over het hoofd worden gezien: Turks, Japans en Kantonees.
Hier is een simpele uitleg van wat ze hebben gedaan en wat ze ontdekten, met wat creatieve vergelijkingen:
1. De Uitdaging: Drie heel verschillende keukens
De onderzoekers hebben drie specifieke "keukens" getest, elk met zijn eigen unieke problemen:
- Turks (De Legoblokken): Turks is een taal waar je woorden bouwt als Legoblokken. Je begint met een basiswoord en plakt er tientallen stukjes (uitgangen) aan vast om de betekenis te veranderen. Voor een AI is dit alsof je een auto moet bouwen terwijl de onderdelen steeds van vorm veranderen. Als je één blokje verkeerd plakt, is de hele auto kapot.
- Japans (De Hoge Muren): Japans heeft een ingewikkeld schrift (drie verschillende alfabetten door elkaar) en een heel belangrijk systeem van beleefdheid. Je moet weten of je tegen je baas, je oma of je beste vriend praat. Het is alsof je een gesprek voert waarbij je continu je kleding moet aanpassen aan de situatie. Een foutje hierin is als het dragen van een zwempak op een bruiloft: technisch gezien ben je gekleed, maar het is heel ongepast.
- Kantonees (Het Vergeten Recept): Kantonees is een dialect van het Chinees dat vooral mondeling wordt gesproken. Er zijn heel weinig geschreven recepten (data) in de computerbibliotheken van deze AI's. Het is alsof je een chef vraagt om een gerecht te maken waarvan hij alleen maar gehoord heeft, maar nooit het recept heeft gezien.
2. De Deelnemers: De Superchefs vs. De Leerlingen
De onderzoekers hebben zeven verschillende AI-modellen getest. Je kunt ze zien als twee groepen:
- De Superchefs (De dure, gesloten modellen): Dit zijn de zware jongens zoals GPT-4o en Claude 3.5. Ze hebben een enorme voorraad aan ingrediënten en hebben waarschijnlijk in elke keuken ter wereld stage gelopen.
- De Leerlingen (De open-source modellen): Dit zijn modellen zoals LLaMA en Mistral. Ze zijn gratis en open, maar ze zijn kleiner en hebben minder ervaring. De grootste (LLaMA 3.1) is een slimme leerling, maar de kleinere versies (7B of 13B) zijn meer als stagiairs die nog maar net beginnen.
3. De Proef: Vier Taken
De chefs kregen vier soorten taken:
- Vragen beantwoorden: "Wie was de eerste vrouwelijke piloot van Turkije?"
- Samenvatten: "Lees dit lange nieuwsartikel en vertel me in één zin wat er gebeurt."
- Vertalen: "Vertaal deze Engelse zin naar Kantonees."
- Cultuurgesprek: "Help me een beleefde boodschap opstellen voor mijn oma in Japan." (Hierbij moet je weten hoe je beleefd bent).
4. De Resultaten: Wie kookt het lekkerst?
De Superchefs winnen, maar niet perfect:
De duurste modellen (GPT-4o) waren over het algemeen de besten. Ze konden zelfs in Kantonees redelijk goed koken, wat een grote verrassing was. Ze begrepen de "Legoblokken" van het Turks en de beleefdheidsregels van het Japans het beste.- Maar: Zelfs de beste chefs maakten soms kleine foutjes. In het Turks misten ze soms een uitgang, en in Kantonees gebruikten ze soms woorden die te formeel waren (alsof ze tegen een koning spraken terwijl ze tegen een vriend spraken).
De Leerlingen hebben het zwaar:
De kleinere modellen (zoals Mistral 7B) hadden het erg moeilijk. In Kantonees was het resultaat vaak onleesbaar of vol fouten. Het was alsof ze probeerden een gerecht te maken zonder de juiste ingrediënten. Ze maakten vaak fouten in de grammatica of gebruikten de verkeerde beleefdheidsvormen.De "Kantonees-Paradox":
Het meest opvallende was dat de beste AI's (GPT-4o) veel beter waren in Kantonees dan de vorige generatie (GPT-4). Dit suggereert dat de nieuwste modellen eindelijk beginnen te leren over deze "vergeten" talen, terwijl de kleinere modellen daar nog steeds vastlopen.
5. Waarom computerscores niet genoeg zijn
De onderzoekers gebruikten ook menselijke proefpersonen om de resultaten te beoordelen. Dit was cruciaal.
Stel je voor dat een AI een zin vertaalt die technisch gezien correct is (de woorden kloppen), maar de toon is bot en onbeleefd. Een computer zou zeggen: "Goed gedaan!" (want de woorden kloppen), maar een mens zegt: "Dit is beledigend!"
Voor de "cultuurgesprekken" was menselijke beoordeling dan ook de enige manier om te zien of de AI echt begreep wat er bedoeld werd.
Conclusie: De boodschap
Dit onderzoek laat zien dat we nog een lange weg te gaan hebben. Hoewel de "Superchefs" (GPT-4o) indrukwekkend zijn, zijn ze nog niet perfect in het begrijpen van de diepe culturele nuances en de complexe grammatica van talen als Turks en Kantonees.
De kleinere, gratis modellen lopen nog ver achter. Dit betekent dat als we willen dat AI voor iedereen werkt en niet alleen voor mensen die Engels spreken of in rijke landen wonen, we meer moeten investeren in het leren van deze "moeilijke" talen en culturen.
Kortom: De AI's worden steeds slimmer, maar ze moeten nog veel leren over de wereld buiten hun eigen comfortzone. En om dat te doen, hebben ze niet alleen meer rekenkracht nodig, maar ook meer aandacht voor de kleine, culturele details die een mens zo makkelijk begrijpt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.