Alexandria: A Multi-Domain Dialectal Arabic Machine Translation Dataset for Culturally Inclusive and Linguistically Diverse LLMs
Dit paper introduceert Alexandria, een groot, door de gemeenschap ontwikkeld dataset met vertalingen tussen Engels en 13 verschillende Arabische dialecten over 11 domeinen, die specifiek is ontworpen om machinevertalingssystemen en taalmodellen beter te laten presteren in de context van de Arabische diglossie en culturele diversiteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wat is dit paper eigenlijk?
Stel je voor dat de Arabische wereld een gigantisch, levendig huis is. In dit huis wordt er op de gang en in de formele zalen gesproken in Modern Standaard Arabisch (MSA). Dit is de "officiële" taal, zoals je die in nieuwsberichten, boeken en op school leert. Het is net als het formele Nederlands dat je gebruikt in een sollicitatiegesprek of bij de notaris.
Maar als de mensen thuis in de keuken zitten, in de tuin werken of op de markt winkelen, praten ze niet zo. Ze spreken hun eigen dialecten. Een man in Caïro spreekt anders dan een vrouw in Marrakesh, en die spreken weer anders dan iemand in een dorpje in Jemen. Dit noemen we diglossie: twee talen in één land, maar dan in verschillende situaties.
Het probleem is dat de slimme computers (de AI's en vertaalprogramma's) tot nu toe alleen hebben geoefend met de "formele gangtaal". Als je ze vraagt om een gesprek in het dialect van een visser in Oman te vertalen, raken ze in de war. Het is alsof je een vertaler vraagt die alleen Shakespeare kent, om een gesprek tussen twee vrienden in een kroeg in Rotterdam te vertalen. De vertaler begrijpt de woorden, maar mist de sfeer, de grappen en de lokale uitdrukkingen.
Alexandria is een nieuw, enorm project om dit probleem op te lossen. Het is een gigantische verzameling van echte gesprekken, vertaald van Engels naar de lokale dialecten van 13 Arabische landen.
Hoe hebben ze dit gedaan? (De "Burgerkracht")
In plaats van dat een paar computerwetenschappers in een kantoortje zomaar zinnen bedachten, hebben ze 55 echte mensen uit 13 verschillende Arabische landen ingehuurd.
- De Analogie: Stel je voor dat je een kookboek wilt maken voor de beste gerechten van de wereld. In plaats van dat één chef-kok probeert alles na te maken, heb je 55 lokale kokken uit verschillende dorpen nodig. Iedereen kent de smaak van zijn eigen regio.
- Het Proces:
- Ze bedachten 11 belangrijke onderwerpen (zoals gezondheid, landbouw, winkelen en werk).
- Ze lieten een computer (Gemini) Engelse gesprekken genereren over deze onderwerpen.
- Vervolgens vertaalden de lokale mensen deze gesprekken naar hun eigen dialect. Ze moesten niet "netjes" vertalen, maar juist klinken alsof ze in hun eigen straatje zaten.
- Een tweede lokale persoon keek het na om te zorgen dat het echt authentiek klonk.
Wat maakt dit project zo speciaal?
Het is niet alleen "Marokkaans" of "Syrisch":
Veel oude datasets zeggen alleen: "Dit is Marokkaans". Maar in Marokko is er een groot verschil tussen het dialect van Casablanca en dat van een klein dorpje in de bergen. Alexandria gaat nog dieper: het weet precies uit welke stad de spreker komt. Het is alsof je niet alleen weet dat iemand uit Nederland komt, maar precies weet of hij uit Groningen of uit Limburg komt.Het let op mannen en vrouwen:
In veel Arabische dialecten klinkt een zin anders als een man tegen een vrouw spreekt dan als een vrouw tegen een man spreekt. Alexandria heeft dit zorgvuldig gemarkeerd. Het is alsof je leert dat je in het Nederlands tegen een koning anders spreekt dan tegen je beste vriend, maar dan veel gedetailleerder.Het is een test voor de toekomst:
Ze hebben dit dataset gebruikt om te testen hoe goed de huidige AI's (zoals die van Google, Microsoft en Meta) zijn in het vertalen van deze dialecten.- Het resultaat: De AI's zijn best goed in het vertalen van de formele taal, maar ze struikelen vaak over de echte, ruwe dialecten. Ze maken vaak de fout dat ze het dialect vertalen als formele taal (alsof ze een boer in het Nederlands laten spreken als een notaris).
Waarom is dit belangrijk voor ons allemaal?
Stel je voor dat je een app wilt gebruiken om medische hulp te krijgen in een afgelegen dorp in Jemen. Als de AI alleen Modern Standaard Arabisch begrijpt, zal de boer niet kunnen uitleggen wat er aan de hand is, en de AI zal de dokter niet begrijpen.
Met Alexandria kunnen we AI's trainen om écht te begrijpen wat mensen zeggen, ongeacht waar ze vandaan komen of hoe ze kleden. Het maakt technologie inclusiever. Het zorgt ervoor dat de digitale wereld niet alleen voor de "officiële" sprekers is, maar voor de miljoenen mensen die hun dagelijkse leven in hun eigen, prachtige dialecten leiden.
Kort samengevat:
Alexandria is een gigantisch, door mensen gemaakt woordenboek en gespreksgids voor de echte, levende Arabische wereld. Het helpt de computers om te stoppen met praten als robots en te gaan luisteren zoals echte buren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.