Tarab: A Multi-Dialect Corpus of Arabic Lyrics and Poetry
Deze paper introduceert Tarab, een open, grootschalig corpus van 2,56 miljoen verzen met meer dan 13,5 miljoen tokens dat Arabische liedteksten en poëzie uit veertien eeuwen en diverse dialecten verenigt in een gestructureerd kader voor linguïstische en culturele analyse.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat de Arabische taal een enorme, levende stad is. In deze stad wonen niet alleen de formele, strakke burgers (het "Standaard Arabisch" dat je in kranten en nieuws ziet), maar ook een heleboel mensen met verschillende accenten, dialecten en verhalen uit elke hoek van de wereld: van de woestijn van de Golf tot de drukke straten van Caïro, en van de oude bibliotheken van de middeleeuwen tot de moderne popmuziek van vandaag.
Vroeger hadden taalkundigen en computers maar een heel klein deel van deze stad gezien. Ze hadden vooral de kranten en Wikipedia gelezen, maar de echte, creatieve ziel van de taal – de liedjes die mensen zingen en de gedichten die ze fluisteren – was bijna onzichtbaar gebleven.
Wat is "Tarab"?
De auteurs van dit paper hebben een gigantische bibliotheek gebouwd, genaamd Tarab. De naam betekent in het Arabisch zoiets als "muzikale extase" of "diepe emotionele rilling". Het is alsof ze een magische spiegel hebben gemaakt die niet alleen de woorden weerspiegelt, maar ook het gevoel erachter.
Hier is wat ze hebben gedaan, vertaald in alledaags taalgebruik:
1. Een gigantische verzameling van alles
Stel je een bibliotheek voor die zo groot is dat je er 13,5 miljoen woorden in kunt kwijt. Dat is ongeveer 2,5 miljoen regels tekst.
- De mix: Ze hebben niet alleen gedichten uit de oude tijden (zoals uit de tijd van de kaliefen) verzameld, maar ook de nieuwste pop- en rapnummers.
- De spreiding: Het is alsof ze een wereldreis hebben gemaakt. Ze hebben teksten uit 28 verschillende landen en uit perioden die meer dan 1400 jaar beslaan. Van de pre-islamitische woestijnpoëzie tot de TikTok-hits van vandaag.
2. Waarom is dit zo speciaal?
Tot nu toe waren computers in het Arabisch vooral getraind op "droge" teksten (nieuws, officiële documenten). Maar liedjes en gedichten zijn anders:
- Ze hebben rijm en ritme.
- Ze gebruiken dialecten (de manier waarop mensen echt praten, niet zoals in een boek).
- Ze zijn emotioneel en vol herhalingen.
Het is alsof je eerder alleen de handleiding van een auto had gelezen, maar nu ineens de geluiden van de motor, de muziek uit de radio en de gesprekken van de passagiers kunt horen. Dit helpt computers om de taal écht te begrijpen, niet alleen de grammatica.
3. Hoe hebben ze het gebouwd?
De onderzoekers hebben drie bronnen samengevoegd tot één grote, geordende verzameling:
- Een oude verzameling gedichten die al online beschikbaar was.
- Een eerdere verzameling van liedteksten (de "Habibi"-collectie).
- Nieuwe teksten die ze voorzichtig van het internet hebben gehaald (alleen van sites waar dat mag).
Ze hebben alles in één standaardformaat gegoten: elke regel (vers) is een kaartje in hun archief. Op elk kaartje staat precies geschreven:
- Wat is het? (Een lied of een gedicht?)
- Wie heeft het geschreven?
- Welk dialect wordt gebruikt? (Bijvoorbeeld: Egyptisch, Libanees, of Klassiek Arabisch?)
- Uit welke tijd komt het?
4. Wat leren we hieruit?
Door deze enorme verzameling te analyseren, ontdekten ze interessante dingen:
- De taal is een laagje-cake: Er is een laagje "Klassiek Arabisch" (heel formeel, vaak in gedichten), een dik laagje "Standaard Arabisch" (MSA), en daar omheen een zee van regionale dialecten.
- Liedjes zijn anders dan gedichten: In liedjes zie je veel meer dialect en soms zelfs woorden in het Frans of Engels (vooral in het Midden-Oosten en Noord-Afrika). Gedichten blijven vaak dichter bij de klassieke regels.
- Woorden hebben een thuis: Als je de woorden op een kaart zet, zie je dat woorden uit het Maghreb (Marokko, Algerije) dicht bij elkaar liggen, en woorden uit de Golf (Saoedi-Arabië, Koeweit) weer ergens anders. Computers kunnen nu leren om dit onderscheid te maken.
5. Waarom is dit goed voor iedereen?
Deze database is gratis beschikbaar voor iedereen die er onderzoek mee wil doen.
- Voor taalkundigen: Het helpt om te zien hoe de taal verandert door de tijd heen.
- Voor tech-bedrijven: Het helpt om vertaalapps of spraakherkenning te verbeteren, zodat ze niet alleen "kranten-Arabisch" begrijpen, maar ook wat een jongere in Beiroet of een ouder in Caïro zegt.
- Voor cultuur: Het bewaart het erfgoed van dichters en zangers voor de toekomst.
Kortom:
De "Tarab"-corpus is als een enorme, digitale tijdsmachine. Het pakt de ziel van de Arabische taal – de muziek, de gedichten, de dialecten en de geschiedenis – en legt het op een bordje voor de hele wereld om te bestuderen. Het is een stap voorbij het droge nieuws, rechtstreeks naar het hart van de Arabische cultuur.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.