Technische Samenvatting: Automatische Classificatie van Arabische Literatuur in Historische Tijdperken

Probleemstelling

De Arabische taal heeft gedurende haar ongeveer 1.500-jarige geschiedenis significante semantische en lexicale transformaties ondergaan, gekenmerkt door de opkomst van nieuwe vocabulaire, het verouderen van oudere termen en verschuivingen in het gebruik. Hoewel historici en taalkundigen de Arabische literatuur traditioneel hebben onderverdeeld in afzonderlijke tijdperken (bijv. Pre-Islamitisch, Islamitisch, Abbasidisch, Ottomaans, Modern), is er een opvallend gebrek aan onderzoek naar de automatische classificatie van Arabische teksten op basis van tijdsperiode, met name buiten het domein van poëzie. Bestaande taken voor tekstclassificatie in het Arabisch richten zich vaak op sentiment of onderwerp, waardoor temporele periodisering grotendeels onontgonnen blijft. Bovendien zijn de grenzen tussen literaire tijdperken vaak onderwerp van debat, overlappend en niet scherp gedefieerd, wat de taak om een tekst toe te wijzen aan een specifiek historisch tijdperk tot een complexe uitdaging maakt voor machine learning-modellen.

Methodologie

De studie maakt gebruik van neurale netwerken en deep learning-technieken om Arabische teksten automatisch te classificeren in historische tijdperken. Het onderzoek maakt gebruik van twee publiekelijk beschikbare corpora:

1. OpenITI: Een grootschalig corpus van Arabische literaire proza (ongeveer 1,5 miljard woorden) dat religieuze en literaire teksten van diverse auteurs beslaat.
2. APCD (Arabic Poem Comprehensive Dataset): Een dataset die ongeveer 1,8 miljoen verzen bevat van 3.701 dichters verspreid over 12 verschillende tijdperken.

Experimenteel Ontwerp

De experimenten werden uitgevoerd onder twee verschillende protocollen om de impact van de stijl van de auteur te beoordelen:

• Author-Disjoint (Auteur-gescheiden): Auteurs in de evaluatieset zijn afwezig in de trainingsset, waardoor het model wordt gedwongen om periodieke stilometrische signalen te leren in plaats van auteursspecifieke stijlen.
• Merged-Author (Samengevoegde auteur): Auteurs komen zowel in de trainings- als in de evaluatiesets voor, waardoor het model de mogelijkheid krijgt om de auteurstijl als een kenmerk te gebruiken.

Classificatie-opstellingen

De studie evalueerde verschillende granulariteiten van classificatie:

• Binair: Klassiek versus Modern.
• Predefiniërende Historische Tijdperken: Gebaseerd op schema's van Daif (1982), Al-Fakhoury (1951) en Ghoniem (2017), variërend van 3 tot 5 tijdperken.
• Custom Periodisaties: Vaste tijdsintervallen van 300, 200 en 100 jaar (resulterend in 5, 8 en 15 klassen).

Modellen en Preprocessing

• Modellen: De primaire architecturen die werden getest waren Fully Connected Feed-Forward Artificial Neural Networks (ANNs) en Recurrent Neural Networks (RNNs), specifiek gebruikmakend van LSTM, GRU en Bidirectional GRU (BiGRU). Convolutional Neural Networks (CNNs) en Logistische Regressie dienden als baselines.
• Tokenisatie: Zowel woordniveau- als karakterniveau-tokenisatie werd verkend voor RNNs.
• Preprocessing: De stappen omvatten datacleaning (verwijderen van HTML, niet-Arabische cijfers), normalisatie (verwijderen van diakritische tekens en Kashida) en het verwijderen van stopwoorden. Lemmatisering (met behulp van Farasa) werd selectief toegepast, met name voor de poëzie-datasets, om de vocabulairegrootte te verkleinen en overfitting te beperken.
• Evaluatie: Prestaties werden gemeten aan de hand van Accuracy, Precision, Recall en de Macro-gemiddelde F1-score. Statistische significantie werd beoordeeld met de difference-between-two-proportions test.

Belangrijkste Bijdragen

1. Systematische Verkenning: Dit is de eerste studie die systematisch de automatische classificatie van Arabische literaire teksten (zowel proza als poëzie) in afzonderlijke historische tijdperken onderzoekt.
2. Dual Dataset Analyse: Het werk evalueert modellen op twee diverse, publiekelijk beschikbare corpora (OpenITI voor proza, APCD voor poëzie) die het spectrum bestrijken van het Pre-Islamitische tot het Moderne tijdperk.
3. Impact van Auteurstijl: De studie isoleert expliciet het effect van de stijl van de auteur door de experimentele protocollen van 'author-disjoint' en 'merged-author' te vergelijken.
4. Granulariteitsvergelijking: Het onderzoekt de prestaties van classificatie over variërende niveaus van temporele resolutie, van binaire classificatie tot fijnmazige 15-tijdperken-opstellingen, en vergelijkt predefiniërende historische tijdperken met aangepaste tijdsintervallen.
5. Model Evaluatie: Het biedt een vergelijkende analyse van ANNs en RNNs (woord- en karakterniveau) voor deze specifieke temporele taak in het Arabisch.

Resultaten

De studie rapporteert de volgende belangrijkste bevindingen:

• Haalbaarheid: Automatische era-classificatie is haalbaar maar uitdagend. Modellen presteerden consequent beter dan willekeurige gokken, hoewel de prestaties aanzienlijk varieerden op basis van het aantal klassen en de dataset.
• Modelprestaties:
  • ANNs presteerden over het algemeen beter dan RNNs in de meeste multi-class opstellingen op beide datasets.
  • RNNs (specifiek op woordniveau) presteerden competitief in binaire classificatietaken, waarbij ze resultaten behaalden die vergelijkbaar waren met of de eerdere CNN-gebaseerde baselines (Orabi et al., 2020) op poëziegegevens evenaarden.
• Dataset-specifieke details:
  • OpenITI (Proza): Binaire classificatie behaalde een F1-score van 0,67 (author-disjoint) en 0,83 (merged). De prestaties daalden aanzienlijk naarmate het aantal klassen toenam (bijv. 15-klasse F1 ≈ 0,20). Het Abbasidische tijdperk was het gemakkelijkst te identificeren, terwijl de Islamitische en Moderne tijdperken het moeilijkst waren.
  • APCD (Poëzie): Binaire classificatie behaalde een F1-score van 0,78 (author-disjoint) en 0,79 (merged). Lemmatisering zorgde voor een merkbare boost voor de poëzieclassificatie. De 12-era opstelling leverde lagere prestaties op (F1 ≈ 0,18–0,25), wat duidt op de moeilijkheid van fijnmazige onderscheiding.
• Invloed van de Auteur: Het samenvoegen van auteurs over de splitsingen verbeterde over het algemeen de prestaties voor proza (OpenITI), wat suggereert dat de stijl van de auteur een sterke voorspeller is van het tijdperk. Voor poëzie (APCD) had het samenvoegen van auteurs echter weinig effect, wat impliceert dat de poëtische stijl minder afhankelijk is van de specifieke identiteit van de auteur in deze context, of dat de modellen meer vertrouwen op periode-specifieke kenmerken.
• Preprocessing: Het verwijderen van stopwoorden verbeterde de prestaties niet; het behouden ervan leverde betere resultaten op. Lemmatisering verbeterde de resultaten voor de poëzie-dataset, maar was minder cruciaal voor proza.
• Verwarringspatronen: Misclassificaties kwamen voornamelijk voor tussen opeenvolgende tijdperken (bijv. Islamitisch versus Abbasidisch, Ottomaans versus Modern), wat de hypothese ondersteunt dat literaire evolutie een continuüm is met poreuze grenzen in plaats van een opeenvolging van discrete stappen. Het samenvoegen van aangrenzende tijdperken verhoogde de nauwkeurigheid aanzienlijk (bijv. de nauwkeurigheid van OpenITI steeg van 43,6% naar 76,6% wanneer de tijdperken werden samengevoegd).

Betekenis en Claims

Het artikel claimt bescheiden dat hoewel de automatische classificatie van Arabische literatuur in historische tijdperken moeilijk is vanwege het geleidelijke karakter van linguïstische verandering en overlappende grenzen, het een levensvatbare taak is voor machine learning.

• Literaire Continuüm: De resultaten suggereren dat de Arabische literaire geschiedenis beter kan worden gemodelleerd als een continuüm. De hoge verwarringspercentages tussen aangrenzende tijdperken wijzen erop dat scherpe temporele grenzen kunstmatige constructen zijn die niet altijd overeenkomen met de linguïstische realiteit.
• Nut: Automatische classificatie kan helpen bij het organiseren van literaire data, het traceren van taalverandering en het authenticeren van werken die aan specifieke tijdperken worden toegeschreven. Het vergemakkelijkt grootschalige analyse van trends, thema's en stilistische elementen door de tijd heen.
• Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk de verbetering van lemmatisering voor Klassiek Arabisch zou kunnen omvatten, het evalueren van getrainde transformers (bijv. AraBERT, MARBERT) terwijl rekening wordt gehouden met temporele bias, en het integreren van externe kennis zoals Named Entity Recognition (NER) om teksten te koppelen aan biografische bronnen. Ze stellen ook voor om de impact van text-reuse detectie (het verwijderen van boilerplate passages) op de classificatieprestaties te onderzoeken.