Artificial Intelligence for Sentiment Analysis of Persian Poetry

Dit onderzoek toont aan dat moderne AI-modellen, met name GPT-4o, effectief kunnen worden ingezet voor sentimentanalyse van Perzische poëzie, waarbij bleek dat Rumi's gedichten over het algemeen gelukkiger zijn en een grotere variatie aan gevoelens uitdrukken via hun metrum dan die van Parvin E'tesami.

De kern

De Digitale Dichter: Hoe AI de Gevoelens van Perzische Gedichten Leest

Stel je voor dat je een enorme bibliotheek binnenloopt, gevuld met duizenden gedichten uit het oude Perzië. Twee van de beroemdste dichters die hier werken zijn Rumi (een mystieke dichter uit de 13e eeuw) en Parvin E'tesami (een moderne vrouwelijke dichter uit de 20e eeuw).

Vroeger moest je als mens jarenlang studeren om te begrijpen wat deze gedichten precies voelen: zijn ze verdrietig, gelukkig, of misschien een beetje melancholiek? Maar nu hebben we Artificial Intelligence (AI) nodig, en in dit specifieke geval, een soort van "superleesmachine" genaamd LLM's (Large Language Models).

Hier is wat deze onderzoekers hebben gedaan, vertaald in een eenvoudig verhaal:

1. De Proef: Een AI-keuring

De onderzoekers wilden weten of deze slimme computers de gevoelens in deze oude gedichten echt kunnen begrijpen. Ze gaven de AI twee taken:

• De Taak: Lees duizenden gedichten en geef ze een cijfer van 1 (zeer verdrietig) tot 5 (zeer gelukkig).
• De Vergelijking: Ze lieten ook vier echte mensen (twee experts en twee kenners) dezelfde gedichten beoordelen.

Het was als een proef in een school: de computer tegen de mens.

2. De Resultaten: De "Supercomputer" wint

Het was verrassend wie er het beste scoorde:

• De Oude Machines (BERT): De kleinere, oudere AI-modellen deden het slecht. Het was alsof je een kind vraagt om een complex Shakespeare-stuk te analyseren; ze raakten de diepte niet. Zelfs een model dat speciaal voor het moderne Perzisch was getraind, faalde omdat de oude gedichten te anders waren dan wat het in de klas had geleerd.
• De Nieuwe Reus (GPT-4o): De nieuwste, krachtigste AI (GPT-4o) deed het het beste. Hij kwam het dichtst in de buurt van de meningen van de menselijke experts. Hij was niet perfect (niemand is dat bij gedichten), maar hij begreep de richting van het gevoel veel beter dan de anderen.

De Grootste Ontdekking:
Ongeacht welk model ze gebruikten, kwam er één ding steeds terug: De gedichten van Rumi waren over het algemeen gelukkiger dan die van Parvin E'tesami.

• Rumi's gedichten leken vaak op een feestje met veel energie en spiritualiteit.
• Parvin's gedichten leken meer op een rustige, soms sombere wandeling.

3. De Ritme-Meting: De "Musicaliteit" van Gevoel

Een heel cool deel van het onderzoek was kijken naar metrum (het ritme of de maat van het gedicht). In de Perzische poëzie is dit heel belangrijk.

Stel je voor dat ritmes als kledingstukken zijn:

• Sommige ritmes zijn als een warme, snelle dans (goed voor gelukkige gedichten).
• Andere zijn als een langzame, zware regenbui (goed voor verdrietige gedichten).

De onderzoekers ontdekten dat Rumi een meester was in het dragen van alle soorten kleding. Hij gebruikte zijn ritmes om een enorm breed scala aan gevoelens uit te drukken. Hij kon met hetzelfde ritme soms heel blij en soms heel verdrietig klinken.
Parvin E'tesami daarentegen gebruikte haar ritmes op een meer stabiele manier; haar gedichten bleven dichter bij een gemiddeld, vaak wat somberder gevoel.

4. Waarom is dit belangrijk?

Vroeger dachten we dat computers alleen konden tellen of letters kunnen herkennen, maar niet "voelen". Dit onderzoek toont aan dat:

1. AI nu echt "begrijpt": Moderne AI kan de complexe, oude metaforen van Perzische poëzie lezen zonder dat een mens elke regel hoeft uit te leggen.
2. Geen vooroordelen: Omdat de computer geen menselijke vooroordelen heeft, kan hij objectief zien dat Rumi's werk over het algemeen vrolijker is dan dat van Parvin.
3. De toekomst: We kunnen nu duizenden gedichten in seconden analyseren, iets wat voor een mens jaren zou duren.

Conclusie in één zin

Deze studie laat zien dat de nieuwste AI-modellen (zoals GPT-4o) nu in staat zijn om als een digitale literatuurcriticus te fungeren en te bevestigen wat we al vermoedden: Rumi's werk straalt meer vreugde en variatie uit dan Parvin E'tesami's, en de computer kan dit nu zonder menselijke hulp zien.

Het is alsof we eindelijk een vertaler hebben die niet alleen de woorden, maar ook de ziel van de dichter kan vertalen naar cijfers.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Artificial Intelligence for Sentiment Analysis of Persian Poetry", geschreven in het Nederlands.

Probleemstelling

De recente doorbraken in Kunstmatige Intelligentie (AI), met name Large Language Models (LLM's), bieden nieuwe kansen voor de analyse van literatuur. Echter, het analyseren van poëzie, en specifiek klassieke Perzische poëzie, vormt een aanzienlijke uitdaging voor AI-systemen. Poëzie bevat complexe linguïstische structuren, metaforen, dubbelzinnigheden en een diep cultureel en historisch kader dat vaak ontbreekt in de trainingsdata van standaardmodellen.

Tot nu toe is er weinig onderzoek gedaan naar het toepassen van moderne LLM's (zoals BERT en GPT) voor sentimentanalyse op klassieke Perzische gedichten. Bestaande studies hebben zich vaak beperkt tot het classificeren van stijl of het extraheren van ritme, maar de emotionele lading (sentiment) van gedichten van grote dichters zoals Jalāl al-Dīn Muḥammad Rūmī (Rumi) en Parvin E'tesami is nog niet systematisch onderzocht met deze geavanceerde modellen. Het doel van deze studie is om de capaciteit van LLM's te testen om de sentimenten van deze gedichten te begrijpen en om te onderzoeken of er correlaties bestaan tussen het sentiment en het gebruik van specifieke metrische structuren (vazn).

Methodologie

De onderzoekers hebben een robuust framework ontwikkeld dat de volgende stappen omvat:

1. Dataset:

   • De dataset bestaat uit gedichten uit twee werken: Divan-i Shams van Rumi (klassiek, middeleeuws, rijk aan metaforen en meer dan 50 verschillende meters) en Divan-i Ashaar van Parvin E'tesami (modernere, 20e-eeuwse dichteres die klassieke meters gebruikte).
   • De data is gehaald van Ganjoor, een openbare database voor Perzische poëzie.

2. Sentiment Scoring:

   • Een numeriek schaalmodel van 1 tot 5 werd gebruikt: 1 (zeer triest/negatief) tot 5 (zeer blij/positief), met 3 als neutraal.
   • Gedichten die de token-limiet van de modellen overschreden, werden opgesplitst in chunks; de scores werden vervolgens gemiddeld.

3. Gebruikte Taalmodellen:
   Vier transformer-gebaseerde modellen werden getest in een "zero-shot" setting (zonder fijnafstemming op de specifieke dataset):

   • BERT Multilingual: Een generiek model dat 102 talen ondersteunt.
   • Pars-BERT: Een op Perzisch gespecialiseerd model, fijnafgestemd op moderne Perzische datasets (zoals e-commerce reviews en nieuws).
   • GPT-4o-mini en GPT-4o: Generatieve multimodale modellen van OpenAI, bekend om hun sterke meertalige prestaties.

4. Validatie en Ground Truth:

   • Om de nauwkeurigheid te beoordelen, werden 100 gedichten van Rumi beoordeeld door 4 menselijke annotatoren (2 experts in de geesteswetenschappen en 2 met algemene kennis).
   • Omdat menselijke interpretatie subjectief is, werd de "Ground Truth" bepaald via statistische aggregatie. De Mean-methode (het rekenkundig gemiddelde) bleek de beste correlatie te hebben met de menselijke consensus (gemeten via Quadratic Weighted Kappa).
   • Krippendorff's Alpha (0.6) bevestigde dat de taak subjectief is en dat perfecte overeenstemming tussen mensen niet verwacht kan worden.

5. Statistische Analyse:

   • Naast het vergelijken van scores, werden Entropy (diversiteit van sentimenten binnen een meter), Standaarddeviatie en Polarisatie berekend om de emotionele variatie tussen de dichters te kwantificeren.

Belangrijkste Bijdragen

• Eerste toepassing van moderne LLM's: Dit is een van de eerste studies die BERT en GPT-modellen toepast op sentimentanalyse van klassieke Perzische poëzie.
• Vergelijking van architecturen: Het onderzoek levert inzicht in het verschil tussen encoder-only modellen (BERT) en generatieve modellen (GPT) voor de analyse van archaïsche literatuur.
• Correlatie tussen Meter en Sentiment: Het introduceert een methodologie om te analyseren hoe specifieke metrische structuren worden gebruikt om verschillende emoties over te brengen, wat een brug slaat tussen computertalen en digitale humaniora.
• Validatie van menselijke subjectiviteit: Het artikel benadrukt dat de "waarheid" in poëzie vaak subjectief is en dat AI-modellen moeten worden geëvalueerd in de context van menselijke onzekerheid, niet alleen op basis van exacte nauwkeurigheid.

Resultaten

1. Modelprestaties:

   • GPT-4o presteerde het beste en toonde de hoogste overeenkomst met menselijke beoordelingen (Quadratic Weighted Kappa van ~0.60). Hoewel de exacte nauwkeurigheid (33%) laag leek, is dit vergelijkbaar met de onderlinge overeenstemming tussen menselijke experts (47-61%).
   • Pars-BERT verraste door slechter te presteren dan het generieke BERT Multilingual. De auteurs verklaren dit door een "domain shift": Pars-BERT was getraind op moderne Perzische tekst (sociale media, nieuws) en faalde in het begrijpen van de archaïsche structuur en metaforen van Rumi.
   • Generatieve modellen (GPT) waren over het algemeen beter in het vangen van de richting van het sentiment (positief vs. negatief) dan de kleinere encoder-modellen.

2. Sentimentvergelijking tussen Dichters:

   • Alle modellen bevestigden een consistente trend: Rumi's gedichten hebben over het algemeen een gelukkiger sentiment dan die van Parvin E'tesami.
   • De gemiddelde sentiment-scores voor Parvin E'tesami lagen vaak onder de 3 (neutraal/negatief), terwijl Rumi's werk vaak boven de 3 uitkwam.

3. Analyse van Metrische Structuren (Meters):

   • Diversiteit (Entropy): Rumi toonde een aanzienlijk hogere entropie in zijn gebruik van meters. Dit betekent dat hij dezelfde meter gebruikte voor een breed scala aan emoties (van zeer triest tot zeer blij). Parvin E'tesami's gebruik van meters was minder divers en voorspelbaarder in sentiment.
   • Specifieke meters: Voor Rumi correleerden meters zoals R24 en C12 sterk met gelukkige sentimenten, wat overeenkomt met de theorie dat deze ritmische patronen werden gebruikt voor spirituele bijeenkomsten (Sufisme) om energie en vreugde op te wekken.
   • Polarisatie: Rumi's werk toonde een grotere standaarddeviatie, wat aangeeft dat zijn emotionele expressie verder afweek van het gemiddelde (meer extremen), terwijl Parvin E'tesami's werk een stabielere, minder variabele emotionele toon had.

Betekenis en Conclusie

De studie concludeert dat Large Language Models, en specifiek GPT-4o, effectief kunnen worden ingezet voor semantische studies van complexe, niet-Engelse literaire werken zonder directe menselijke interpretatie. Dit opent de deur voor schaalbare, geautomatiseerde analyses in het domein van de digitale humaniora.

Hoewel de modellen nog niet perfect zijn in het voorspellen van de exacte intensiteit van een sentiment (de "granulaire" nauwkeurigheid), zijn ze zeer goed in het identificeren van de algemene emotionele richting en het vaststellen van patronen in grote datasets. Een cruciale bevinding is dat het fijnafstemmen van modellen op moderne data (zoals bij Pars-BERT) de prestaties op klassieke literatuur kan verslechteren.

De resultaten bevestigen niet alleen de intuïtie van literatuurwetenschappers over het optimistische karakter van Rumi's werk en de meesterschap in het gebruik van meters, maar tonen ook aan dat AI nu in staat is om deze complexe concepten kwantitatief te valideren. Dit markeert een nieuwe fase in de studie van Perzische poëzie, waarbij computergestuurde analyses menselijke interpretatie kunnen aanvullen en verrijken.