Multiclass Sentiment Analysis for Identifying Political Viewpoints

Technische Samenvatting: Multiclass Sentimentanalyse voor het Identificeren van Politieke Standpunten in het Tamil

Probleemdefinitie
De snelle expansie van sociale media, met name platforms zoals X (voorheen Twitter), heeft enorme hoeveelheden real-time politiek discours gegenereerd. Hoewel sentimentanalyse (SA) een goed gevestigde taak is binnen Natural Language Processing (NLP) voor het extraheren van publieke opinie, blijft het toepassen ervan op politieke standpunten uitdagend vanwege de complexiteit en contextafhankelijkheid van de taal. Dit artikel behandelt het specifieke probleem van multiclass sentimentanalyse voor politiek discours in de Tamil-taal, een Dravidische taal met beperkte linguïstische middelen. Het doel is om automatisch te differentiëren tussen zeven verschillende sentimentklassen met betrekking tot politieke kwesties en figuren: Substantiated (Gestoeld), Sarcastic (Sarcastisch), Opinionated (Meninggevend), Positive (Positief), Negative (Negatief), Neutral (Neutraal), en None of the above (Geen van bovenstaande).

Methodologie
De studie maakt gebruik van een dataset die is verstrekt voor de DravidianLangTech@NAACL 2025 shared task, bestaande uit 4.352 trainingsvoorbeelden, 544 ontwikkelvoorbeelden en 544 niet-gelabelde testvoorbeelden. De auteurs hebben een gestandaardiseerde preprocessing-pipeline toegepast om dataconsistentie te waarborgen, wat het verwijderen van interpunctie, emoji's en gebruikersvermeldingen inhield om ruis en auteurspecifieke bias te minimaliseren.

Twee verschillende machine learning-benaderingen zijn ontworpen en geëvalueerd:

1. XGBoost Benadering:

   • Feature Extractie: Tekstgegevens werden omgezet in numerieke representaties met behulp van TF-IDF (Term Frequency-Inverse Document Frequency).
   • Model: Een XGBClassifier werd getraind op de TF-IDF-features.
   • Rationale: XGBoost werd gekozen als een robuust traditioneel machine learning-algoritme dat bekend staat om sterke prestaties in classificatietaken.

2. BERT Benadering:

   • Feature Extractie: Het bert-base-uncased transformer-model werd gebruikt met de bijbehorende BertTokenizer om tokenisatie en numerieke conversie af te handelen.
   • Modelconfiguratie: Het model werd gefinetuned met een leersnelheid van 1e-5, een batchgrootte van 32, en werd getraind voor 5 epochs met een softmax-activatiefunctie op het outputniveau.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen aan het veld van low-resource NLP en politieke discoursanalyse:

• Literatuuronderzoek: Een uitgebreide examinatie van bestaande sentimentanalyse-literatuur in het politieke domein, waarbij de toepassing ervan bij het monitoren van discours en het identificeren van biases wordt belicht.
• Feature Engineering: De onderzoek en selectie van geschikte methoden voor feature extractie (TF-IDF en BERT-tokenisatie) afgestemd op de specifieke beperkingen van de Tamil politieke dataset.
• Empirische Evaluatie: De selectie, finetuning en rigoureuze evaluatie van state-of-the-art modellen (XGBoost en BERT) op een onafhankelijke testset met behulp van standaard classificatiemetrieken, wat een baseline biedt voor toekomstig onderzoek naar multiclass politieke sentimentanalyse voor Dravidische talen.

Experimentele Resultaten
De modellen werden geëvalueerd op de testset met behulp van Precision, Recall, F1-score en Accuracy. De resultaten geven aan dat het classificeren van complex politiek discours in het Tamil een moeilijke taak is, wat relatief lage macro F1-scores oplevert voor beide benaderingen:

• XGBoost Model: Behaalde een Macro F1-score van 0,2835 en een nauwkeurigheid van 0,3309.
• BERT Model: Behaalde een Macro F1-score van 0,2806 en een nauwkeurigheid van 0,3327.

Prestatieanalyse:

• Klassespecifieke Prestaties: Beide modellen presteerden het best op de "Neutral" en "Positive" klassen. Zo behaalde het XGBoost-model een F1-score van 0,7347 voor "Neutral" en 0,4622 voor "Positive."
• Uitdagingen: De modellen hadden aanzienlijke moeite met de "Sarcastic," "Opinionated," en "None of the above" klassen, die zeer lage F1-scores opleverden (bijv. de F1 voor "None of the above" was 0,0606 voor XGBoost).
• Misclassificatiepatronen: Analyse van de confusion matrix toonde aan dat "Negative," "Substantiated," en "Sarcastic" sentimenten vaak werden misgeclassificeerd als "Positive." Omgekeerd werd de "Opinionated" klasse overmatig voorspeld door het XGBoost-model (305 voorspellingen versus 46 werkelijke instanties), waarschijnlijk door klasse-distributiebiases in de trainingsdata.
• Vergelijking: Verrassend genoeg presteerde het traditionele XGBoost-model iets beter dan de BERT-gebaseerde transformer in deze specifieke use case, wat suggereert dat de complexiteit van de transformer voor deze specifieke datasetgrootte en taal geen prestatievoordeel opleverde ten opzichte van de gradient-boosted tree benadering.

Betekenis en Claims
De auteurs kaderen de betekenis van dit werk bescheiden als het vaststellen van een baseline voor toekomstig onderzoek, in plaats van te claimen een opgelest probleem te hebben. De lage F1-scores demonstreren de inherente moeilijkheid van het classificeren van genuanceerd politiek sentiment in een low-resource taal zoals Tamil. Het artikel stelt dat deze resultaten een fundamenteel referentiepunt bieden voor de DravidianLangTech-gemeenschap en toekomstige onderzoekers die de politieke opinieanalyse willen verbeteren.

De auteurs erkennen beperkingen en merken op dat de kleine datasetgrootte de generalisatie naar onbekende data kan hinderen. Zij stellen voor dat toekomstig werk zich moet richten op het uitbreiden van de datasetgrootte en -diversiteit, het verkennen van aanvullende talen, en het testen van andere machine learning en deep learning algoritmen om robuustere, generaliseerbare modellen voor politieke discoursanalyse te ontwikkelen.