TRNEWS-2025: A Large-Scale, Manually Annotated Turkish News Dataset for Text Classification and NLP Research

Technische Samenvatting: TRNEWS-2025

Probleemstelling
Het veld van de Turkse Natural Language Processing (NLP) kampt met een tekort aan hoogwaardige, actuele en domein-diverse gelabelde datasets die vereist zijn voor effectieve tekstclassificatie en machine learning-onderzoek. Hoewel er bestaande bronnen zijn zoals TTC-4900 en TTC-3600, lijden deze vaak aan een beperkte categorische diversiteit, verouderde inhoud, een smalle onderwerpdekking of beperkte toegang. Bovendien richten veel huidige datasets zich op korte teksten (bijv. reacties op sociale media) of specifieke taken zoals sentimentanalyse, waardoor ze de lange contextuele structuren en de linguïstische diversiteit die inherent zijn aan nieuwsartikelen niet kunnen vatten. Er is een specifieke behoefte aan een uitgebreide, multi-class nieuwsdataset die het huidige taalgebruik en sociale kwesties tot 2025 weerspiegelt om reproduceerbaar onderzoek in de Turkse NLP te ondersteunen.

Methodologie
De studie introduceert TRNEWS-2025, een grootschalige, handmatig geannoteerde Turkse nieuwsdataset. De methodologie omvat dataverzameling, annotatie, preprocessing en experimentele evaluatie:

• Dataverzameling: Nieuwsteksten werden verzameld via webscraping van open-access Turkse online kranten en mediaportalen tussen 2023 en 2025. De verzameling volgde strikte inclusiecriteria: teksten moeten in het Turks zijn, volledige inhoud bevatten, overeenkomen met een specifieke categorie en niet-duplicaat zijn. Exclusiecriteria verwijderden advertenties, opiniestukken, gebruikersreacties, incomplete teksten en automatisch gegenereerde inhoud.
• Labeleringsschema: De dataset is gestructureerd rond negen afzonderlijke categorieën: Magazine, Politiek, Sport, Kunst–Cultuur, Gezondheid, Financiën–Economie, Wetenschap–Technologie, Toerisme en Milieu.
• Annotatieproces: Er werd een multi-labeler benadering gehanteerd waarbij elke tekst door ten minste twee annotatoren werd beoordeeld. Meningsverschillen werden opgelost onder academisch toezicht. Er werd een annotatierichtlijn opgesteld om grenscasussen (bijv. de intersectie tussen economie en politiek) af te handelen. De betrouwbaarheid tussen annotatoren werd gemeten met Cohen's Kappa, wat een coëfficiënt opleverde van meer dan 0,60, wat duidt op een goede overeenstemming.
• Preprocessing: Basale reinigingsstappen omvatten UTF-8 codering, het verwijderen van HTML-tags, punctuatie-normalisatie, het omzetten naar kleine letters en het verwijderen van duplicaten. Opvallend genoeg werd geavanceerde linguïstische verwerking (bijv. lemmatisering) opzettelijk weggelaten om onderzoekers de flexibiliteit te geven hun eigen preprocessing-strategieën toe te passen.
• Experimentele Evaluatie: Om de bruikbaarheid en onderscheidend vermogen van de dataset te beoordelen, werden twee verschillende modelparadigma's getraind en geëvalueerd:
  1. BERT: Een modern transformer-gebaseerd model dat gebruikmaakt van self-attention mechanismen.
  2. BiLSTM+GloVe: Een klassieke deep learning architectuur die Bidirectional Long Short-Term Memory netwerken combineert met globale woordco-occurrentie embeddings.
     De modellen werden geëvalueerd met standaardmetrieken, waaronder nauwkeurigheid (accuracy), precisie (precision), recall en F1-score.

Belangrijkste Resultaten

• Dataset Statistieken: De dataset bevat in totaal ongeveer 555.000 nieuwsartikelen. De distributie is multi-class, waarbij "Magazine" de grootste categorie is (315.917 samples) en "Milieu" de kleinste (15.610 samples). De tekstlengtes variëren aanzienlijk, wat zowel traditionele als deep learning-benaderingen ondersteunt.
• Modelprestaties:
  • BERT: Behaalde een validatienauwkeurigheid van ongeveer 86%. Het model vertoonde sterke prestaties in klassen zoals Magazine, Sport, Gezondheid en Politiek. De studie merkte echter op dat de trainingsnauwkeurigheidscurves niet de typische epoch-gebaseerde convergentiepatronen volgden, waardoor de auteurs vertrouwden op de validatieprestaties voor de evaluatie.
  • BiLSTM+Gloも: Toonde een stabieler leerproces met consistente dalingen in zowel de trainings- als de validatieverliezen, wat wijst op een goede generalisatie zonder overfitting. Het behaalde een testnauwkeurigheid van 91,6% met aanzienlijk minder computationele tijd vergeleken met BERT.
• Verwarringsanalyse: Beide modellen vertoonden verwarring tussen semantisch overlappende categorieën, specifal tussen Kunst–Cultuur en Magazine, en tussen Milieu en Politiek/Financiën-Economie. De auteurs interpreteren dit niet als een fout in de dataset, maar als een reflectie van de natuurlijke semantische overlap die in de echte nieuwslandschap wordt gevonden.

Betekenis en Claims
Het artikel positioneert TRNEWS-2025 als een significante bijdrage aan de Turkse NLP door een betrouwbare, actuele en uitgebreide bron te bieden voor multi-class nieuwsclassificatie. De primaire betekenis ligt in:

1. Actualiteit en Diversiteit: In tegen tegenover oudere datasets legt het taalgebruik en sociale kwesties vast tot 2025 over negen diverse domeinen.
2. Reproduceerbaarheid: De dataset is open-access en handmatig geannoteerd met een hoge overeenstemming tussen annotatoren, wat reproduceerbaar onderzoek vergemakkelijkt.
3. Veelzijdigheid: De studie demonstreert dat de dataset compatibel is met zowel moderne transformer-gebaseerde modellen (BERT) als klassieke deep learning architecturen (BiLSTM), waardoor het een geschikte benchmark is voor de evaluatie van vergelijkende modelprestaties.
4. Representatie van de Werkelijkheid: De geobserveerde classificatieverwarringen tussen gerelateerde categorieën suggereren dat de dataset de complexiteit van de werkelijke nieuws-taal weerspiegelt in plaats van een kunstmatig rigide structuur.

De auteurs concluderen dat TRNEWS-2025 dient als een robuuste infrastructuur voor diverse onderzoeksgebieden, waaronder Turkse tekstclassificatie, onderwerpidentificatie, explainable AI (XAI) studies en evaluaties van taalmodellen.