Hybrid Feature Combinations with CNN for Bangla Fake News Classification

Technische Samenvatting: Hybride Featurecombinaties met CNN voor Bangla Fake News-classificatie

Probleemstelling
De proliferatie van valse nieuwsberichten op sociale media en online portals in Bangladesh vormt aanzienlijke risico's voor de geloofwaardigheid van authentieke media en het dagelijks leven van burgers. Het detecteren van fake news in de Bangla-taal stelt unieke uitdagingen vanwege de complexe schrijfstukken en diverse woordenschat, die verschillen van het Engels. Hoewel er talrijke studies bestaan voor fake news-detectie in het Engels, blijft onderzoek specifiek voor Bangla beperkt. Bestaande benaderingen vertrouwen vaak op enkele of een paar feature-extractietechnieken (bijv. TF-IDF, Word2Vec of fastText) zonder systematisch hun effectiviteit te vergelijken of hybride combinaties te onderzoeken. Bovendien kunnen hoogdimensionale featuresets ruis introduceren en de model-efficiëntie verminderen, wat robuuste featureselectiestrategieën vereist.

Methodologie
Dit onderzoek stelt een uitgebreid kader voor voor Bangla fake news-classificatie met behulp van het BanFakeNews-2.0-dataset, dat bestaat uit 48.678 echte en 12.903 handmatig geannoteerde fake news-artikelen. De methodologie volgt een gestructureerde pijplijn:

1. Preprocessing: Ruwe Bangla-tekst wordt schoongemaakt door leestekens, stopwoorden, speciale tekens en HTML-tags te verwijderen, terwijl cijfers behouden blijven.
2. Feature-extractie: Zes verschillende feature-extractiemethoden worden ingezet om tekst om te zetten in numerieke representaties:
   • TF-IDF: Gebruikmakend van unigrammen en bigrammen (top 5.000 tokens).
   • Word2Vec: Gebruikmakend van de CBOW-architectuur met een 100-dimensionale vectorruimte.
   • FastText: Gebruikmakend van subwoordinformatie voor betere verwerking van onbekende woorden.
   • N-Gram Features: Het extraheren van sequenties tot grootte 3.
   • Character-Level TF-IDF: Focus op character n-grammen (lengte 2–4) om subwoordpatronen vast te leggen.
   • Statistische Features: Handmatig geconstrueerde beschrijvers, waaronder aantal tekens/woorden/zinnen, gemiddelde woordlengte en verhoudingen van leestekens.
3. Featureselectie: Om de meest informatieve features te identificeren en complexiteit te verminderen, worden vijf selectiebenaderingen toegepast:
   • Statistische methoden (ANOVA F-test, Chi-kwadraat, Mutual Information).
   • Ensemble-gebaseerde belangrijkheid (Random Forest).
   • Recursive Feature Elimination (RFE).
   • Correlatie-gebaseerde selectie (Pearson-coëfficiënt).
   • Forward Selection en uitgebreide combinatie-testen (brute-force evaluatie van alle subsets).
4. Classificatiemodel: Er wordt een Convolutional Neural Network (CNN) met een multi-branch architectuur voorgesteld. Dit ontwerp verwerkt verschillende input-featuresoorten via aparte convolutiepijplijnen, comprimeert ze via global max pooling en concateneert de resulterende vectoren voor binaire classificatie (Authentiek vs. Fake). Het model wordt getraind met Binary Crossentropy-loss, de Adam-optimizer en early stopping-mechanismen.

Belangrijkste Bijdragen

• Systematische Feature-evaluatie: De studie biedt een vergelijkende analyse van zes diverse feature-extractietechnieken specifiek voor Bangla-tekst, verder gaand dan de afhankelijkheid van single-method benaderingen die gebruikelijk zijn in eerdere literatuur.
• Hybride Featurecombinaties: Het onderzoek demonstreert de effectiviteit van het combineren van semantische (Word2Vec, FastText), statistische (TF-IDF, N-Gram) en structurele (Character-level, Statistische) features.
• Rigoureuze Selectiestrategie: Door gebruik te maken van meerdere featureselectie-algoritmen en een brute-force combinatie-test, identificeert de studie optimale feature-subsets die de classificatieprestaties maximaliseren terwijl redundantie wordt geminimaliseerd.
• Open Source Implementatie: De code en experimentele opstelling zijn publiek beschikbaar gesteld om verder onderzoek op dit domein te faciliteren.

Experimentele Resultaten
Het voorgestelde CNN-model werd geëvalueerd op het BanFakeNews-2.0-dataset met behulp van Accuracy, Precision, Recall en F1-score.

• Individuele versus Hybride Prestaties: Individuele features zoals FastText en Word2Vec behaalden vergelijkbare prestaties (F1-score ~0,80). Het combineren van features leverde echter aanzienlijke verbeteringen op.
• Optimale Combinatie: De hoogste prestaties werden bereikt door TF-IDF, Word2Vec, FastText, Character-level TF-IDF en Statistische features te integreren. Deze hybride aanpak resulteerde in:
  • Accuracy: 0,91
  • Precision: 0,90
  • Recall: 0,79
  • F1-score: 0,83
• Specifiek voor de Fake-klasse: Voor de specifieke detectie van fake news verbeterde het hybride model de F1-score naar 0,73 en de recall naar 0,61, een duidelijke stijging ten opzichte van individuele features (bijv. alleen Word2Vec had een recall van 0,55 en een F1-score van 0,67).
• Trainingsstabiliteit: Trainingscurven duiden op stabiel leergedrag zonder tekenen van overfitting over 50 epochs.

Betekenis en Claims
Het artikel stelt dat de primaire betekenis van dit werk ligt in het aantonen dat het combineren van meerdere types features de recall en F1-scores van Bangla fake news-detectie aanzienlijk verbetert in vergelijking met het gebruik van alleen individuele features. De auteurs benadrukken dat het integreren van diverse semantische en statistische features het model in staat stelt complementaire informatie vast te leggen, wat leidt tot robuustere classificatie.

De studie concludeert dat hoewel individuele deep learning-embeddings redelijk goed presteren, ze vaak een significant deel van valse voorbeelden missen (lage recall). De voorgestelde hybride aanpak adresseert deze beperking. De auteurs merken bescheiden op dat hun studie beperkt is tot een CNN-classificator en suggereren dat toekomstig werk andere machine learning- en deep learning-architecturen, evenals aanvullende feature-extractie- en selectietechnieken, kan onderzoeken.