Cross-Dataset Generalization in Urdu Fake News Detection: An Empirical Study with XLM-RoBERTa and a Length Confound Analysis

Probleemstelling

Ondanks het feit dat Urdu door meer dan 231 miljoen mensen wordt gesproken, blijft de detectie van nepnieuws (Fake News Detection, FND) in deze taal onderbediend vergeleken met het Engels. Hoewel eerder onderzoek een sterke in-domain prestatie heeft vastgesteld op individuele Urdu-datasets, is er een kritiek gat in het begrip of modellen die getraind zijn op één corpus kunnen generaliseren naar een ander. De implementatie in de echte wereld vereist dat modellen om kunnen gaan met heterogene bronnen met variërende stijlen en lengtes, maar er is nog geen systematische studie naar cross-dataset generalisatie uitgevoerd voor Urdu FND. Dit artikel adresseert dit gat door de overdraagbaarheid van modellen tussen twee belangrijke, publiekelijk beschikbare Urdu-datasets te onderzoeken: Ax-to-Grind en Notri-Fact.

Methodologie

De studie maakt gebruik van een rigoureus empirisch ontwerp waarbij gebruik wordt gemaakt van twee grote, gebalanceerde, native Urdu-datasets:

1. Dataset A (Ax-to-Grind): 10.083 artikelen verspreid over 15 domeinen.
2. Dataset B (Notri-Fact): 13.388 artikelen die Pakistaanse nieuwsonderwerpen dekken.

Experimentele opzet:

• Modellen: Het primaire model is XLM-RoBERTa-base, gefinetuned voor binaire sequentieclassificatie. Klassieke baselines met behulp van TF-IDF vectorisatie met Logistische Regressie (LR) en Support Vector Machines (SVM) worden eveneens geëvalueerd.
• Condities: Vijf experimentele condities worden getest:
  1. In-domain training en testen op Dataset A.
  2. In-domain training en testen op Dataset B.
  3. Zero-shot cross-domain transfer: A → B (getraind op Ax-to-Grind, getest op Notri-Fact).
  4. Zero-shot cross-domain transfer: B → A (getraind op Notri-Fact, getest op Ax-to-Grind).
  5. Lengte-ablatie: Training en testen op Dataset A waarbij alle artikelen worden afgekort tot een maximum van 50 woorden om het effect van documentlengte te isoleren.
• Evaluatie: De primaire metriek is de macro-gemiddelde F1-score, aangevuld met accuratesse, precisie en recall.

Belangrijkste bevindingen en resultaten

De experimenten onthullen een opvallende asymmetrie in de cross-dataset generalisatie:

1. In-Domain Prestaties: XLM-RoBERTa bereikt sterke prestaties binnen zijn trainingsdistributie (F1 = 0,929 op Dataset A; F1 = 0,954 op Dataset B). Klassieke TF-IDF baselines presteren competitief maar consistent lager dan de transformer.
2. Asymmetrische instorting (A → B): Wanneer het model getraind op Ax-to-Grind wordt getest op Notri-Fact, stort de prestatie catastrofaal in tot een F1 van 0,005. Het model voorspelt "fake" voor 99,7% van de testartikelen, waardoor het de werkelijke gebalanceerde distributie van de testset effectief negeert.
3. Gedeeltelijk succes (B → A): Omgekeerd bereikt het model getraind op Notri-Fact een betekenisvolle F1 van 0,771 wanneer het wordt getest op Ax-to-Grind, waarbij het een aanzienlijk onderscheidend vermogen behoudt ondanks de domeinverschuiving.
4. De Lengte-confound: Het artikel identificeert de oorzaak van de A → B mislukking als een systematische lengte-confound in de Ax-to-Grind dataset:
   • In Ax-to-Grind hebben nepartikelen gemiddeld 117 woorden, terwijl echte artikelen gemiddeld slechts 35 woorden hebben (een 3,4× asymmetrie).
   • In Notri-Fact hebben beide klassen gemiddeld 160–170 woorden, wat wijst op een gebrek aan lengte-gebaseerde scheiding.
   • Het model leert de "langer = fake" shortcut te exploiteren tijdens de training op Dataset A. Wanneer het wordt toegepast op Dataset B, waar alle artikelen lang zijn ongeacht de waarachtigheid, faalt de heuristiek volledig, wat ertoe leidt dat het model de neiging heeft om alles als "fake" te voorspellen.
5. Ablatiebewijs: Het afkorten van de artikelen in Dataset A tot 50 woorden (het verwijderen van het lengtesignaal) resulteerde in slechts een marginale daling van de F1 (van 0,929 naar 0,922). Dit bevestigt dat hoewel de lengte-confound de in-domain prestaties opblaast, het model wel enige semantische inhoud leert; echter is het ontbreken van deze shortcut in Dataset B wat de transfer mislukt laat.

Belangrijkste bijdragen

• Eerste Cross-Dataset Studie: Dit is de eerste systematische onderzoek naar cross-dataset generalisatie voor Urdu FND, wat aantoont dat hoge in-domain accuratesse geen robuustheid garandeert.
• Identificatie van een Lengte-confound: Het artikel levert empirisch bewijs voor een ernstige lengtebias in de Ax-to-Grind dataset, en laat zien hoe XLM-RoBERTa (en zelfs klassieke modellen) dit als een shortcut exploiteert in plaats van werkelijke semantische waarachtigheid te leren.
• Diagnostische Methodologie: De auteurs stellen een herbruikbaar diagnostisch framework voor in low-resource NLP-omgevingen, dat combineert:
  • Bidirectionale transfer-asymmetrie inspectie.
  • Analyse van voorspelde labeldistributies (detectie van klasse-instorting).
  • Class-conditional lengtedistributie analyse.
• Contextualisering van Baselines: De studie stelt vast dat klassieke modellen (TF-IDF + LR/SVM) ook gedeeltelijk de lengte-confound exploiteren, hoewel minder extreem dan de transformer.

Betekenis en Claims

Het artikel betoogt dat de huidige standaard voor het evalueren van Urdu FND—het uitsluitend vertrouwen op single-dataset, in-domain splits—onvoldoende en potentieel misleidend is. De bevindingen suggereren dat:

• In-domain metrieken opgeblazen kunnen worden door dataset-artefacten (confounds) in plaats van door werkelijke modelcapaciteit.
• Cross-dataset evaluatie verplicht is om shortcut learning te detecteren en te waarborgen dat modellen semantische kenmerken leren in plaats van spuriose correlaties zoals documentlengte.
• Toekomstige datasetconstructie verplichte per-klasse lengtestatistieken moet bevatten als metadata en lengte-gestratificeerde sampling moet toepassen om dergelijke confounds te voorkomen.

De auteurs concluderen dat zonder het aanpakken van dergelijke dataset-niveau artefacten, modellen getraind op huidige benchmarks catastrofaal kunnen falen in real-world scenario's waar nieuwsbronnen variëren in lengte en stijl. De voorgestelde diagnostische methodologie biedt een praktisch instrument voor de community om soortgelijke confounds in andere low-resource meertalige settings te identificeren.