Cross-Dataset Generalization in Urdu Fake News Detection: An Empirical Study with XLM-RoBERTa and a Length Confound Analysis

Problemstellung

Obwohl Urdu von über 231 Millionen Menschen gesprochen wird, bleibt die Erkennung falscher Nachrichten (Fake News Detection, FND) in dieser Sprache im Vergleich zu Englisch unterrepräsentiert. Während die bisherige Forschung eine starke In-Domain-Leistung auf einzelnen Urdu-Datensätzen etabliert hat, besteht eine kritische Lücke im Verständnis darüber, ob Modelle, die auf einem Korpus trainiert wurden, auf einen anderen generalisieren können. Die reale Anwendung erfordert Modelle, die heterogene Quellen mit variierenden Stilen und Längen bewältigen können, doch es wurde bisher keine systematische Studie zur Cross-Dataset-Generalisierung für Urdu-FND durchgeführt. Diese Arbeit adressiert diese Lücke, indem sie die Übertragbarkeit von Modellen zwischen zwei bedeutenden, öffentlich verfügbaren Urdu-Datensätzen untersucht: Ax-to-Grind und Notri-Fact.

Methodik

Die Studie verwendet ein strenges empirisches Design unter Verwendung von zwei großen, ausgewogenen, nativen Urdu-Datensätzen:

1. Datensatz A (Ax-to-Grind): 10.083 Artikel aus 15 Domänen.
2. Datensatz B (Notri-Fact): 13.388 Artikel, die pakistanische Nachrichtenthemen abdecken.

Experimentelles Setup:

• Modelle: Das primäre Modell ist XLM-RoBERTa-base, feinabgestimmt für die binäre Sequenzklassifizierung. Klassische Baselines unter Verwendung von TF-IDF-Vektorisierung mit Logistischer Regression (LR) und Support Vector Machines (SVM) werden ebenfalls evaluiert.
• Bedingungen: Es werden fünf experimentelle Bedingungen getestet:
  1. In-Domain-Training und Testen auf Datensatz A.
  2. In-Domain-Training und Testen auf Datensatz B.
  3. Zero-Shot Cross-Domain Transfer: A → B (trainiert auf Ax-to-Grind, getestet auf Notri-Fact).
  4. Zero-Shot Cross-Domain Transfer: B → A (trainiert auf Notri-Fact, getestet auf Ax-to-Grind).
  5. Längen-Ablation: Training und Testen auf Datensatz A, wobei alle Artikel auf eine maximale Länge von 50 Wörtern gekürzt wurden, um den Effekt der Dokumentlänge zu isolieren.
• Evaluierung: Die primäre Metrik ist der makro-gemittelte F1-Score, ergänzt durch Genauigkeit (Accuracy), Präzision (Precision) und Recall.

Wesentliche Erkenntnisse und Ergebnisse

Die Experimente zeigen eine markante Asymmetrie in der Cross-Dataset-Generalisierung auf:

1. In-Domain-Leistung: XLM-RoBERTa erreicht eine starke Leistung innerhalb seiner Trainingsverteilung (F1 = 0,929 auf Datensatz A; F1 = 0,954 auf Datensatz B). Klassische TF-IDF-Baselines sind wettbewerbsfähig, liegen aber konsistent unter der Leistung des Transformers.
2. Asymmetrischer Kollaps (A → B): Wenn das auf Ax-to-Grind trainierte Modell auf Notri-Fact getestet wird, bricht die Leistung katastrophal auf einen F1-Wert von 0,005 ein. Das Modell sagt für 99,7 % der Testartikel „fake“ voraus und ignoriert dabei effektiv die tatsächliche ausgewogene Verteilung des Testdatensatzes.
3. Teilerfolg (B → A): Im Gegensatz dazu erreicht das auf Notri-Fact trainierte Modell beim Testen auf Ax-to-Grind einen bedeutsamen F1-Wert von 0,771 und behält trotz der Domänenverschiebung eine signifikante diskriminative Fähigkeit bei.
4. Der Längen-Confound (Längen-Störfaktor): Die Arbeit identifiziert die Ursache des A → B Fehlers als einen systematischen Längen-Confound im Ax-to-Grind-Datensatz:
   • In Ax-to-Grind haben Fake-Artikel im Durchschnitt 117 Wörter, während echte Artikel im Durchschnitt nur 35 Wörter haben (eine 3,4-fache Asymmetrie).
   • In Notri-Fact liegen beide Klassen im Durchschnitt bei 160–170 Wörtern, was zeigt, dass keine längenbasierte Trennung vorliegt.
   • Das Modell lernt während des Trainings auf Datensatz A, die Heuristik „länger = fake“ auszunutzen. Bei der Anwendung auf Datensatz B, in dem alle Artikel unabhängig von der Wahrhaftigkeit lang sind, versagt diese Heuristik vollständig, was dazu führt, dass das Modell standardmäßig für alles „fake“ vorhersagt.
5. Ablations-Evidenz: Die Kürzung der Artikel in Datensatz A auf 50 Wörter (um das Längensignal zu entfernen) führte nur zu einem geringfügigen F1-Abfall (0,929 auf 0,922). Dies bestätigt, dass der Längen-Confound zwar die In-Domain-Leistung künstlich aufbläht, das Modell jedoch dennoch etwas semantischen Inhalt lernt; die Abwesenheit dieser Abkürzung (Shortcut) in Datensatz B ist jedoch die Ursache für das Transferversagen.

Wesentliche Beiträge

• Erste Cross-Dataset-Studie: Dies ist die erste systematische Untersuchung der Cross-Dataset-Generalisierung für Urdu-FND, die zeigt, dass hohe In-Domain-Genauigkeit keine Robustheit garantiert.
• Identifizierung eines Längen-Confounds: Die Arbeit liefert empirische Belege für einen schweren Längen-Bias im Ax-to-Grind-Datensatz und zeigt auf, wie XLM-RoBERTa (und sogar klassische Modelle) diesen als Abkürzung anstelle des Lernens semantischer Wahrhaftigkeit ausnutzt.
• Diagnostische Methodik: Die Autoren schlagen ein wiederverwendbares diagnostisches Framework für ressourcenarme NLP-Szenarien vor, das Folgendes kombiniert:
  • Bidirektionale Untersuchung der Transfer-Asymmetrie.
  • Analyse der vorhergesagten Label-Verteilungen (Erkennung von Class Collapse).
  • Klassenbedingte Analyse der Längenverteilung.
• Kontextualisierung der Baselines: Die Studie stellt fest, dass auch klassische Modelle (TF-IDF + LR/SVM) den Längen-Confound teilweise ausnutzen, wenn auch weniger schwerwiegend als der Transformer.

Bedeutung und Ansprüche

Die Arbeit argumentiert, dass der aktuelle Standard für die Evaluierung von Urdu-FND – der sich ausschließlich auf Single-Dataset-In-Domain-Splits stützt – unzureichend und potenziell irreführend ist. Die Ergebnisse legen nahe, dass:

• In-Domain-Metriken durch Datensatz-Artefakte (Confounds) aufgebläht werden können, anstatt die tatsächliche Leistungsfähigkeit des Modells widerzuspiegeln.
• Cross-Dataset-Evaluierungen zwingend erforderlich sind, um Shortcut-Learning zu erkennen und sicherzustellen, dass Modelle semantische Merkmale anstatt spuriöser Korrelationen wie der Dokumentlänge lernen.
• Die zukünftige Datensatzkonstruktion zwingend pro-Klasse Längenstatistiken als Metadaten enthalten und eine längengestratifizierte Stichprobenziehung anwenden muss, um solche Confounds zu verhindern.

Die Autoren kommen zu dem Schluss, dass Modelle ohne Berücksichtigung solcher Datensatz-Artefakte in realen Szenarien, in denen Nachrichtenquellen variierende Längen und Stile aufweisen, katastrophal versagen könnten. Die vorgeschlagene diagnostische Methodik bietet ein praktisches Werkzeug für die Community, um ähnliche Confounds in anderen ressourcenarmen multilingualen Kontexten zu identifizieren.