Cross-Dataset Generalization in Urdu Fake News Detection: An Empirical Study with XLM-RoBERTa and a Length Confound Analysis

Problem Statement (Enunciato del problema)

Nonostante l'urdu sia parlato da oltre 231 milioni di persone, il rilevamento delle fake news (Fake News Detection - FND) in questa lingua rimane meno sviluppato rispetto all'inglese. Sebbene ricerche precedenti abbiano stabilito una solida performance in-domain su singoli dataset in lingua urdu, esiste una lacuna critica nel comprendere se i modelli addestrati su un corpus possano generalizzare su un altro. L'implementazione nel mondo reale richiede che i modelli siano in grado di gestire fonti eterogenee con stili e lunghezze variabili, eppure non è stata condotta alcuna studio sistematico sulla generalizzazione cross-dataset per l'FND in urdu. Questo articolo affronta tale lacuna investigando la trasferibilità dei modelli tra due importanti dataset di urdu, entrambi disponibili pubblicamente: Ax-to-Grind e Notri-Fact.

Methodology (Metodologia)

Lo studio impiega un rigoroso design empirico che coinvolge due ampi dataset in urdu nativo e bilanciati:

1. Dataset A (Ax-to-Grind): 10.083 articoli attraverso 15 domini.
2. Dataset B (Notri-Fact): 13.388 articoli che coprono argomenti di attualità pakistana.

Configurazione Sperimentale:

• Modelli: Il modello primario è XLM-RoBERTa-base, perfezionato (fine-tuned) per la classificazione binaria di sequenze. Sono valutati anche dei baseline classici utilizzando la vettorizzazione TF-IDF con Logistic Regression (LR) e Support Vector Machines (SVM).
• Condizioni: Vengono testate cinque condizioni sperimentali:
  1. Addestramento e test in-domain sul Dataset A.
  2. Addestramento e test in-domain sul Dataset B.
  3. Trasferimento cross-dominio zero-shot: A → B (addestrato su Ax-to-Grind, testato su Notri-Fact).
  4. Trasferimento cross-dominio zero-shot: B → A (addestrato su Notri-Fact, testato su Ax-to-Grind).
  5. Ablazione della lunghezza (Length Ablation): Addestramento e test sul Dataset A con tutti gli articoli troncati a un massimo di 50 parole per isolare l'effetto della lunghezza del documento.
• Valutazione: La metrica primaria è l'F1-score macro-mediato, integrato da accuratezza, precisione e recall.

Key Findings and Results (Risultati e conclusioni chiave)

Gli esperimenti rivelano una sorprendente asimmetria nella generalizzazione cross-dataset:

1. Performance In-Domain: XLM-RoBERTa raggiunge prestazioni elevate all'interno della propria distribuzione di addestramento (F1 = 0,929 sul Dataset A; F1 = 0,954 sul Dataset B). I baseline classici TF-IDF performano in modo competitivo ma costantemente inferiori rispetto al transformer.
2. Collasso Asimmetrico (A → B): Quando il modello addestrato su Ax-to-Grind viene testato su Notri-Fact, la performance crolla catastroficamente a un F1 di 0,005. Il modello predice "fake" per il 99,7% degli articoli di test, ignorando efficacemente la reale distribuzione bilanciata del set di test.
3. Successo Parziale (B → A): Al contrario, il modello addestrato su Notri-Fact ottiene un F1 significativo di 0,771 quando testato su Ax-to-Grind, mantenendo una rilevante capacità discriminativa nonostante lo shift di dominio.
4. Il Confound della Lunghezza: L'articolo identifica la causa radice del fallimento A → B come un confound sistematico della lunghezza nel dataset Ax-to-Grind:
   • In Ax-to-Grind, gli articoli fake hanno una media di 117 parole, mentre gli articoli reali hanno una media di soli 35 parole (un'asimmetria di 3,4×).
   • In Notri-Fact, entrambe le classi hanno una media di 160–170 parole, mostrando nessuna separazione basata sulla lunghezza.
   • Il modello impara a sfruttare la scorciatoia "più lungo = fake" durante l'addestramento su Dataset A. Quando applicato al Dataset B, dove tutti gli articoli sono lunghi indipendentemente dalla veridicità, l'euristica fallisce completamente, portando il modello a predire "fake" per tutto.
5. Evidenza dell'Ablazione: Troncando gli articoli del Dataset A a 50 parole (rimuovendo il segnale di lunghezza), si è verificata solo una marginale diminuzione dell'F1 (da 0,929 a 0,922). Ciò conferma che, sebbene il confound della lunghezza gonfi la performance in-domain, il modello impara comunque un certo contenuto semantico; tuttavia, l'assenza di questa scorciatoia nel Dataset B è ciò che causa il fallimento del trasferimento.

Key Contributions (Contributi chiave)

• Primo Studio Cross-Dataset: Questo è il primo studio sistematico sulla generalizzazione cross-dataset per l'FND in urdu, rivelando che un'elevata accuratezza in-domain non garantisce la robustezza.
• Identificazione di un Confound della Lunghezza: L'articolo fornisce prove empiriche di un grave bias di lunghezza nel dataset Ax-to-Grind, dimostrando come XLM-RoBERTa (e persino i modelli classici) sfruttino questo elemento come una scorciatoia piuttosto che apprendere la veridicità semantica.
• Metodologia Diagnostica: Gli autori propongono un framework diagnostico riutilizzabile per contesti NLP a basse risorse, combinando:
  • Ispezione della asimmetria del trasferimento bidirezionale.
  • Analisi delle distribuzioni delle etichette predette (rilevamento del collasso della classe).
  • Analisi della distribuzione della lunghezza condizionata alla classe.
• Contestualizzazione dei Baseline: Lo studio stabilisce che anche i modelli classici (TF-IDF + LR/SVM) sfruttano parzialmente il confound della lunghezza, sebbene in misura meno severa rispetto al transformer.

Significance and Claims (Significato e affermazioni)

L'articolo sostiene che l'attuale standard di valutazione per l'FND in urdu — che si affida esclusivamente a split in-domain di singoli dataset — è insufficiente e potenzialmente fuorviante. Le conclusioni suggeriscono che:

• Le metriche in-domain possono essere gonfiate da artefatti del dataset (confound) piuttosto che dalla reale capacità del modello.
• La valutazione cross-dataset è obbligatoria per rilevare l'apprendimento di scorciatoie (shortcut learning) e garantire che i modelli apprendano caratteristiche semantiche anziché correlazioni spurie come la lunghezza del documento.
• La futura costruzione di dataset deve includere le statistiche di lunghezza per classe come metadati obbligatori e impiegare campionamenti stratificati per lunghezza per prevenire tali confound.

Gli autori concludono che, senza affrontare questi artefatti a livello di dataset, i modelli addestrati sugli attuali benchmark potrebbero fallire catastroficamente in scenari reali in cui le fonti di notizie variano per lunghezza e stile. La metodologia diagnostica proposta offre uno strumento pratico alla comunità per identificare simili confound in altri contesti multilingue a basse risorse.