Cross-Dataset Generalization in Urdu Fake News Detection: An Empirical Study with XLM-RoBERTa and a Length Confound Analysis

Énoncé du problème

Bien que l'ourdou soit parlé par plus de 231 millions de personnes, la détection de fausses informations (Fake News Detection - FND) dans cette langue reste sous-dotée en ressources par rapport à l'anglais. Si des recherches antérieures ont établi de solides performances in-domain sur des jeux de données individuels en ourdou, il existe une lacune critique pour comprendre si des modèles entraînés sur un corpus peuvent se généraliser à un autre. Le déploiement en conditions réelles exige que les modèles puissent gérer des sources hétérogènes présentant des styles et des longueurs variés, pourtant aucune étude systématique de la généralisation inter-jeux de données n'a été menée pour la FND en ourdou. Cet article comble cette lacune en étudiant la transférabilité des modèles entre deux jeux de données majeurs et publics en ourdou : Ax-to-Grind et Notri-Fact.

Méthodologie

L'étude emploie un design empirique rigoureux impliquant deux jeux de données massifs et équilibrés en ourdu natif :

1. Jeu de données A (Ax-to-Grind) : 10 083 articles répartis sur 15 domaines.
2. Jeu de données B (Notri-Fact) : 13 388 articles couvrant des sujets d'actualité pakistanais.

Configuration expérimentale :

• Modèles : Le modèle principal est XLM-RoBERTa-base, affiné pour la classification de séquences binaires. Des bases classiques utilisant la vectorisation TF-IDF avec une Régression Logistique (LR) et des Machines à Vecteurs de Support (SVM) sont également évaluées.
• Conditions : Cinq conditions expérimentales sont testées :
  1. Entraînement et test in-domain sur le Jeu de données A.
  2. Entraînement et test in-domain sur le Jeu de données B.
  3. Transfert cross-domain zero-shot : A → B (entraîné sur Ax-to-Grind, testé sur Notri-Fact).
  4. Transfert cross-domain zero-shot : B → A (entraîné sur Notri-Fact, testé sur Ax-to-Grind).
  5. Ablation de la longueur : Entraînement et test sur le Jeu de données A avec tous les articles tronqués à un maximum de 50 mots pour isoler l'effet de la longueur du document.
• Évaluation : La métrique principale est le score F1 moyen macro-moyenné, complété par la précision, le rappel et l'exactitude (accuracy).

Principaux résultats et conclusions

Les expériences révèlent une asymétrie frappante dans la généralisation inter-jeux de données :

1. Performance In-Domain : XLM-RoBERTa atteint de hautes performances au sein de sa distribution d'entraînement (F1 = 0,929 sur le Jeu A ; F1 = 0,954 sur le Jeu B). Les bases classiques TF-IDF sont compétitives mais systématiquement inférieures au transformer.
2. Effondrement Asymétrique (A → B) : Lorsque le modèle entraîné sur Ax-to-Grind est testé sur Notri-Fact, la performance s'effondre de manière catastrophique pour un F1 de 0,005. Le modèle prédit « fake » pour 99,7 % des articles de test, ignorant de fait la distribution équilibrée réelle de l'ensemble de test.
3. Succès Partiel (B → A) : À l'inverse, le modèle entraîné sur Notri-Fact atteint un F1 significatif de 0,771 lorsqu'il est testé sur Ax-to-Grind, conservant une capacité de discrimination importante malgré le changement de domaine.
4. Le Facteur de Confusion de Longueur (Length Confound) : L'article identifie la cause profonde de l'échec A → B comme étant un facteur de confusion systématique de la longueur dans le jeu de données Ax-to-Grind :
   • Dans Ax-to-Grind, les articles « fake » font en moyenne 117 mots, tandis que les articles réels n'en font que 35 mots (une asymétrie de 3,4×).
   • Dans Notri-Fact, les deux classes tournent autour de 160–170 mots, ne montrant aucune séparation basée sur la longueur.
   • Le modèle apprend à exploiter le raccourci « plus long = fake » pendant l'entraînement sur le Jeu A. Appliqué au Jeu B, où tous les articles sont longs quelle que soit leur véracité, cet heuristique échoue totalement, poussant le modèle à prédire « fake » pour tout.
5. Preuve par Ablation : Le fait de tronquer les articles du Jeu A à 50 mots (supprimant le signal de longueur) n'a entraîné qu'une baisse marginale du F1 (de 0,929 à 0,922). Cela confirme que si le facteur de confusion de la longueur gonfle la performance in-domain, le modèle apprend bien un certain contenu sémantique ; cependant, l'absence de ce raccourci dans le Jeu B est ce qui provoque l'échec du transfert.

Principales contributions

• Première étude cross-dataset : Il s'agit de la première investigation systématique de la généralisation inter-jeux de données pour la FND en ourdou, révélant qu'une haute précision in-domain ne garantit pas la robustesse.
• Identification d'un biais de longueur : L'article fournit des preuves empiriques d'un biais de longueur sévère dans le jeu de données Ax-to-Grind, démontrant comment XLM-RoBERTa (et même les modèles classiques) exploite cela comme un raccourci plutôt que d'apprendre la véracité sémantique.
• Méthodologie de diagnostic : Les auteurs proposent un cadre de diagnostic réutilisable pour les contextes de NLP à faibles ressources, combinant :
  • L'inspection de l'asymétrie de transfert bidirectionnel.
  • L'analyse des distributions de labels prédits (détection de l'effondrement de classe).
  • L'analyse de la distribution de la longueur conditionnelle à la classe.
• Contextualisation des bases de référence : L'étude établit que les modèles classiques (TF-IDF + LR/SVM) exploitent également partiellement le facteur de confusion de la longueur, bien que de manière moins sévère que le transformer.

Signification et affirmations

L'article soutient que la norme actuelle d'évaluation de la FND en ourdou — reposant uniquement sur des divisions in-domain de jeux de données uniques — est insuffisante et potentiellement trompeuse. Les conclusions suggèrent que :

• Les métriques in-domain peuvent être gonflées par des artefacts de données (confounds) plutôt que par une capacité réelle du modèle.
• L'évaluation cross-dataset est obligatoire pour détecter l'apprentissage par raccourcis (shortcut learning) et s'assurer que les modèles apprennent des caractéristiques sémantiques plutôt que des corrélations spécieuses comme la longueur du document.
• La construction future de jeux de données doit inclure les statistiques de longueur par classe comme métadonnées obligatoires et employer un échantillonnage stratifié par longueur pour prévenir de tels facteurs de confusion.

Les auteurs concluent que sans traiter ces artefacts au niveau des données, les modèles entraînés sur les benchmarks actuels pourraient échouer de manière catastrophique dans des scénarios réels où les sources d'information varient en longueur et en style. La méthodologie de diagnostic proposée offre un outil pratique pour la communauté afin d'identifier des confounds similaires dans d'autres contextes multilingues à faibles ressources.