Cross-Dataset Generalization in Urdu Fake News Detection: An Empirical Study with XLM-RoBERTa and a Length Confound Analysis

Imaginez que vous appreniez à un robot à repérer un faux tableau dans une galerie d'art. Vous lui montrez des milliers d'images : certaines sont des chefs-d'œuvre authentiques, d'autres sont de ruses habiles. Le robot est intelligent ; il utilise un super-cerveau appelé « réseau de neurones » (un type de programme informatique qui apprend en trouvant des motifs, un peu comme la façon dont le cerveau humain connecte les points) pour comprendre la différence. Dans le monde du langage, ces robots sont entraînés à lire les actualités et à décider s'il s'agit d'une information vraie ou d'une « fake news ».

Mais voici la partie délicate : parfois, le robot devient trop malin pour son propre bien. Au lieu d'apprendre à quoi ressemble un mensonge, il pourrait apprendre un raccourci idiot, comme « si l'histoire est très longue, elle doit être fausse ». C'est ce qu'on appelle l'« apprentissage par raccourci » (shortcut learning). C'est comme un élève qui mémorise que chaque question d'examen commençant par « Comment » est une question piège, plutôt que de réellement lire la question. Si le prochain examen comporte de longues questions en « Comment » qui sont en réalité vraies, l'élève échouera lamentablement. Cet article explore précisément ce genre d'échec, mais avec un robot essayant de lire des actualités en ourdou, une langue parlée par plus de 231 millions de personnes. Les chercheurs voulaient savoir : si nous enseignons à un robot sur un ensemble d'articles de presse, sera-t-il toujours intelligent lorsqu'il rencontrera un ensemble d'articles complètement différent ?

Le Grand Test des Actualités en Ourdou

Dans cette étude, les chercheurs, dirigés par Muhammad Abdullah Haroon, ont décidé de soumettre un robot linguistique populaire nommé XLM-RoBERTa à un test difficile. Ils lui ont donné deux « manuels » (jeux de données) différents d'actualités en ourdou pour qu'il apprenne. Un manuel s'appelait Ax-to-Grind, qui contenait environ 10 000 articles. L'autre, Notri-Fact, en contenait environ 13 000. Les deux livres mélangeaient de vraies et de fausses informations, et l'objectif était de voir si le robot pouvait apprendre d'un livre et identifier correctement les fausses nouvelles dans l'autre sans aide supplémentaire.

Les résultats furent, pour le moins, choquants.

Lorsque le robot a appris à partir du livre Notri-Fact et a été testé sur le livre Ax-to-Grind, il a fait un travail plutôt satisfaisant, obtenant un score (appelé score F1) de 0,771. Cela signifie qu'il pouvait encore faire la différence entre la vérité et les mensonges, même si les histoires étaient différentes.

Mais quand ils ont inversé la situation ? Désastre.

Lorsque le robot a appris à partir du livre Ax-to-Grind et a été testé sur le livre Notri-Fact, il s'est complètement effondré. Il a obtenu un score de 0,005. Pour mettre cela en perspective, c'était presque comme si le robot devinait au hasard, mais d'une manière très spécifique et défaillante. Le robot a décidé que 99,7 % de tous les nouveaux articles qu'il voyait étaient faux. Il a cessé d'essayer de lire les mots et s'est contenté de crier « FAUX ! » à tout ce qu'il voyait.

Le Piège de la « Longue Histoire »

Pourquoi le robot a-t-il échoué de manière aussi spectaculaire ? Les chercheurs ont joué les détectives et ont trouvé un indice caché : la longueur.

Dans le livre Ax-to-Grind, il y avait une différence massive entre les vraies et les fausses histoires. Les articles de presse réels étaient très courts, avec une moyenne de seulement 35 mots (comme un court SMS). Les articles de fausses nouvelles, cependant, étaient très longs, avec une moyenne de 117 mots (comme une longue dissertation). Comme les fausses histoires étaient 3,4 fois plus longues que les vraies, le robot a appris un raccourci paresseux : « Si l'histoire est longue, elle est fausse. Si elle est courte, elle est réelle. » Il ne s'est pas donné la peine d'apprendre de quoi parlaient les histoires ; il s'est contenté de compter les mots.

Cela a parfaitement fonctionné lorsque le robot était testé sur le même livre. Mais lorsqu'il est passé au livre Notri-Fact, les règles ont changé. Dans ce nouveau livre, les vraies comme les fausses histoires étaient longues, avec une moyenne d'environ 160 à 170 mots chacune. Le robot, toujours coincé sur sa règle « long signifie faux », a regardé chaque article, a vu qu'ils étaient tous longs, et a conclu qu'ils étaient tous faux. Il n'avait aucun moyen de les distinguer car son raccourci ne fonctionnait plus.

Prouver la Théorie

Pour être absolument certain que la longueur était la coupable et non un autre mystère, les chercheurs ont mené une expérience spéciale. Ils ont pris le livre Ax-to-Grind et ont découpé chaque article pour le ramener à 50 mots avant d'enseigner au robot. Cela a forcé le robot à ignorer la différence de longueur puisque les fausses nouvelles étaient désormais aussi courtes que les vraies.

Même avec ce handicap, le robot a toujours fait un travail correct dans son propre livre, obtenant un score de 0,922 (une baisse infime par rapport à son score original de 0,929). Cela a prouvé deux choses :

1. Le robot utilisait effectivement l'astuce de la longueur pour obtenir ces scores élevés au départ.
2. Mais le robot a aussi réellement appris une partie du sens des mots, car il pouvait toujours bien se débrouiller même lorsque l'astuce de la longueur était supprimée.

Le problème n'était pas que le robot était trop stupide pour apprendre l'ourdou ; le problème était que le premier manuel qu'il utilisait contenait un « code de triche » (la différence de longueur) qui n'existait pas dans le monde réel.

Ce que cela signifie pour l'avenir

Cette étude est un véritable signal d'alarme pour tous ceux qui construisent des IA pour lutter contre les fausses informations, particulièrement dans des langues comme l'ourdou. Elle montre que le fait qu'un robot obtienne un score élevé à un test ne signifie pas qu'il est réellement intelligent. Si le test contient un truc caché (comme des fausses nouvelles qui sont toujours plus longues), le robot se contentera de mémoriser le truc et échouera face à une situation réelle où ce truc ne s'applique pas.

Les chercheurs suggèrent qu'à l'avenir, nous devons être beaucoup plus prudents lors de la création de ces bases de données d'actualités. Nous devrions vérifier que les vraies et les fausses nouvelles ont à peu près la même longueur, et nous devrions tester nos robots sur des ensembles d'actualités différents pour nous assurer qu'ils ne sont pas simplement en train de tricher avec des raccourcis. Tant que nous ne le ferons pas, nos robots de lutte contre les fausses informations pourraient ressembler davantage à un étudiant qui a mémorisé le corrigé d'un examen spécifique, plutôt qu'à un véritable détective capable de résoudre n'importe quel mystère.