Generative-AI Rewriting and the Robustness of Health Misinformation Detection: A Cross-Dataset Evaluation of Failure Mechanisms and Mitigation

À l'ère du numérique, l'information de santé voyage à la vitesse d'un clic, mais la désinformation aussi. Depuis des années, des scientifiques conçoivent des programmes informatiques destinés à agir comme des gardiens, analysant les textes en ligne pour séparer les conseils médicaux fiables des faussetés dangereuses. Ces programmes sont devenus très performants lorsqu'ils traitent le texte tel qu'il se présente habituellement, atteignant souvent des scores quasi parfaits lors de tests standards. Cependant, une nouvelle vulnérabilité est apparue avec l'essor de l'intelligence artificielle générative. Ces outils puissants peuvent prendre une affirmation spécifique — qu'elle soit vraie ou fausse — et la réécrire complètement, en changeant les mots, la structure des phrases et le ton, tout en conservant exactement le même sens profond. Cette capacité à « blanchir » l'information crée une question critique : si un programme informatique est entraîné à repérer un mensonge en se basant sur sa forme rédactionnelle, que se passe-t-il lorsqu'une IA sophistiquée réécrit ce mensonge pour qu'il ressemble à un article de confiance et neutre ? La sécurité des outils de santé numériques dépend de la réponse à cette question, car un système qui échoue à reconnaître un mensonge réécrit pourrait laisser les gens vulnérables à des conseils préjudiciables, tandis qu'un système qui prend un énoncé vrai réécrit pour un mensonge pourrait réduire au silence des informations vitales.

Un chercheur de l'Université Metropolitan de Manchester s'est proposé de tester précisément ce scénario à l'aide d'une expérience computationnelle contrôlée. L'étude s'est concentrée sur deux crises sanitaires distinctes : la pandémie de COVID-19 et la récente épidémie de variole du singe. Le chercheur a pris une large collection de publications réelles concernant ces sujets, certaines vérifiées comme vraies et d'autres confirmées comme fausses, et a utilisé un outil d'IA générative pour créer trois versions différentes de chaque publication. Une version a été réécrite pour être neutre et facile à lire, une autre a été réorganisée pour paraître plus logique et fondée sur des preuves, et une troisième a été modifiée pour paraître plus urgente ou persuasive, tout en veillant à ce que l'affirmation médicale sous-jacente reste inchangée. Ces versions réécrites ont ensuite été soumises à neuf types différents de logiciels de détection, allant de modèles statistiques simples à des réseaux neuronaux complexes, afin de voir s'ils pouvaient toujours identifier la vérité.

Les résultats ont révélé une fragilité frappante de la génération actuelle de détecteurs. Avant la réécriture, les logiciels étaient exceptionnellement performants, identifiant correctement les informations vraies et fausses dans presque tous les cas. Mais une fois le texte altéré par l'IA, les performances de la plupart des systèmes se sont effondrées. Sur l'ensemble de données relatif à la COVID-19, la précision moyenne des détecteurs est passée d'un score quasi parfait de 0,987 à une plage comprise entre 0,428 et 0,479. Cela signifie qu'après la réécriture du texte, la capacité des ordinateurs à prendre des décisions binaires correctes selon leurs paramètres standards a considérablement échoué, même si leur capacité sous-jacente à classer les informations fiables plus haut que la désinformation restait sensiblement meilleure que le hasard. L'échec n'était pas uniforme selon les systèmes ou les types de textes. Dans les tests sur la COVID-19, le problème principal était que les logiciels commençaient à signaler des informations fiables et vraies comme étant fausses à un rythme alarmant, réduisant ainsi de fait les sources dignes de confiance au silence. En revanche, sur l'ensemble de données de la variole du singe, le principal échec était l'inverse : le logiciel cessait de détecter les mensonges, laissant passer la désinformation réécrite comme si elle était vraie.

L'étude a également examiné pourquoi ces échecs se produisaient en analysant comment l'IA modifiait le texte. Elle a découvert que le facteur le plus significatif provoquant l'échec des détecteurs n'était pas nécessairement le ton émotionnel ou les arguments spécifiques utilisés, mais plutôt les changements structurels de l'écriture. Lorsque l'IA raccourcissait le texte ou rendait les phrases plus complexes et plus difficiles à lire, les détecteurs étaient nettement plus susceptibles de commettre des erreurs. Cela suggère que les logiciels s'appuyaient trop lourdement sur des motifs de surface spécifiques liés à la manière dont le texte original était écrit, plutôt que de comprendre réellement les faits médicaux qu'il contient. Lorsque ces motifs étaient altérés, le logiciel perdait ses repères.

Pour remédier à cette faiblesse, le chercheur a testé une stratégie défensive : entraîner les détecteurs sur ces versions réécrites avant même leur déploiement. En fournissant au logiciel des exemples du texte original et des versions réécrites par l'IA, l'objectif était d'apprendre au système à reconnaître la vérité, quelle que soit sa formulation. Cette approche a très bien fonctionné pour les données de la variole du singe, où les détecteurs ont amélioré leur capacité à repérer les mensonges réécrits de manière significative, les neuf modèles montrant une meilleure performance. Cependant, ce correctif n'a pas fonctionné de manière aussi cohérente pour les données de la COVID-19, et n'a pas aidé le logiciel à bien performer lorsqu'il était testé sur un sujet de maladie totalement différent. Cela indique que, si l'entraînement sur des textes réécrits peut rendre un système plus robuste dans un contexte spécifique, cela ne crée pas encore un bouclier universel capable de fonctionner sur tous les sujets de santé ou sur tous les types de réécriture par l'IA.

L'étude conclut qu'une grande précision lors de tests standards ne suffit plus à garantir qu'un détecteur de désinformation sanitaire est sûr pour une utilisation en conditions réelles. La capacité de l'IA générative à réécrire du contenu sans en changer le sens expose une vulnérabilité profonde des systèmes actuels, provoquant soit l'omission de mensonges dangereux, soit l'accusation injuste de faits vrais de fausseté. Bien que l'entraînement des détecteurs sur ces exemples réécrits offre une voie prometteuse pour améliorer leur résilience, la solution n'est pas encore un correctif complet. La recherche suggère que les outils futurs doivent être testés non seulement sur le texte original, mais aussi sur les nombreuses façons dont ce texte peut être transformé, afin de garantir que les protections numériques protégeant la santé publique restent efficaces même lorsque le langage de la désinformation évolue.