An Evidence-Grounded Retrieval-Augmented Transformer Framework for Health Misinformation Verification
Cette étude propose un cadre de transformeur avec augmentation par recherche pour vérifier la désinformation sanitaire au Nigeria en utilisant les preuves de l'OMS et du NCDC, lequel a atteint une précision de 71 % avec un modèle BERT tout en soulignant le besoin critique de sources de connaissances complètes et spécifiques au contexte pour surmonter les limites des référentiels de preuves actuels.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez l'internet comme une immense bibliothèque animée où n'importe qui peut crier un fait, une rumeur ou une hypothèse folle sur la santé. Parfois, les livres sont justes ; d'autres fois, ils sont remplis de bêtises qui peuvent rendre les gens malades ou effrayés. Ces dernières années, des scientifiques ont construit des « robots intelligents » (appelés IA) pour agir comme des bibliothécaires, lisant ces cris et décidant s'ils sont vrais ou faux. Ces robots utilisent un type spécial de cerveau appelé Transformer, qui est très doué pour comprendre le langage humain. Mais voici le piège : ces robots inventent parfois des choses parce qu'ils se fient uniquement à ce qu'ils se rappellent de leur entraînement, plutôt que de vérifier dans une encyclopédie réelle et fiable. Pour corriger cela, les chercheurs ont inventé une astuce appelée Génération Augmentée par Récupération (RAG). Considérez le RAG comme le fait de donner au robot un sac à dos rempli de livres de confiance. Avant que le robot ne réponde à une question, il fouille dans son sac à dos, sort la page la plus pertinente et la lit pour s'assurer que sa réponse est ancrée dans la réalité.
C'est exactement le défi relevé par une nouvelle étude menée par des chercheurs du Nigéria et de Russie. Ils voulaient voir s'ils pouvaient construire un bibliothécaire super intelligent pour les rumeurs de santé spécifiquement au Nigéria, en utilisant des sources fiables comme l'Organisation mondiale de la Santé (OMS) et le Centre nigérian de contrôle et de prévention des maladies (NCDC). Ils ont posé la question : « Si nous donnons à notre robot d'IA un sac à dos rempli de rapports de santé officiels nigérians et mondiaux, sera-t-il meilleur pour repérer les mensonges sur des maladies comme la fièvre de Lassa, le choléra ou la variole du singe ? » La réponse, étonnamment, n'était pas un simple « oui ». Bien que l'idée du sac à dos soit brillante, les chercheurs ont découvert que le sac à dos qu'ils avaient construit était trop petit et trop vide pour aider beaucoup le robot. Au lieu de cela, le succès du robot dépendait davantage du modèle de « cerveau » spécifique utilisé et de la façon dont il était enseigné, plutôt que des livres supplémentaires qu'ils avaient essayé de lui donner.
L'histoire du bibliothécaire numérique
Les chercheurs ont commencé par rassembler une collection de 67 affirmations de santé qui avaient déjà été vérifiées par des fact-checkers humains au Nigéria. Ces affirmations couvraient cinq maladies majeures : la COVID-19, la fièvre de Lassa, le choléra, la rougeole et la variole du singe. Certaines affirmations étaient vraies, certaines étaient fausses, et certaines étaient trompeuses (comme dire qu'une boisson a causé une épidémie alors que c'était en fait l'eau utilisée pour la préparer). Ils ont étiqueté ces affirmations comme « Vraies », « Fausses » ou « Trompeuses » pour créer un test pour leur IA.
Ensuite, ils ont construit leur « sac à dos ». Ils ont pris des documents officiels de l'OMS et du NCDC, les ont découpés en petits morceaux faciles à lire et les ont transformés en une bibliothèque numérique. Le plan était que l'IA examine une rumeur, cherche dans cette bibliothèque les faits correspondants les plus pertinents, puis utilise ces faits pour décider si la rumeur est un mensonge. Ils ont testé trois types différents de cerveaux d'IA : BERT, RoBERTa et DeBERTa. Ils ont également testé une version spéciale de DeBERTa qui est autorisée à chercher des faits dans leur bibliothèque (la version RAG).
La grande surprise
C'est ici que l'histoire prend un tournant. Vous pourriez vous attendre à ce qu'en donnant à l'IA un sac à dos de faits de confiance, elle devienne un génie. Mais les résultats ont été un peu décevants.
Les chercheurs ont découvert que le modèle BERT, sans l'aide du sac à dos, a en fait fait le meilleur travail. Il a donné la bonne réponse 71 % du temps et avait un score de 0,66 (une mesure de sa capacité à équilibrer le fait d'avoir raison et de ne rien manquer). C'était le champion.
Les autres modèles, y compris le sophistiqué DeBERTa, ont eu du mal. En fait, lorsqu'ils ont essayé d'aider DeBERTa en lui donnant plus d'exemples d'entraînement (une technique appelée « augmentation ») ou en le laissant chercher des faits dans la bibliothèque, il ne s'est pas amélioré. Il s'est en fait dégradé, finissant par deviner la même réponse pour presque tout. C'était comme un étudiant qui, lorsqu'on lui donne un manuel, cesse simplement de réfléchir et écrit « Vrai » pour chaque question parce qu'il est confus.
Pourquoi le sac à dos a-t-il échoué ? Les chercheurs ont réalisé que leur bibliothèque était trop petite. Plus précisément, lorsque le système ne trouvait pas de correspondance parfaite dans la bibliothèque principale, il devait compter sur une option de secours composée de seulement cinq résumés de maladies généraux (un pour chaque maladie). Cette petite collection était trop générique pour fournir les détails spécifiques nécessaires pour distinguer les affirmations vraies des fausses. Lorsque l'IA demandait : « Est-ce que cette épidémie spécifique à Lagos est réelle ? », le sac à dos n'avait pas la page spécifique à montrer ; il n'avait qu'un résumé vague. Parce que la bibliothèque était effectivement vide de preuves spécifiques, l'IA ne pouvait pas utiliser l'information supplémentaire pour prendre de meilleures décisions. C'était comme essayer de trouver une aiguille spécifique dans une botte de foin, mais la botte de foin ne contenait que trois brins de paille.
Ce que cela signifie
Cette étude suggère que l'ajout d'une fonction de « récupération » (le sac à dos) n'est pas une baguette magique. Si la bibliothèque que vous mettez dans le sac à dos n'est pas assez grande et détaillée, l'IA n'apprendra pas à l'utiliser. Les chercheurs ont conclu que pour cette configuration spécifique, le type de cerveau d'IA (BERT) importait plus que les livres supplémentaires. Ils ont également noté que leur ensemble de données était très petit (seulement 67 affirmations), ce qui rendait difficile pour l'IA d'apprendre la différence entre une histoire vraie, un mensonge et une demi-vérité trompeuse.
Les chercheurs sont toutefois optimistes. Ils suggèrent que s'ils construisent une bibliothèque beaucoup plus grande et mieux organisée avec des milliers de rapports spécifiques de l'OMS et du NCDC, le sac à dos pourrait enfin opérer sa magie. Pour l'instant, ils nous ont montré que dans le monde de la vérification des faits par l'IA, avoir un bon cerveau est important, mais avoir une bonne bibliothèque est tout aussi critique — et si la bibliothèque est vide, le cerveau ne peut pas faire son travail.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.