FactLink: A Cross-Domain Benchmark for Link Role Classification for Fact-Checking

Imaginez l'internet comme une immense et chaotique bibliothèque où n'importe qui peut écrire un livre, coller une note sur le mur ou crier une rumeur depuis le toit. Parfois, ces notes sont vraies ; d'autres fois, ce sont des mensonges élaborés conçus pour vous tromper. Entrez en scène les « fact-checkers » (les vérificateurs de faits), un groupe de bibliothécaires et de journalistes numériques qui se précipitent pour nettoyer le désordre. Ils écrivent des articles qui disent : « Hé, cette note sur le mur est fausse ! » et pointent ensuite vers deux choses très différentes : la fausse note elle-même (pour que vous puissiez voir à quoi ressemble le mensonge) et la preuve fiable (comme un rapport de police ou une étude scientifique) qui prouve que le mensonge est faux.

Le problème est que, dans le monde numérique, ces vérificateurs de faits se contentent souvent de déposer un tas de liens dans leurs articles sans vous dire lequel est la « fausse note » et lequel est la « preuve ». C'est comme un détective qui pointerait du doigt une photo de la scène de crime et un kit de prélèvement d'empreintes digitales en disant : « Regardez ces deux choses », sans expliquer lequel est le coupable et lequel est la solution. Cela rend difficile l'apprentissage automatique pour les ordinateurs afin de repérer les mensonges. Si un ordinateur ne peut pas faire la différence entre un lien vers un menteur et un lien vers un porteur de vérité, il ne peut pas aider les bibliothécaires à trier la bibliothèque. C'est là qu'intervient la science de la « classification du rôle des liens » : c'est l'art d'apprendre aux machines à regarder un lien et à demander : « Es-tu le méchant ou le héros ? »

Ce document présente un nouvel outil appelé FactLink pour aider à résoudre ce casse-tête. Les chercheurs, une équipe de l'Université de Sheffield et d'une entreprise bulgare, ont réalisé que bien que nous ayons beaucoup d'articles de vérification des faits, nous n'avons pas de bonne façon d'enseigner aux ordinateurs à comprendre l' objet des liens à l'intérieur de ceux-ci. Ils ont donc construit une « salle de sport » pour ordinateurs en utilisant deux ensembles de données très différents.

Premièrement, ils ont créé un ensemble de données Gold Standard (Standard d'Or). Considérez cela comme un examen strict et à enjeux élevés. Ils ont pris 1 782 liens provenant d'articles de vérification des faits en anglais et en bulgare et ont fait étiqueter chaque lien avec soin par des volontaires humains formés. Ces volontaires étaient comme des juges experts, décidant si un lien pointait vers la Désinformation (le mensonge), la Preuve de Soutien (la preuve) ou Autre (juste du bruit de fond). Cet ensemble de données est petit mais incroyablement précis, avec un haut niveau d'accord entre les juges, ce qui en fait un test parfait pour voir si un ordinateur est réellement intelligent.

Deuxièmement, ils ont rassemblé un ensemble de données massif Journalist-Tagged (étiqueté par des journalistes). C'est comme un immense terrain de jeu du monde réel. Ils ont collecté plus de 49 000 liens provenant d'articles écrits par des journalistes professionnels de l'AFP (une agence de presse majeure). Ces journalistes avaient déjà étiqueté leurs propres liens tout en faisant leur travail quotidien. Cet ensemble de données est énorme et couvre plus de 30 langues, mais il est un peu plus désordonné car il reflète la façon dont les humains travaillent réellement dans le monde, et non la façon dont ils travaillent dans un examen parfait.

Les chercheurs ont ensuite mis à l'épreuve deux types de cerveaux informatiques : les Transformers affinés (des modèles qui sont comme des étudiants ayant étudié très intensément un manuel spécifique) et les Grands Modèles de Langage (LLM) (comme des génies au savoir général étendu qui n'ont pas étudié ce manuel spécifique mais qui peuvent comprendre à partir de quelques exemples).

Voici ce qu'ils ont découvert, et c'est un peu un retournement de situation :

• Lorsqu'il y a beaucoup de données : Si vous donnez aux modèles « étudiants » (les transformers affinés) une énorme pile d'exemples à étudier, comme les 49 000 liens des journalistes, ils deviennent de véritables champions. Ils ont obtenu un Macro-F1 de 0,866, ce qui est un score très élevé, signifiant qu'ils sont devenus très doués pour repérer la différence entre les mensonges et les preuves.
• Lorsqu'il y a très peu de données : Mais lorsque les chercheurs ont testé ces modèles sur le petit ensemble « Gold Standard » (seulement 1 782 liens), les modèles « étudiants » ont trébuché, obtenant un score de 0,745.
• Les génies brillent dans l'obscurité : C'est ici que les LLM (les génies au savoir général) ont surpris tout le monde. Lorsqu'ils ont reçu seulement quelques exemples (une approche « few-shot ») pour apprendre, ils ont en fait fait mieux que les modèles étudiants sur le petit ensemble de données, avec un score de 0,76. Ils étaient également beaucoup plus stables lorsque les règles changeaient légèrement (tests cross-domain).

Le document suggère qu'il n'existe pas un seul « meilleur » cerveau informatique pour cette tâche. Si vous avez une quantité massive de données étiquetées et que vous avez besoin d'un travailleur fiable et constant, le transformer affiné est votre meilleur choix. Mais si vous êtes dans une situation nouvelle, traitant une petite quantité de données, ou si vous avez besoin d'un modèle capable de s'adapter rapidement à différentes langues et styles sans réentraînement, le LLM est le choix le plus robuste.

Les auteurs ont également noté que même les humains éprouvent des difficultés avec cette tâche. Lorsqu'ils ont examiné les points de désaccord entre les juges humains, ils ont constaté que la frontière entre la « Preuve de Soutien » et « Autre » (informations de contexte) est souvent floue. Il est difficile de dire si un lien est une pièce de preuve cruciale ou simplement une note d'information utile. Cela signifie que même les meilleurs modèles informatiques seront confrontés à un défi qui est en partie dû à l'ambiguïté naturelle du langage humain, et non seulement à un manque de puissance de calcul.

En résumé, ce document n'a pas seulement construit un ensemble de données ; il a montré que la meilleure façon de combattre les mensonges en ligne avec l'IA dépend de la quantité de données dont vous disposez. Parfois, vous avez besoin d'un spécialiste qui a étudié le manuel, et parfois, vous avez besoin d'un généraliste qui peut comprendre sur le vif. En fournissant ces deux nouveaux ensembles de données, les chercheurs ont donné à la communauté scientifique un nouveau moyen d'entraîner et de tester ces détectives numériques, dans l'espoir de rendre l'internet un peu moins confus et beaucoup plus véridique.