UTS at CheckThat! 2026: Cite-Frame Engineering for Generated Fact-Checking Articles

Dans l'écosystème de l'information moderne, vérifier une affirmation n'est que la moitié de la bataille ; expliquer pourquoi elle est vraie ou fausse à un lecteur humain est l'autre moitié. C'est le domaine de la vérification automatique des faits (fact-checking), un domaine où les ordinateurs tentent d'imiter le travail rigoureux des journalistes. Le défi ne consiste pas seulement à trouver la bonne preuve, mais à tisser cette preuve en un article cohérent qu'un humain puisse croire et qu'un ordinateur puisse vérifier. Une compétition récente, CheckThat! 2026, a chargé des équipes de construire des systèmes capables de générer automatiquement ces articles de vérification. Les systèmes devaient prendre une affirmation spécifique, trouver des preuves de soutien à partir d'une liste de liens web, et rédiger un court rapport citant ces liens. La notation était impitoyable : un programme informatique évaluait les articles en fonction de leur correspondance avec des exemples écrits par des humains et, surtout, de la capacité de chaque phrase citant une source à être réellement soutenue par le texte de ladite source. Si un système inventait un détail ou citait mal une source, même légèrement, l'ordinateur le pénalisait lourdement.

Une équipe de l'Université de technologie de Sydney a participé à cette compétition avec un système qui a suivi une voie différente de la plupart des autres. Alors que les autres équipes tentaient d'utiliser une intelligence artificielle puissante pour rédiger l'article entier de zéro, l'équipe de Sydney a construit un système qui reposait sur un modèle (template) rigide et prévisible pour le texte principal, utilisant l'intelligence artificielle uniquement comme un gardien strict pour vérifier les sources. Leur approche les a classés deuxièmes sur onze équipes. La clé de leur succès n'a pas été de générer une prose plus créative, mais de comprendre exactement comment fonctionnait le juge informatique. Ils ont découvert que le juge était incroyablement conservateur, récompensant les articles qui s'en tenaient étroitement aux faits fournis et rejetant toute phrase ajoutant de la fioriture ou des détails non vérifiés. En concevant leur système pour respecter ces règles strictes, ils ont créé une machine capable de produire de manière fiable des articles de vérification qui étaient précis, même s'ils n'étaient pas particulièrement élégants.

Les chercheurs ont commencé par tester l'idée la plus évidente : laisser un grand modèle de langage, un type d'intelligence artificielle capable de rédiger un texte fluide, rédiger l'article entier. Ils ont essayé cela avec des modèles de différentes tailles, espérant que la machine apprendrait à sonner comme un professionnel de la vérification des faits. Cela n'a pas fonctionné. Les articles générés par ces modèles échouaient systématiquement au système de notation de l'ordinateur. Le problème était structurel. Le juge informatique recherchait des motifs spécifiques dans le texte, particulièrement la manière dont les sources étaient citées. Lorsque l'intelligence artificielle essayait d'écrire naturellement, elle modifiait souvent la façon dont une source était mentionnée ou ajoutait des mots supplémentaires que l'ordinateur ne pouvait pas vérifier par rapport à la preuve originale. Même un petit changement, comme ajouter le nom d'un examinateur ou une date qui ne figurait pas dans le texte de la source, provoquait le rejet de la phrase par l'ordinateur. Plus l'intelligence artificielle était capable d'écrire, plus elle s'éloignait des schémas stricts requis par le juge. L'équipe a réalisé que tenter de faire en sorte que la machine « écrive mieux » la faisait en réalité moins bien performer.

Au lieu de chercher à améliorer l'écriture, l'équipe a décidé d'améliorer la structure. Ils ont construit un système qui commençait par un modèle simple et immuable. Ce modèle créait un article de base avec un titre, une seule phrase pour chaque preuve, et une conclusion. Ce brouillon de type « stub » était ennuyeux, mais il était sûr. Il suivait parfaitement les règles. L'équipe a ensuite ajouté deux outils spécifiques à ce système, agissant comme des inspecteurs de contrôle qualité. Le premier outil, qu'ils ont appelé un cadre d'attribution de domaine (domain-attribution frame), enveloppait simplement chaque citation dans une phrase standard telle que « Selon le site web, [fait] ». Ce petit changement rendait les phrases plus proches des exemples écrits par des humains auxquels l'ordinateur les comparait, sans changer les faits. Le second outil était un validateur fantôme (shadow validator). Avant que le système ne finalise une phrase, il demandait à un petit modèle d'intelligence artificielle de vérifier si cette phrase spécifique était réellement soutenue par le lien de la source. Si le modèle disait non, le système essayait la phrase suivante du texte de la source. Si cela échouait également, il restait sur la phrase d'origine sécurisée. Cela garantissait que chaque citation produite par le système était une chose que le juge informatique accepterait.

Les résultats de cette approche étaient clairs et mesurables. Sur les données de validation utilisées pour tester leur système avant la compétition, leur méthode a amélioré le score global par une marge petite mais significative par rapport au modèle de base. Lorsqu'ils ont combiné l'outil de cadrage et le validateur fantôme, l'amélioration fut encore plus grande. Le système n'essayait pas d'être ingénieux ; il s'assurait simplement que chaque phrase était vérifiable et respectait le format correct. Dans la compétition finale, leur système a obtenu un score de 0,484, se classant deuxième parmi onze équipes. L'équipe gagnante avait un score plus élevé, mais l'écart entre elles était entièrement dû à une métrique spécifique : la précision de la citation. L'équipe gagnante avait réussi à citer les sources avec une précision beaucoup plus élevée, probablement en choisissant d'omettre les citations dont elle n'était pas sûre, alors que l'équipe de Sydney citait chaque source qui lui était donnée. Le système de l'équipe de Sydney était si fiable qu'il citait presque toutes les preuves disponibles, mais parce qu'il ne supprimait pas les éléments incertains, son score de précision était plus faible.

Le travail de l'équipe a révélé deux leçons importantes pour l'avenir de la vérification automatisée des faits. Premièrement, lorsqu'un juge informatique est conçu pour être strict sur la vérification, ajouter des mots supplémentaires ou tenter de rendre le texte plus humain nuit souvent au score. La stratégie la plus efficace consistait à garder le texte simple et strictement lié à la preuve. Deuxièmement, les outils utilisés pour sélectionner la phrase à citer étaient souvent trompeurs. L'équipe a découvert que les méthodes standards pour choisir la « meilleure » phrase d'une source, comme chercher la phrase la plus longue ou celle la plus pertinente par rapport à l'affirmation, choisissaient souvent des phrases que le juge informatique rejetterait. La seule façon fiable de choisir une phrase était de demander au juge lui-même. Cette intuition suggère que dans les tâches où l'exactitude est mesurée par une vérification stricte, la meilleure approche n'est pas de générer un nouveau contenu, mais de de manière minutieuse de sélectionner et de vérifier le contenu existant.

Les chercheurs ont également noté que leur système présentait une limitation. Comme ils étaient tenus de citer chaque preuve fournie, ils ne pouvaient pas adopter la stratégie de l'équipe gagnante, qui a probablement choisi de sauter les sources incertaines pour maintenir un score de précision élevé. L'équipe de Sydney a émis l'hypothèse que si elle avait ajouté une règle pour supprimer toute citation pour laquelle le juge n'était pas confiant, son score aurait pu être plus élevé. Cependant, ils n'ont pas testé cela pendant la compétition. Leur travail est une démonstration que dans les tâches de vérification à enjeux élevés, un système simple et déterministe qui privilégie l'exactitude sur la créativité peut surpasser des modèles d'intelligence artificielle complexes qui tentent d'écrire comme des humains. L'article conclut que pour la prochaine génération de ces systèmes, l'accent devrait passer de la génération d'une meilleure prose au développement de moyens plus intelligents pour décider de ce qu'il faut inclure et de ce qu'il faut laisser de côté, garantissant que chaque mot écrit par la machine puisse être prouvé vrai.