FrenchNews-7: Benchmarking Cross-Publisher French News Editorial Desk Classification
Cet article présente FrenchNews-7, un nouveau benchmark pour la classification d'articles de presse français en sept catégories éditoriales à travers plusieurs éditeurs, lequel démontre qu'un modèle CamemBERT affiné surpasse les grands modèles de langage en mode zero-shot et révèle que la performance de classification varie considérablement selon la catégorie, les domaines ambigus tels que « Économie » et « Société » approchant les limites d'accord humain.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le paysage vaste et bruyant de l'actualité moderne, chaque article appartient à un département spécifique au sein d'un journal ou d'un site web. Tout comme une bibliothèque classe les livres dans des sections distinctes telles que l'histoire, les sciences ou la fiction, les organisations de presse orientent les articles vers des bureaux éditoriaux spécialisés : une équipe s'occupe du sport, une autre de la politique, et une troisième gère les affaires internationales. Pour les chercheurs étudiant la manière dont différents médias façonnent l'opinion publique, la capacité de trier automatiquement ces articles est essentielle. Sans cela, comparer la couverture d'un même événement par deux journaux devient une tâche manuelle, impossible. Le défi, cependant, est que chaque éditeur utilise son propre système unique pour étiqueter les articles. Un site peut qualifier un article de « société », tandis qu'un autre l'appellera « affaires intérieures », même si le contenu est identique. Pour construire un outil capable de fonctionner sur l'ensemble du paysage médiatique français, les scientifiques avaient besoin d'un moyen de traduire ces différents langages internes en une compréhension unique et partagée.
Un chercheur a désormais créé une nouvelle norme pour cette tâche, appelée FrenchNews-7. Il a rassemblé près de 88 000 articles de presse provenant de 13 éditeurs français différents, allant des grands quotidiens nationaux aux médias exclusivement numériques et à la presse régionale. Son objectif était d'apprendre à un ordinateur à reconnaître le bureau éditorial auquel appartient un article, quel que soit le site web qui l'a publié. Pour ce faire, il a d'abord cartographié les sept catégories les plus courantes utilisées à travers ces supports : société, culture et loisirs, actualités internationales, politique intérieure, sport, économie, et science et technologie. Il a ensuite construit un système d'étiquetage hybride. Pour environ 72 % des articles, l'étiquette était évidente car l'adresse du site web contenait elle-même le nom de la catégorie, comme un lien web se terminant par « /sport » ou « /politique ». Pour les 28 % restants, où l'adresse était vague ou manquante, le chercheur a utilisé un grand modèle de langage pour lire le titre et le texte intégral afin d'assigner la catégorie correcte. Ce processus a été soigneusement vérifié par des experts humains et par l'intelligence artificielle pour garantir l'exactitude des étiquettes, aboutissant à un ensemble de données où l'accord entre les évaluateurs humains était très élevé.
En utilisant ce nouveau jeu de données, le chercheur a entraîné plusieurs modèles informatiques pour accomplir la tâche de tri. Il a testé des modèles qui ne regardaient que le titre par rapport à des modèles qui lisaient l'article complet. Les résultats ont montré que la lecture du texte intégral offrait un avantage net, permettant à l'ordinateur de comprendre le contexte d'un article plutôt que de simplement deviner à partir d'un titre. Le système le plus performant, un modèle spécifiquement entraîné sur la langue française, a atteint un haut niveau de précision, identifiant correctement le bureau éditorial d'environ 80 % des articles qu'il n'avait jamais vus auparavant. Cette performance s'est maintenue même lorsque le modèle a été testé sur quatre éditeurs totalement nouveaux qui ne faisaient pas partie du groupe d'entraînement initial. L'étude a révélé que, si les articles de sport et de culture étaient faciles à trier, les articles sur l'économie et la société en général étaient beaucoup plus difficiles à catégoriser de manière cohérente. En fait, lorsque le chercheur a demandé à des experts humains de trier ces articles économiques difficiles provenant des nouveaux éditeurs, les humains n'étaient d'accord entre eux qu'environ 55 % du temps. Cela suggère que la difficulté n'était pas un défaut de l'intelligence de l'ordinateur, mais plutôt une ambiguïté réelle dans la manière dont les salles de rédaction décident elles-mêmes de classer ces articles complexes.
Le chercheur a également comparé son modèle spécialisé à plusieurs systèmes d'intelligence artificielle généralistes et puissants qui n'avaient pas été entraînés sur ces données de presse spécifiques. Même avec les modèles généralistes les plus avancés, le modèle français spécialisé a été plus performant, particulièrement dans les catégories délicates de l'économie et de la société. Cela indique que pour des tâches spécifiques et à haut volume comme le tri de l'actualité, un modèle affiné (fine-tuned) sur le langage et la structure réels du domaine cible surpasse un outil généraliste. Le chercheur a mis son jeu de données et son meilleur modèle à la disposition du public, permettant à d'autres chercheurs de s'appuyer sur ce travail. En fournissant un moyen fiable de trier l'actualité entre différents éditeurs, ce travail offre un nouveau fondement pour étudier la manière dont les médias français couvrent le monde, garantissant que les analyses futures reposent sur une compréhension cohérente et précise de l'appartenance de chaque article.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.