MUESCA: A Multi-Genre Corpus and Annotation Scheme for Subjectivity in Spanish

Dans le vaste paysage du langage humain, il existe une tension constante entre ce qui est simplement vrai et ce qui est ressenti comme vrai. Pendant des décennies, les scientifiques travaillant dans le domaine du traitement du langage naturel ont tenté d'apprendre aux ordinateurs à faire la différence entre un énoncé de fait et une expression d'opinion personnelle. Cette tâche, connue sous le nom de détection de la subjectivité, est cruciale pour tout, du tri des articles de presse à la compréhension du sentiment public. Cependant, l'approche traditionnelle a souvent été trop simple, traitant le langage comme un interrupteur binaire où une phrase est soit objective, soit subjective. En réalité, la communication humaine est rarement aussi tranchée. Un rapport d'actualité peut énoncer un fait tout en le cadrant subtilement avec la perspective d'un journaliste ; un article scientifique peut présenter des données brutes tout en utilisant un langage prudent pour décrire des possibilités futures. Le défi consiste à capturer ce juste milieu fluide, où la « empreinte digitale de l'auteur » est cachée à l'intérieur de mots qui paraissent neutres en surface.

Une équipe de chercheurs de l'Université d'Alicante, en Espagne, a franchi une étape importante vers la résolution de cette énigme en créant une nouvelle ressource appelée MUESCA. Plutôt que de forcer les textes dans des cases rigides, ils ont construit un ensemble de données qui traite la subjectivité comme une échelle glissante, ou un continuum. Pour ce faire, ils ont rassemblé et analysé trois types d'écrits très différents : des résumés scientifiques, qui représentent l'extrémité la plus objective du spectre ; des avis de consommateurs, qui représentent l'extrémité la plus subjective ; et des articles de presse, qui se situent dans le milieu hybride et complexe. En examinant comment les auteurs de ces différents genres utilisent des outils linguistiques spécifiques — tels que des mots qui expriment la certitude, des expressions qui marquent le doute ou des pronoms qui révèlent l'implication personnelle — les chercheurs ont cartographié précisément comment la « voix » de l'écrivain change à travers ces styles. Leur travail offre une nouvelle façon de mesurer la présence invisible d'un auteur humain au sein d'un texte, proposant une carte plus nuancée pour permettre aux ordinateurs de naviguer dans le monde complexe de l'expression humaine.

Le cœur de ce projet est le corpus MUESCA, une collection de 1 865 phrases tirées de 135 documents. Les chercheurs n'ont pas seulement collecté ces phrases ; ils les ont méticuleusement annotées, marquant des caractéristiques grammaticales et lexicales spécifiques qui signalent à quel point l'auteur s'engage dans ce qu'il dit. Ils ont divisé ces signaux en deux groupes principaux : l'engagement élevé de l'auteur et l'engagement faible de l'auteur. L'engagement élevé comprend des marqueurs de certitude, comme l'utilisation du futur ou l'énoncé d'une chose comme un fait, ainsi que des marqueurs de participation, comme l'usage de « je » ou « nous ». L'engagement faible comprend des marqueurs de doute, tels que le mode subjonctif ou des mots comme « peut-être », et des marqueurs de distanciation, comme l'utilisation de la voix passive pour masquer l'auteur de l'action. En comptant ces caractéristiques, l'équipe a pu observer comment les résumés scientifiques ont tendance à s'appuyer sur des données spécifiques et des structures impersonnelles, tandis que les avis sont remplis d'opinions personnelles et d'un engagement direct. Les articles de presse, comme on pouvait s'y attendre, présentaient un mélange des deux, confirmant leur statut de genre hybride.

Pour garantir la robustesse de leurs résultats, les chercheurs ont testé si ces marqueurs linguistiques pouvaient réellement aider les ordinateurs à distinguer les différents types d'écrits. Ils ont entraîné des modèles d'apprentissage automatique pour classer les textes en catégories objectives, hybrides ou subjectives. Lorsque les modèles recevaient uniquement le texte brut, ils performaient raisonnablement bien, mais lorsque les chercheurs ajoutaient les marqueurs pragmatiques spécifiques de leur schéma d'annotation, les modèles devenaient nettement plus performants pour cette tâche. La combinaison de caractéristiques la plus efficace impliquait de mesurer le niveau de spécificité et le degré de certitude. Cette approche permettait à l'ordinateur de comprendre non seulement de quoi traitait le texte, mais aussi comment l'auteur présentait cette information. Les résultats étaient particulièrement probants pour le genre journalistique, qui est souvent le plus difficile à classifier car il mélange faits et interprétation. En utilisant ces marqueurs pragmatiques, le modèle a amélioré sa capacité à repérer les manières subtiles dont les journalistes cadrent leurs récits.

Les chercheurs ont également exploré comment ces règles conçues par l'homme pouvaient fonctionner aux côtés de l'intelligence artificielle moderne. Ils ont combiné leurs marqueurs spécifiques avec un puissant modèle de langage appelé BETO, qui est entraîné sur de vastes quantités de textes espagnols. Même si ce modèle avancé était déjà très performant pour comprendre la langue, l'ajout des marqueurs de subjectivité spécifiques a tout de même amélioré ses performances. L'amélioration était faible en termes de pourcentage, mais statistiquement significative, suggérant que les règles explicites sur l'engagement de l'auteur aident l'ordinateur à résoudre les ambiguïtés que les seuls modèles statistiques ne parviennent pas à saisir. Cela est particulièrement vrai pour les articles de presse, où la précision du modèle augmentait lorsqu'il pouvait percevoir les signaux linguistiques spécifiques de doute ou de certitude. L'étude confirme que, bien que les grands modèles d'IA soient puissants, ils bénéficient toujours d'une compréhension structurée de la manière dont les humains construisent leurs arguments et expriment leurs croyances.

L'un des aspects les plus révélateurs de l'étude a été la façon dont le genre de l'information s'est comporté face aux deux autres extrêmes. Lorsque les chercheurs ont testé le modèle en lui demandant de distinguer l'actualité des résumés scientifiques, le modèle a trouvé la tâche relativement facile. Cependant, lorsqu'on lui a demandé de distinguer l'actualité des avis de consommateurs, la tâche s'est avérée plus difficile. Cela suggère que le langage journalistique, malgré sa réputation de neutralité, partage plus d'ADN pragmatique avec les articles d'opinion personnelle qu'avec le langage détaché de la science. Les articles de presse contenaient souvent suffisamment de cadrage subjectif et de langage évaluatif pour brouiller la ligne avec les avis, les rendant plus difficiles à séparer du pôle subjectif. Cette conclusion soutient l'idée que la subjectivité n'est pas une propriété fixe d'un type de texte, mais une qualité fluide qui peut varier selon la manière dont l'auteur choisit de présenter son information.

Le projet MUESCA ne prétend pas avoir résolu entièrement le problème de la détection de la subjectivité, mais il fournit une base solide pour des travaux futurs. Les chercheurs ont mis leur ensemble de données et leurs directives d'annotation à la disposition d'autrui, permettant à la communauté scientifique de s'appuyer sur leur travail. Ils prévoient d'étendre le corpus pour inclure plus de genres, tels que les publications sur les réseaux sociaux et les rapports techniques, afin de voir si leur méthode tient la route dans des environnements plus informels ou polarisés. Ils voient également un potentiel d'application dans la détection de la tromperie, où la manière dont l'information est présentée — par la certitude ou le doute — pourrait être plus révélatrice que les faits eux-mêmes. En se concentrant sur la prestation pragmatique de l'information plutôt que sur le contenu seul, cette approche offre un nouveau prisme pour comprendre comment les humains utilisent le langage pour façonner la réalité. Le travail démontre qu'en décomposant la tâche complexe de la subjectivité en composantes linguistiques mesurables, nous pouvons construire des outils qui sont non seulement plus précis, mais aussi plus transparents quant à la manière dont ils parviennent à leurs conclusions.