A Multi-Model, Multi-Domain Benchmark of Large Language Model Agreement with Humans and with Each Other in Sentiment Classification
Cet article présente un benchmark multi-domaine évaluant cinq grands modèles de langage, un lexique fondé sur des règles et un transformeur supervisé par rapport à des annotations humaines, révélant que si les modèles de premier plan comme Claude Opus 4.7 et GPT-5.5 atteignent un fort alignement avec les humains, des désaccords significatifs persistent entre les modèles et avec les étiquettes humaines — particulièrement sur le texte informel — démontrant que la sélection du modèle impacte matériellement les résultats de la classification de sentiment.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde des ordinateurs qui lisent et comprennent le langage, il existe une tâche aussi ancienne qu'Internet lui-même : déterminer si un texte est joyeux, triste ou s'il énonce simplement un fait. C'est ce qu'on appelle l'analyse de sentiment. Pendant des années, les gens ont utilisé ces outils pour deviner comment la bourse réagirait à un rapport d'actualité, pour voir si les clients sont mécontents d'un produit, ou pour suivre l'humeur publique lors d'une crise sanitaire. Récemment, une nouvelle génération de ces programmes informatiques, connus sous le nom de grands modèles de langage, est arrivée. Ce sont les mêmes types de systèmes qui peuvent écrire des histoires, répondre à des questions et tenir des conversations. Parce qu'ils sont très doués pour comprendre le langage humain, beaucoup de gens ont commencé à les utiliser pour faire le travail de tri de texte par émotion, espérant remplacer le travail lent et coûteux des réviseurs humains par une simple commande informatique.
Mais il y a un problème avec cette nouvelle approche. Tout comme différentes personnes peuvent être en désaccord sur le fait qu'une critique de film soit sarcastique ou sincère, ces différents programmes informatiques peuvent ne pas être d'accord entre eux. Un programme peut qualifier une phrase de « positive », tandis qu'un autre peut qualifier la même phrase exacte de « négative ». Si une banque ou un hôpital se fie à ces outils pour prendre des décisions importantes, il est crucial de savoir lequel choisir. Jusqu'à présent, personne n'avait systématiquement vérifié à quel point ces différents programmes concordent entre eux, ou à quelle fréquence ils concordent avec de véritables juges humains, lorsqu'ils examinent tous le même texte.
Un chercheur nommé Aneesh K Sajan a décidé de trancher cette question en menant une expérience massive et contrôlée. Il a rassemblé cinq des modèles de langage les plus avancés actuellement disponibles provenant de quatre entreprises technologiques différentes, ainsi que deux outils plus anciens et plus simples servant de base de référence. Il les a nourris avec un total de 8 872 phrases tirées de cinq ensembles de données différents. Ces phrases provenaient de sources variées : des rapports financiers formels, des publications occasionnelles sur les réseaux sociaux, des critiques de films et des appels sur les résultats financiers. L'objectif était de voir si les ordinateurs pouvaient identifier correctement l'émotion dans le texte par rapport à la façon dont les humains l'avaient étiquetée, et plus important encore, de voir à quelle fréquence les ordinateurs étaient d'accord les uns avec les autres.
Les résultats ont révélé une séparation claire dans les performances. Deux modèles, l'un d'une entreprise appelée Anthropic et l'autre d'OpenAI, se sont distingués comme étant les plus précis. Lorsque ces deux-là examinaient des textes financiers formels, ils correspondaient presque parfaitement aux jugements humains. Ils étaient également d'accord entre eux sur près de 90 % des phrases analysées. Un troisième modèle d'OpenAI suivait de très près, formant un groupe serré d'outils performants qui percevaient généralement le monde de la même manière. Cependant, un modèle de Google, conçu pour « réfléchir » aux problèmes avant de répondre, a obtenu des résultats étonnamment médiocres. Il s'est trompé de sentiment si souvent que ses résultats étaient à peine meilleurs qu'un choix aléatoire. Le chercheur a testé une théorie spécifique pour voir si cet échec était dû au fait que le modèle de Google passait trop de temps à réfléchir à des questions simples, un phénomène connu sous le nom de « sur-réflexion » (overthinking). Il a forcé le modèle à répondre avec un temps de réflexion beaucoup plus court, mais la faible performance a persisté. Cela a permis d'écarter l'idée que le modèle faisait simplement une sur-analyse de la tâche ; l'échec était inhérent à la manière dont ce modèle spécifique se comportait dans cette configuration.
Un autre modèle open-source, qui peut être exécuté sur l'ordinateur d'un chercheur plutôt que sur un serveur cloud, a obtenu des résultats modérés. Il n'était pas aussi précis que les meilleurs modèles commerciaux, mais il était nettement meilleur que les anciens outils basés sur des règles qui étaient utilisés depuis des années. L'étude a également révélé que le type de texte importait énormément. Tous les modèles étaient bien meilleurs pour comprendre l'écriture formelle et professionnelle que pour comprendre le langage informel et décontracté comme les tweets ou les messages textuels. Sur le texte informel, même les meilleurs modèles tombaient à un niveau d'accord qui n'était que « modéré », ce qui signifie qu'ils divergeaient encore avec les humains et entre eux sur un grand nombre de phrases.
La découverte la plus frappante fut peut-être la faible capacité des modèles à se mettre d'accord entre eux. Lorsque le chercheur a examiné l'ensemble du groupe de six outils, ils n'ont donné exactement la même réponse que sur environ 14 à 24 % des phrases. Sur les phrases restantes, il n'y avait pas de majorité claire. Cela signifie que pour une immense partie du texte que les gens analysent chaque jour, le résultat final dépend entièrement du programme informatique que vous utilisez. Si un analyste financier utilise un modèle pour lire un rapport et qu'un autre analyste en utilise un autre, ils pourraient arriver à des conclusions opposées sur la même nouvelle.
L'étude conclut que, bien que ces nouveaux outils soient puissants, ils ne sont pas interchangeables. Le choix du modèle n'est pas un détail technique mineur ; c'est une décision qui change la donnée elle-même. Pour les tâches impliquant des documents financiers formels, les meilleurs modèles sont fiables et cohérents. Mais pour le texte informel, ou pour les tâches où la différence entre le positif et le négatif est subtile, le désaccord entre les modèles est un signe d'incertitude réelle. Dans ces cas, le chercheur suggère qu'il est risqué de compter sur un seul ordinateur. Au lieu de cela, la meilleure approche consiste à utiliser plusieurs modèles ensemble ou à faire réviser les phrases où les ordinateurs ne sont pas d'accord par un humain, afin de s'assurer que la décision finale n'est pas seulement le produit du logiciel choisi.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.