Creation of the Estonian Subjectivity Dataset: Assessing the Degree of Subjectivity on a Scale
Cet article présente un nouveau jeu de données en estonien pour la subjectivité au niveau du document contenant 1 000 textes évalués sur une échelle continue par des annotateurs humains, tout en évaluant la faisabilité et les limites de l'utilisation de GPT-5 pour le score de subjectivité automatisé par rapport au jugement humain.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de mesurer la quantité de « saveur » dans un bol de soupe. Certains bols ne sont que de l'eau pure (des faits purement objectifs), tandis que d'autres sont chargés d'épices, d'herbes et de l'opinion personnelle du chef (totalement subjectifs). Pendant longtemps, les chercheurs dans le monde de l'informatique et du langage (le Traitement du Langage Naturel) n'ont été capables de demander que : « Cette soupe est-elle épicée ou non ? » (Oui/Non).
Ce document traite de la création d'un nouveau verre doseur bien plus précis pour la langue estonienne. Au lieu d'un simple « oui ou non », les chercheurs ont créé un ensemble de données où ils ont évalué 1 000 textes estoniens différents sur une échelle graduée de 0 à 100. Un score de 0 correspond à un fait pur et sans mélange (comme un bulletin météo), et 100 à une opinion purement personnelle (comme un coup de gueule sur un mauvais film).
Voici l'histoire de la façon dont ils ont construit cela et de ce qu'ils ont découvert, expliquée simplement :
1. La Recette : Construire le Jeu de Données
L'équipe voulait voir si les humains pouvaient s'accorder sur ces « scores de saveur ».
- Les Ingrédients : Ils ont rassemblé 1 000 textes. 300 étaient des articles d'actualité et d'opinion provenant d'Internet, et 700 étaient des textes web aléatoires (comme des blogs, des forums, des recettes et des publicités).
- Les Goûteurs : Ils ont engagé des « goûteurs » humains (annotateurs) pour lire ces textes et leur donner un score entre 0 et 100.
- Le Test Pilote : Avant de s'attaquer aux 1 000 textes, ils ont testé la méthode sur seulement 60 textes. Cela a bien fonctionné ! Les goûteurs comprenaient l'échelle et pouvaient faire la différence entre un rapport d'actualité sec et un texte d'opinion épicé.
2. Le Test de Goût : Les Humains ne sont pas toujours d'accord
Lorsque l'équipe a demandé à trois personnes différentes de noter les mêmes 1 000 textes, les résultats ont été un peu désordonnés.
- Le Problème de la « Subjectivité » : Tout comme les gens ont des tolérances différentes pour les épices, les gens ont des idées différentes de ce qui constitue la subjectivité. Une personne peut penser qu'une information avec une citation est neutre, tandis qu'une autre pense que la citation la rend biaisée.
- La Corrélation : L'accord entre les humains était « modéré ». Ce n'était pas terrible, mais ce n'était pas parfait. Parfois, une personne donnait à un texte un score de 10 (très factuel) tandis qu'une autre lui donnait un 90 (très subjectif).
- Le Nouveau Goût : Pour corriger cela, ils ont choisi les 250 textes où les humains étaient le plus en désaccord et ont demandé à deux des goûteurs de les noter à nouveau. Cette fois, l'accord s'est nettement amélioré. Il s'est avéré que l'ordre dans lequel ils lisaient les textes importait. S'ils lisaient simplement une série de coups de gueule en colère, ils devenaient hyper-sensibles à l'objectivité pour le texte suivant. C'est comme si, après avoir mangé un citron très acide, le fruit suivant paraît plus doux qu'il ne l'est réellement.
3. Le Goûteur Robot : Entrée GPT-5
Les chercheurs ont ensuite posé une question : « Est-ce qu'un ordinateur super intelligent (une IA appelée GPT-5) peut faire ce travail aussi bien que les humains ? »
- L'Expérience : Ils ont laissé l'IA noter les 1 000 textes.
- Le Résultat : L'IA était étonnamment cohérente. Si vous lui demandiez de noter le même lot de textes trois fois, elle donnait presque toujours les mêmes réponses (contrairement aux humains, dont l'humeur et le contexte changeaient leurs scores).
- La Différence : Cependant, l'IA et les humains ne voyaient pas toujours les choses de la même manière.
- Citations : Lorsqu'un article d'actualité citait quelqu'un d'autre, les humains comprenaient que l'auteur ne faisait que rapporter des faits. L'IA, en revanche, voyait la citation et pensait : « Hé, cette personne exprime une opinion ! », ce qui augmentait le score de subjectivité du texte.
- Argot : Les humains aimaient donner des scores élevés aux textes écrits en argot ou en langage de forum parce que cela semblait personnel et émotionnel. L'IA se concentrait davantage sur les faits contenus dans l'argot et lui donnait un score plus bas, plus « objectif ».
4. Le Verdict Final
Le document conclut que :
- Le Jeu de Données est Réel : Ils ont réussi à créer le tout premier jeu de données estonien qui mesure la subjectivité sur une échelle fine (0–100) au lieu de simplement « oui/non ».
- Les Humains sont Imparfaits mais Humains : Les humains peuvent utiliser l'échelle, mais leurs scores sont influencés par ce qu'ils ont lu juste avant et par leur propre perspective personnelle.
- L'IA est une Aide, pas un Remplacement : L'IA (GPT-5) est excellente pour être cohérente et rapide, mais elle « goûte » le texte différemment des humains. Elle manque la nuance du ton et du contexte que les humains saisissent.
En bref : Vous pouvez utiliser l'IA pour obtenir rapidement une idée approximative de la subjectivité d'un texte, mais si vous avez besoin de comprendre le sentiment humain derrière les mots, vous avez toujours besoin d'un humain pour faire la dégustation. L'IA et l'humain sont comme deux chefs utilisant les mêmes ingrédients mais suivant des recettes légèrement différentes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.