How Annotator Agreement Affects Sentiment Classification Performance for Indonesian Coastal Tourism Reviews
Cette étude démontre que l'entraînement de classificateurs de sentiment sur un ensemble de données plus vaste, basé sur un vote majoritaire de critiques de tourisme côtier indonésien, produit une performance supérieure à celle d'un ensemble fondé strictement sur un consensus unanime, bien que les résultats suggèrent que l'augmentation du volume de données et l'équilibre des classes, plutôt que la seule conservation des instances ambiguës, pourraient être les principaux moteurs de l'amélioration, tandis qu'IndoBERT réduit efficacement la classification erronée systématique des avis neutres.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
À l'ère du numérique, la voix du voyageur est devenue une immense bibliothèque non structurée d'opinions humaines. Des millions de personnes écrivent des avis sur des plages, des hôtels et des restaurants, déversant leurs espoirs, leurs déceptions et leurs observations dans des textes qui sont souvent informels, truffés d'argot et profondément nuancés. Pour les entreprises et les chercheurs, le défi consiste à donner un sens à ce déluge. Ils doivent savoir non seulement si un avis est bon ou mauvais, mais exactement ce que ressent l'auteur. C'est le domaine de l'analyse de sentiment, une branche de l'informatique qui apprend aux machines à lire l'émotion. Pendant des années, l'approche standard a consisté à faire étiqueter ces avis par des humains avec des catégories simples comme « positif », « négatif » ou « neutre », puis à entraîner les ordinateurs à reconnaître ces modèles. Cependant, le jugement humain est rarement parfait. Lorsque trois personnes lisent le même avis, elles peuvent ne pas être d'accord sur le fait qu'il soit véritablement neutre ou légèrement négatif. Ce désaccord crée un casse-tête pour les scientifiques : doivent-ils jeter les avis déroutants pour ne garder que ceux sur lesquels tout le monde s'accorde, ou doivent-ils conserver les cas ambigus et contestés pour donner plus d'exemples à l'ordinateur pour apprendre ?
Une équipe de chercheurs de l'Université de Diponegoro en Indonésie s'est donné pour mission de résoudre ce casse-tête spécifique en utilisant des avis sur des destinations touristiques côtières. Ils se sont concentrés sur la langue indonésienne, qui est riche en expressions informelles et en variations régionales, ce qui en fait un cas de test particulièrement difficile pour les ordinateurs. Les chercheurs ont rassemblé des centaines de milliers d'avis publics provenant de Google Maps couvrant les plages de l'archipel. Après avoir nettoyé les données et filtré les doublons ou les textes non indonésiens, ils ont sélectionné un échantillon équilibré d'environ 22 000 avis pour être lus par trois annotateurs humains. Chaque personne a décidé indépendamment si un avis était positif, négatif ou neutre. Ce processus a révélé une réalité naturelle : les humains ne sont pas toujours d'accord. Certains avis étaient si clairs que les trois annotateurs ont choisi la même étiquette, tandis que d'autres étaient assez ambigus pour que deux soient d'accord et un en désaccord, ou que les trois choisissent des étiquettes différentes.
Les chercheurs ont ensuite divisé leurs données en deux groupes distincts pour voir comment ce désaccord affectait l'apprentissage de l'ordinateur. Le premier groupe, qu'ils ont appelé le groupe « unanime », ne contenait que les avis où les trois humains étaient d'accord. Il s'agissait d'une collection plus petite et plus propre de 15 527 avis, mais il manquait les cas complexes et ambigus. Le second groupe, le groupe « majorité », conservait les avis unanimes mais ajoutait également ceux où deux humains sur trois étaient d'accord. Ce groupe plus large contenait 21 235 avis et incluait beaucoup plus d'exemples de textes neutres, aux sentiments mixtes ou déroutants, qui piègent souvent les ordinateurs. Ils ont ensuite entraîné trois types de programmes informatiques différents sur ces deux groupes. Deux des programmes utilisaient des méthodes traditionnelles plus anciennes basées sur la fréquence des mots, tandis que le troisième utilisait un système moderne et avancé appelé IndoBERT, conçu pour comprendre le contexte et les relations entre les mots de la langue indonésienne, de la même manière qu'un lecteur humain le ferait.
Les résultats étaient clairs et quelque peu surprenants. Contrairement à l'idée selon laquelle un ordinateur apprend mieux uniquement à partir d'exemples faisant l'objet d'un accord parfait, chaque programme a obtenu de meilleurs résultats lorsqu'il était entraîné sur le groupe plus large et plus désordonné incluant les avis contestés. Le système le plus avancé, IndoBERT, a obtenu un score plus élevé en apprenant du groupe à vote majoritaire par rapport au groupe unanime. Cela suggère qu'en jetant les avis ambigus pour garantir un accord parfait, les chercheurs jetaient en réalité des leçons précieuses. Les avis contestés contenaient souvent les sentiments complexes et mixtes que les voyageurs réels expriment, et le fait d'avoir plus de ces exemples a aidé l'ordinateur à comprendre toute l'étendue de l'émotion humaine. L'étude a révélé que l'amélioration la plus importante concernait la capacité à identifier correctement les avis « neutres ». Lorsque l'ordinateur était entraîné uniquement sur les données propres et unanimes, il peinait à distinguer un avis véritablement neutre d'un avis légèrement positif ou négatif. Mais lorsqu'il a été autorisé à étudier les données du vote majoritaire, qui comportaient beaucoup plus d'exemples de ces cas neutres, il est devenu bien meilleur pour les reconnaître.
Cependant, les chercheurs ont pris soin de noter que cette amélioration pourrait ne pas être uniquement due au désaccord en soi. Le groupe plus large disposait simplement de plus de données et d'un meilleur équilibre d'exemples neutres, qui sont naturellement plus difficiles à trouver que les exemples clairement positifs ou négatifs. L'étude n'a pas prouvé que le désaccord est bon en soi, mais plutôt que le filtrer supprime trop d'informations utiles. L'ordinateur éprouvait toujours des difficultés avec certains types d'écritures complexes, comme les avis qui louaient une partie d'une plage tout en critiquant une autre, ou ceux qui utilisaient un langage subtil et indirect pour exprimer une déception. Ces cas difficiles restaient un défi même pour le modèle le plus avancé. En fin de compte, ce travail suggère que dans le monde désordonné du langage humain, un peu de désaccord dans les données d'entraînement peut être nécessaire pour apprendre à un ordinateur à véritablement comprendre la nuance de la voix d'un voyageur.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.