Sentiment Analysis of Government Mobile App Reviews: Validating Zero-Shot Classification with a Large Language Model

Chaque jour, des millions de personnes interagissent avec leurs gouvernements à travers le petit écran de leur smartphone. Elles utilisent des applications pour payer des prescriptions, renouveler des documents d'identité ou accéder à des registres publics. Bien que ces outils soient destinés à faciliter la vie, ils génèrent également un flux constant de commentaires sous la forme d'avis d'utilisateurs. Ces textes courts et informels sont une mine d'or pour comprendre ce que les citoyens ressentent vis-à-vis des services publics numériques, mais ils représentent aussi un défi pour les chercheurs. Contrairement à une simple note étoilée, qui offre un chiffre unique, un avis contient des mots qui portent de la nuance, de l'ironie et des émotions complexes. Dans les pays où la langue principale n'est pas l'anglais, l'analyse de ces commentaires devient encore plus difficile car les programmes informatiques sophistiqués habituellement utilisés pour cette tâche sont souvent entraînés sur des données anglaises et peinent avec la grammaire et le vocabulaire spécifiques d'autres langues.

Pendant longtemps, la solution à ce problème a été soit de traduire les avis en anglais, soit de construire un logiciel personnalisé pour chaque langue spécifique, un processus qui nécessite de vastes quantités de données étiquetées et une expertise technique. Cependant, un nouveau type d'intelligence artificielle, connue sous le nom de modèle de langage étendu, a émergé. Ces modèles sont entraînés sur d'énormes quantités de textes provenant de tout l'internet et peuvent comprendre le contexte et les instructions sans avoir besoin d'être réentraînés pour chaque nouvelle tâche. La question qui se pose aux chercheurs est de savoir si ces outils puissants peuvent lire et catégoriser avec précision les sentiments dans de courts avis non anglais d'applications gouvernementales sans ajustement spécial, et s'ils peuvent le faire de manière assez cohérente pour être dignes de confiance par les administrateurs publics.

Une équipe de chercheurs de l'Université Jan Evangelista Purkyně d'Ústí nad Labem s'est donné pour mission de répondre à cette question en utilisant la langue tchèque comme cas de test. Ils ont rassemblé une collection massive de plus de dix mille avis provenant de six applications mobiles gouvernementales différentes utilisées par les citoyens en République tchèque. Ces applications couvrent un large éventail de services, allant des prescriptions électroniques aux cartes d'identité numériques. Les chercheurs voulaient voir si un processus standardisé utilisant un modèle de langage étendu pouvait classer ces avis en trois catégories simples : positif, négatif ou neutre. Pour garantir la fiabilité des résultats, ils ne se sont pas contentés de faire confiance à la production de l'ordinateur. Au lieu de cela, ils ont créé une « vérité terrain » en demandant à des experts humains de lire et de s'accorder sur le sentiment d'un échantillon soigneusement sélectionné de cinq cents avis. Cet échantillon vérifié par l'humain a servi de référence pour mesurer la performance de l'ordinateur.

L'étude a comparé le modèle de langage étendu à plusieurs autres méthodes, y compris des outils simples de comptage de mots et des types d'IA plus anciens couramment utilisés pour l'analyse de texte. Les outils de comptage de mots, qui reposent sur des dictionnaires de mots positifs et négatifs, ont mal performé. Ils ont souvent échoué à comprendre le contexte d'une phrase, manquant le fait qu'un mot comme « mais » pourrait inverser complètement le sens d'un avis. Les modèles d'IA plus anciens, bien que meilleurs que les dictionnaires, avaient toujours du mal à atteindre une grande précision sans un entraînement spécifique sur les données gouvernementales tchèques. En revanche, le modèle de langage étendu, lorsqu'on lui donnait des instructions claires sur la façon de classifier le texte, a démontré une capacité remarquable à comprendre les nuances de la langue tchèque. Il a correctement identifié le sentiment dans la vaste majorité des cas de test, rejoignant les jugements des experts humains avec un haut degré d'accord.

L'une des conclusions les plus critiques de la recherche était la stabilité des résultats. Comme les modèles de langage étendu sont des systèmes complexes, il y avait la crainte que l'exécution de la même analyse deux fois puisse produire des réponses différentes. Les chercheurs ont testé cela en lançant le processus de classification cinq fois séparément dans des conditions identiques. Ils ont constaté que la nouvelle version du modèle était incroyablement cohérente, produisant presque les mêmes résultats à chaque fois. Cette cohérence est vitale pour une utilisation dans le monde réel, car elle signifie que l'outil peut être fiable pour donner la même réponse au même problème, quel que soit le moment où il est utilisé. La version plus ancienne du modèle, cependant, présentait beaucoup plus de variations entre les exécutions, suggérant que la version spécifique du logiciel importe énormément.

Lorsque les chercheurs ont appliqué le modèle le plus stable et le plus précis à l'ensemble de la collection de dix mille avis, une image claire du sentiment des citoyens est apparue. L'analyse a révélé que les commentaires négatifs étaient les plus courants, avec près des deux tiers de tous les avis exprimant l'insatisfaction. Les avis positifs constituaient environ un quart du total, tandis que les commentaires véritablement neutres étaient les plus rares, représentant moins de huit pour cent. Curieusement, le texte des avis ne correspondait pas toujours parfaitement aux notes étoilées que les utilisateurs donnaient aux applications. Si une note d'une étoile correspondait presque toujours à un texte négatif, et qu'une note de cinq étoiles correspondait généralement à un texte positif, le juste milieu était confus. De nombreux avis de trois étoiles contenaient un texte négatif, et certains avis de cinq étoiles incluaient des plaintes, montant que les utilisateurs mélangent souvent leurs sentiments d'une manière qu'une simple note étoilée ne peut capturer.

L'étude a également mis en évidence les domaines où la technologie fait encore face à des défis. La catégorie la plus difficile à réussir pour l'ordinateur était le sentiment « neutre ». Cette catégorie comprend des descriptions factuelles, des questions ou des sentiments mixtes où aucune émotion forte n'est présente. Le modèle peinait parfois à distinguer un commentaire neutre d'un commentaire légèrement négatif ou positif. Cependant, malgré cette difficulté, le modèle a surpassé toutes les autres méthodes disponibles qui ne nécessitaient pas d'entraînement personnalisé. Les chercheurs ont conclu qu'une procédure standardisée utilisant un modèle de langage étendu peut analyser efficacement les courts commentaires non anglais des citoyens, à condition que le processus soit soigneusement documenté et validé par rapport au jugement humain.

Ce travail ne suggère pas que la technologie soit parfaite ou qu'elle puisse remplacer entièrement l'intuition humaine. Les chercheurs ont souligné que la performance du modèle dépend des instructions spécifiques qui lui sont données et de la qualité du processus de validation. Ils ont également noté que les résultats sont spécifiques à cet ensemble particulier d'applications gouvernementales et à la langue tchèque, et que différentes applications ou langues pourraient produire des résultats différents. Néanmoins, l'étude fournit des preuves solides que les administrateurs publics peuvent désormais utiliser ces outils pour écouter leurs citoyens à grande échelle, même dans des langues où des logiciels spécialisés n'étaient auparavant pas disponibles. En transformant des milliers de commentaires non structurés en données claires et catégorisées, ces outils offrent une nouvelle façon de comprendre les expériences quotidiennes des personnes utilisant les services publics numériques, aidant ainsi les gouvernements à améliorer les outils qui les servent.