Language-Specific Sentiment Polarity Biases in Encoder and Large Language Model Classification of Product Reviews

Résumé technique : Biais de polarité linguistiques spécifiques dans la classification des avis produits par les encodeurs et les grands modèles de langage (LLM)

Énoncé du problème
Bien que les systèmes d'analyse de sentiment soient largement déployés pour l'extraction d'opinions multilingues, leur fiabilité est souvent supposée constante à travers les classes de sentiment (positif vs négatif). Cependant, des recherches antérieures suggèrent que les modèles peuvent présenter des biais de polarité — des différences systématiques de précision entre les classifications positives et négatives. La nature spécifique de ces biais reste peu claire concernant leur interaction avec différentes architectures de modèles (encodeur uniquement vs modèles de langage basés sur le décodage/LLM) et des contextes linguistiques et culturels distincts. Cette étude examine si la précision de la classification du sentiment diffère de manière significative entre les avis positifs et négatifs, et si ces biais sont spécifiques à la fois à l'architecture du modèle et à la langue cible, notamment pour des langues typologiquement distinctes comme le français et le japonais.

Méthodologie
L'étude a utilisé le corpus Amazon Multilingual Reviews, extrayant un ensemble de données équilibré de 500 avis par langue (250 positifs, 250 négatifs) pour le français et le japonais. Les avis positifs ont été définis par des évaluations de 4 à 5 étoiles, et les avis négatifs par des évaluations de 1 à 2 étoiles.

Quatre modèles ont été évalués :

1. Modèle Encodeur : mDeBERTa-v3 (un encodeur multilingue fine-tuné sur MultiNLI et XNLI), utilisant une approche d'inférence de langage naturel (NLI) en zero-shot où les avis étaient évalués par rapport à des modèles d'hypothèses (« Le sentiment est positif/négatif »).
2. Grands Modèles de Langage (LLM) : Claude Opus 4.6, GPT-5.4 et Gemini 3.1 Pro, sollicités pour classer le sentiment avec une réponse d'un seul mot.

Analyse et métriques :

• Tests statistiques : Des tests du $\chi^2$ d'indépendance (avec correction de continuité de Yates) ont été utilisés pour déterminer si les différences de précision entre les classes positives et négatives étaient statistiquement significatives au sein de chaque paire modèle-langue.
• Taille de l'effet : Le V de Cramér a été calculé pour mesurer l'ampleur de l'association.
• Analyse d'erreurs : Les matrices de confusion ont été analysées pour distinguer les faux négatifs (avis positifs classés à tort comme négatifs) et les faux positifs (avis négatifs classés à tort comme positifs).
• Examen qualitatif : Les avis mal classés ont été analysés manuellement pour identifier les caractéristiques linguistiques (ex. : critique indirecte, marqueurs de sentiment mixtes) contribuant aux erreurs.
• Potentiel d'ensemble : L'accord inter-modèles et le chevauchement des erreurs ont été calculés pour évaluer la faisabilité de la combinaison des architectures.

Résultats clés
L'étude a confirmé que les biais de polarité de sentiment sont à la fois spécifiques à l'architecture et à la langue :

• Résultats pour le français (Biais négatif dans les LLM) :

  • Les trois LLM ont présenté un biais négatif statistiquement significatif, classant les avis négatifs avec une précision plus élevée (99,2 %) que les avis positifs (91,6 % – 94,4 %).
  • L'analyse d'erreurs a révélé que les LLM étaient 7 à 10 fois plus susceptibles de classer à tort des avis positifs comme négatifs (faux négatifs), souvent en raison d'une surpondération des marqueurs négatifs explicites (ex. : « mais », « problème ») dans les avis à sentiment mixte.
  • mDeBERTa n'a montré aucun biais significatif en français, performant de manière égale sur les deux classes (~92 %).

• Résultats pour le japonais (Biais positif dans l'encodeur) :

  • mDeBERTa a présenté un biais positif statistiquement significatif, atteignant 92,4 % de précision sur les avis positifs contre 84,4 % sur les avis négatifs.
  • Le modèle encodeur a éprouvé des difficultés avec la critique indirecte courante dans la communication japonaise à haut contexte (ex. : adoucissement des critiques négatives par un cadrage positif), entraînant un taux élevé de faux positifs (39 contre 19).
  • À l'inverse, les LLM n'ont montré aucun biais significatif en japonais, maintenant une précision équilibrée (~95–97 %) sur les deux classes. Ils ont réussi à analyser le sentiment négatif implicite que l'encodeur a manqué.

• Résultats sur l'ensemble (Ensemble) :

  • Les LLM ont montré un accord élevé (98,2 % – 98,5 %) sur les classifications correctes, mais un faible chevauchement d'erreurs avec mDeBERTa (23,7 % – 24,7 %).
  • Cela suggère que les architectures échouent sur des types d'avis différents, impliquant qu'une approche d'ensemble (par exemple, le stacking ou le routage) pourrait atteindre une précision plus élevée (98,0 %) que n'importe quel modèle individuel.

Signification et affirmations
L'article affirme que se fier uniquement à la précision globale est insuffisant pour déployer des systèmes de sentiment multilingues. Les conclusions démontrent que :

1. Le biais dépend du contexte : Les biais de polarité ne sont pas intrinsèques uniquement à l'architecture du modèle, mais émergent de l'interaction entre l'architecture et les styles de communication spécifiques à la langue (ex. : la directivité du français face à l'indirection du japonais).
2. Compromis architecturaux : Les modèles encodeurs (mDeBERTa) peuvent éprouver des difficultés avec les expressions négatives indirectes et à haut contexte, tandis que les LLM peuvent surréagir aux marqueurs négatifs explicites dans les contextes de sentiment mixte.
3. Implications pratiques : Déployer un type de modèle unique à l'échelle mondiale peut introduire des erreurs systématiques. Par exemple, utiliser uniquement des LLM pour l'analyse du français pourrait sous-estimer le sentiment positif de 5 à 8 points de pourcentage, tandis qu'utiliser uniquement mDeBERTa pour le japonais pourrait manquer une part importante des plaintes clients.
4. Recommandation : Les auteurs préconisent d'évaluer les systèmes de sentiment sur la base de chaque classe de sentiment plutôt que sur la précision globale, et suggèrent que les méthodes d'ensemble exploitant les modèles d'erreurs complémentaires des encodeurs et des LLM pourraient atténuer ces biais.

Limites reconnues
Les auteurs notent que l'étude est limitée à deux langues (français et japonais) et au domaine des avis produits. Ils avertissent que les schémas peuvent différer dans d'autres langues (particulièrement d'autres langues asiatiques à haut contexte) ou domaines (médias sociaux, actualités). De plus, l'analyse qualitative des erreurs était exploratoire et manquait d'une évaluation formelle de la fiabilité inter-juges.