💬 NLP

A New Semisupervised Technique for Polarity Analysis using Masked Language Models

Cet article présente une technique améliorée d'analyse de polarité semi-supervisée qui utilise word2vec comme modèle de langage masqué pour attribuer des scores probabilistes de polarité plus précis et interprétables, démontrant sa supériorité par rapport aux modèles spatiaux traditionnels grâce à une analyse de la couverture du COVID-19 par China Daily.

Auteurs originaux : Kohei Watanabe

Publié 2026-04-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kohei Watanabe

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre l'« humeur » ou le « focus » de milliers d'articles de presse. Ont-ils l'air fiers ? Ont-ils l'air inquiets ? Parlent-ils de succès ou d'échec ?

Pendant longtemps, les chercheurs avaient deux méthodes principales pour faire cela :

La méthode du dictionnaire : Vous créez une liste gigantesque de mots « bons » et de mots « mauvais ». Si un article utilise beaucoup de mots de votre liste, il obtient un score élevé. Problème : Vous avez besoin d'une liste massive et parfaite pour obtenir de bons résultats, et la création de cette liste prend une éternité.
L'ancienne méthode informatique (modèles spatiaux) : Vous enseignez à un ordinateur à regrouper des mots en fonction de la fréquence à laquelle ils apparaissent ensemble. Si « gagner » et « victoire » apparaissent l'un près de l'autre, l'ordinateur pense qu'ils sont de proches amis. Il devine ensuite l'humeur d'un article en fonction de la « proximité » des mots de cet article par rapport à vos mots « graines » de départ. Problème : Cette méthode est souvent désordonnée, difficile à interpréter et très sensible aux mots de départ que vous choisissez.

La nouvelle idée : un jeu de « Complétez la phrase »

L'auteur, Kohei Watanabe, propose une nouvelle façon plus intelligente de faire cela en utilisant une technique appelée mise à l'échelle sémantique latente (LSS), mais améliorée avec un outil appelé word2vec.

Pensez à l'ancienne méthode comme à une carte. Vous placez un épinglette sur « Succès » et une autre sur « Échec ». L'ordinateur mesure la distance de chaque autre mot par rapport à ces épinglettes. Si un mot se trouve à mi-chemin entre elles, il est neutre. Mais les cartes peuvent être trompeuses ; si vous déplacez légèrement les épinglettes, toute la carte change, et les distances ne font pas toujours sens.

La nouvelle méthode ressemble davantage à un jeu de « Mad Libs » ou de « Complétez la phrase ».

Au lieu de mesurer une distance sur une carte, l'ordinateur joue à un jeu de devinettes. Il examine une phrase et demande : « Si je cache le mot « succès » ici, quelle est la probabilité que ce mot convienne ? »

Les mots graines : Vous donnez à l'ordinateur quelques mots de départ (graines), comme « gagner », « objectif » ou « champion ».
Le jeu : L'ordinateur lit les articles de presse et tente de prédire si ces mots graines apparaîtraient naturellement dans le contexte d'autres mots.
Le score : Si l'ordinateur est très confiant que « victoire » s'intègre là où « succès » était caché, il attribue à « victoire » un score de « polarité » élevé (un score indiquant dans quelle mesure il se rapporte au concept).

Pourquoi est-ce mieux ?

C'est une probabilité, pas une distance : Au lieu de dire « ce mot est à 5 miles du succès », l'ordinateur dit : « Il y a 90 % de chances que ce mot appartienne à une phrase sur le succès ». C'est beaucoup plus facile à comprendre et à comparer.
C'est moins exigeant : Dans l'ancienne méthode de « carte », vos mots de départ devaient être les exemples les plus extrêmes (comme « triomphe » plutôt que simplement « gagner »). Dans ce nouveau « jeu de devinettes », vous pouvez utiliser des mots plus modérés, et l'ordinateur déduit quand même les extrêmes par lui-même.
Il s'autocorrige : L'ordinateur possède un « bulletin de notes » intégré appelé perplexité. Pensez-y comme à une note d'examen. Si l'ordinateur est bon pour prédire les mots, son score de « perplexité » est faible (il n'est pas confus). S'il est mauvais, le score est élevé. Cela permet aux chercheurs d'ajuster automatiquement les paramètres de l'ordinateur pour obtenir les meilleurs résultats sans qu'un humain ait besoin de vérifier chaque réponse.

Le test : China Daily et la pandémie

Pour prouver que cela fonctionne, l'auteur l'a testé sur China Daily, un journal contrôlé par le gouvernement chinois, pendant la pandémie de COVID-19.

L'objectif : Voir comment le journal parlait de « Réalisations » et de « Santé » concernant la Chine par rapport aux autres pays.
La comparaison : L'auteur a comparé la nouvelle méthode de « Jeu de devinettes » à l'ancienne méthode de « Carte » et à un dictionnaire massif créé manuellement.
Le résultat : La nouvelle méthode a gagné. Elle correspondait mieux au dictionnaire massif que l'ancienne méthode informatique. Elle était aussi plus cohérente ; peu importe les mots de départ choisis, les résultats restaient fiables.

Ce que l'analyse a révélé

En utilisant cet outil, l'auteur a découvert des motifs intéressants dans les nouvelles :

Focus sur la santé : Au tout début de la pandémie (début 2020), le journal se concentrait fortement sur les problèmes de santé au sein de la Chine. Avec le temps, l'accent s'est déplacé vers la discussion des problèmes de santé dans les autres pays.
Focus sur les réalisations : La fierté du journal concernant les « réalisations » de la Chine a diminué au début de la crise, mais s'est renforcée à nouveau d'ici la fin de 2023.
Le « point idéal » : Lorsque l'auteur a combiné ces deux idées (Réalisations + Santé), le journal n'a vraiment semblé fier des réalisations sanitaires de la Chine que pendant deux moments spécifiques : juste au début de la crise et juste après la fin des confinements stricts à la fin de 2022. Cela suggère que le gouvernement tentait de présenter la fin du confinement comme une histoire de succès.

L'essentiel

Ce papier présente une nouvelle façon pour les ordinateurs de lire le texte, plus proche d'un jeu de devinettes humain et moins d'une carte rigide. Elle est plus précise, plus facile à comprendre et nécessite moins de travail manuel pour être mise en place. Elle montre qu'en utilisant ces « modèles de langage masqués » (les jeux de complétion de phrases), nous pouvons obtenir des aperçus plus clairs et plus objectifs sur la façon dont les médias présentent différents sujets.

1. Énoncé du problème

L'analyse de polarité (mesure de l'accentuation ou du sentiment d'un texte envers un concept spécifique) est cruciale dans la recherche en sciences sociales et en communication. Les méthodes existantes présentent des limitations majeures :

Correspondance de mots-clés : Nécessite des dictionnaires étendus et soigneusement élaborés manuellement, souvent indisponibles pour des domaines de niche ou des langues spécifiques.
Apprentissage automatique supervisé : Nécessite de grands corpus annotés, dont la création est coûteuse et chronophage.
Apprentissage automatique non supervisé : Échoue souvent à capturer des concepts théoriques prédéfinis sans guidance.
Méthodes semi-supervisées existantes (Latent Semantic Scaling - LSS) : Le LSS original repose sur une modélisation spatiale (utilisant la décomposition en valeurs singulières ou SVD pour créer des vecteurs de mots). Cette approche présente quatre défauts critiques :
1. Erreur de mesure élevée : Les scores de document comportent souvent des erreurs importantes à moins d'être agrégés par d'autres variables.
2. Manque d'interprétabilité : Les scores sont relatifs dans un espace sémantique et manquent de sens substantiel (par exemple, ils peuvent être négatifs dans des modèles unipolaires).
3. Sensibilité aux mots-graines : Les mots-graines doivent être « extrêmes » (fortement polarisés) pour générer une gamme utile de scores ; des mots-graines modérés échouent à produire des résultats significatifs.
4. Difficulté d'optimisation : Les hyperparamètres (comme la taille du vecteur) ne peuvent pas être facilement optimisés car l'algorithme sous-jacent (SVD) manque d'une métrique standard de qualité d'ajustement comme la perplexité.

2. Méthodologie

L'auteur propose une nouvelle version du Latent Semantic Scaling (LSS) qui remplace la modélisation spatiale par une modélisation probabiliste utilisant word2vec comme modèle de langage masqué.

Changement algorithmique fondamental

De l'espace vers le probabiliste :
- Original (Spatial) : Calcule la polarité basée sur la similarité cosinus entre le vecteur d'un mot et les vecteurs des mots-graines.
- Proposé (Probabiliste) : Calcule la polarité comme la probabilité prédite qu'un mot-graine se produise dans le contexte d'un mot cible.
Architecture du modèle :
- Utilise word2vec (spécifiquement les algorithmes Skip-gram et Continuous Bag-of-Words) entraîné sur le corpus cible.
- Contrairement à l'utilisation standard de word2vec (qui n'utilise que les poids de la couche d'entrée $V$ pour les vecteurs), cette méthode utilise à la fois les poids de la couche d'entrée ( $V$ ) et les poids de la couche de sortie ( $W$ ) pour calculer la probabilité $q_{ij}$ d'un mot cible $j$ étant donné un mot de contexte $i$ .
- La probabilité est calculée via une fonction sigmoïde : $q_{ij} = \text{sigmoïde}(\sum H_k W_{jk})$ .
Estimation de la polarité :
- Le score de polarité d'un mot ( $\hat{g}_i$ ) est la moyenne pondérée des probabilités que les mots-graines se produisent dans le contexte de ce mot.
- Avantage : Cela permet au modèle d'attribuer des scores de polarité extrêmes à des mots pertinents même si les mots-graines eux-mêmes ne sont pas « extrêmes », réduisant ainsi la sensibilité au choix des graines par l'utilisateur.
Optimisation :
- Parce que le modèle est probabiliste, la perplexité (entropie croisée entre les probabilités prédites et les fréquences observées) peut être utilisée pour optimiser les hyperparamètres (par exemple, dimension du vecteur, algorithme d'entraînement) sans avoir besoin d'un ensemble de données étiqueté « référence ».

Conception de l'évaluation

Corpus : 91 709 articles en anglais du China Daily (2019–2023) couvrant la pandémie de COVID-19.
Concepts cibles : « Réussite » et « Santé ».
Référence : Dictionnaires complets LIWC (élaborés manuellement, contenant environ 200 à 300 mots par concept).
Configuration expérimentale :
1. Échantillonnage aléatoire de 10 ensembles de 10 mots-graines unipolaires issus des dictionnaires LIWC (simulant une saisie utilisateur imparfaite).
2. Entraînement de quatre types de modèles : LSS spatial (SVD), LSS spatial (word2vec), LSS probabiliste (word2vec) et Mini-dictionnaires (mots-graines uniquement).
3. Corrélation des sorties des modèles avec les scores des dictionnaires LIWC complets.
4. Analyse de la relation entre la perplexité et les coefficients de corrélation.

3. Contributions clés

Cadre LSS probabiliste : Introduit une méthode pour convertir le LSS d'une mesure de similarité spatiale en un modèle de langage probabiliste, rendant les scores interprétables comme des probabilités (bornées 0–1) plutôt que comme des distances vectorielles arbitraires.
Robustesse au choix des graines : Démontre que les modèles probabilistes sont moins sensibles à l'« extrémité » des mots-graines. Ils peuvent produire des résultats comparables à de grands dictionnaires même avec des mots-graines modérément pertinents.
Optimisation des hyperparamètres : Fournit un mécanisme pour optimiser les hyperparamètres du modèle (comme la taille du vecteur) en utilisant les scores de perplexité, résolvant ainsi une limitation majeure du LSS basé sur SVD.
Implémentation open-source : La méthode est implémentée dans les packages R LSX et wordvector, assurant la reproductibilité et la transparence sans dépendre de modèles propriétaires en boîte noire.

4. Résultats

Corrélation de performance :
- Les modèles probabilistes basés sur Word2vec ont obtenu la corrélation la plus forte avec les dictionnaires LIWC complets ( $r=0,51$ pour Réussite, $r=0,66$ pour Santé).
- L'entraînement Skip-gram (SG) a généralement surpassé le Continuous Bag-of-Words (CBOW), bien que l'écart ait été plus faible dans les modèles probabilistes que dans les modèles spatiaux.
- Les modèles basés sur SVD ont obtenu les pires performances ( $r \approx 0,34–0,48$ ), sous-performant souvent même les simples « mini-dictionnaires » (mots-graines uniquement).
Variance et fiabilité :
- Les modèles probabilistes ont montré la variance la plus faible dans les coefficients de corrélation à travers différents échantillons de mots-graines, indiquant une haute fiabilité.
- Les modèles spatiaux et les modèles SVD ont montré une variance élevée, ce qui signifie que leurs résultats fluctuaient considérablement en fonction des mots-graines spécifiques choisis.
Perplexité comme métrique :
- Une forte association négative a été trouvée entre la perplexité et la corrélation. Des scores de perplexité plus faibles prédisaient de manière fiable une plus grande précision par rapport à la référence, validant la perplexité comme outil de sélection de modèle en l'absence de vérité terrain.
Étude de cas (China Daily) :
- Le modèle a identifié avec succès les changements dans le cadrage du China Daily. Il a détecté un passage d'une focalisation sur les réalisations sanitaires de la Chine au début de la pandémie à une focalisation sur d'autres pays plus tard.
- En combinant les scores « Réussite » et « Santé », le modèle a mis en évidence des périodes spécifiques (début et fin de la politique « Zero-COVID ») où les médias d'État présentaient les confinements stricts comme un succès, une nuance manquée par l'analyse des concepts de manière isolée.

5. Signification

Avancement méthodologique : Cette étude comble le fossé entre l'analyse traditionnelle par dictionnaires et l'apprentissage profond moderne. Elle offre une approche « le meilleur des deux mondes » : l'interprétabilité des dictionnaires (scores probabilistes) avec l'automatisation de l'apprentissage automatique.
Accessibilité pour les chercheurs : Elle abaisse la barrière pour l'analyse de texte semi-supervisée. Les chercheurs n'ont plus besoin de vastes ensembles de données annotés ou de mots-graines parfaits ; ils peuvent utiliser de petits ensembles de graines et optimiser le modèle en utilisant la perplexité.
Transparence : En utilisant une implémentation locale transparente de word2vec plutôt que des modèles de langage (LLM) propriétaires, l'étude garantit que la recherche en science politique et en communication reste reproductible et libre des biais cachés inhérents aux modèles d'IA commerciaux.
Potentiel futur : L'article soutient que ce cadre probabiliste peut être étendu à des modèles de langage masqués plus complexes (par exemple, BERT, RoBERTa) pour améliorer davantage la capture de concepts nuancés dans l'analyse de texte.