💬 NLP

When Certainty Is an Artifact: Keyword Lexicon Blindness and the (Mis)Measurement of Rhetorical Stance

Cet article démontre que les lexiques basés sur des mots-clés peuvent produire des résultats statistiquement significatifs mais entièrement artificiels concernant la posture rhétorique en échouant à capturer le contexte sémantique, alors que la classification sémantique basée sur les LLM révèle que le discours négatif est souvent associé à l'atténuation plutôt qu'à la certitude emphatique faussement détectée par les méthodes traditionnelles de comptage de mots.

Auteurs originaux : Bo Chen

Publié 2026-06-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bo Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre la personnalité de quatre personnes célèbres (un investisseur macro, un optimiste de la tech, un économiste universitaire et un stratège géopolitique) en écoutant leurs interviews. Vous voulez savoir : lorsqu'ils parlent de mauvaises nouvelles (comme une crise ou un krach), ont-ils l'air confiants et certains, ou ont-ils l'air incertains et prudents ?

Ce document est une enquête policière sur la façon dont nous mesurons cette « confiance ». Il révèle qu'un outil très populaire utilisé par les scientifiques pour analyser le langage est en réalité défectueux d'une manière spécifique, ce qui les amène à croire quelque chose qui n'est pas vrai.

Voici l'histoire expliquée simplement :

1. La lampe de poche défectueuse (La méthode des mots-clés)

Pendant longtemps, les chercheurs ont utilisé une « lampe de poche de mots-clés » pour mesurer la confiance. Cet outil fonctionne comme un simple compteur :

Si l'outil entend des mots comme « toujours », « certainement », « absolument » ou « jamais », il les compte comme de la Confiance.
S'il entend des mots comme « peut-être », « pourrait » ou « risque », il les compte comme de l'Incertitude.

Lorsque les chercheurs ont utilisé cet outil sur 85 interviews, ils ont découvert un schéma frappant : chaque intervenant semblait incroyablement confiant lorsqu'il parlait de mauvaises nouvelles.

La corrélation était énorme (environ 0,85 à 0,93).
Cela ressemblait à une loi universelle : Quand les gens parlent de malheur, ils se montrent à 100 % sûrs d'eux.

Les chercheurs ont d'abord pensé qu'il s'agissait d'une découverte psychologique fascinante : « Oh, donc quand les gens ont peur, ils doublent la mise et paraissent super confiants ! »

2. La caméra haute définition (La méthode du LLM)

Mais ensuite, les chercheurs ont décidé de vérifier leur travail en utilisant une « caméra haute définition » — un modèle de langage étendu (LLM) moderne. Contra� plus que le compteur de mots, le LLM ne se contente pas de compter les mots ; il comprend le contexte, la grammaire et le sens, tout comme un humain le fait.

Ils ont soumis ces mêmes 32 000 phrases au LLM. Le résultat ? La « loi universelle » a disparu.

La « confiance » de Dalio a chuté : Sa corrélation est passée d'un massif 0,85 à un faible 0,20 non significatif.
Le schéma s'est inversé : Pour deux des intervenants, le LLM a découvert que lorsqu'ils parlaient de mauvaises nouvelles, ils semblaient en réalité incertains et prudents (en utilisant des nuances), ce qui correspond au bon sens.
La conclusion : Les « pessimistes super-confiants » étaient une illusion créée par la lampe de poche défectueuse.

3. Pourquoi la lampe de poche a-t-elle menti ? (Les trois bugs)

Le document explique que l'outil de mots-clés a échoué car il est « aveugle » à trois aspects spécifiques. Imaginez un robot qui compte les mots mais ne comprend pas comment les humains parlent :

L'aveuglement à la négation (Le piège du « Ne... pas ») :
- La phrase : « Je ne suis jamais absolument totalement confiant. »
- L'outil de mots-clés : Il voit « jamais », « absolument » et « totalement ». Il compte trois points de « Confiance » ! Il pense que l'interlocuteur est très sûr de lui.
- La réalité : L'interlocuteur dit exactement le contraire : « Je ne suis pas sûr du tout. » L'outil a manqué le mot « jamais » parce qu'il cherchait la présence de mots forts, et non le sens de la phrase.
L'aveuglement aux doubles sens (Le piège du « Certain ») :
- La phrase : « Vous avez un certain corps... »
- L'outil de mots-clés : Il voit « certain » et compte cela comme de la « Confiance ».
- La réalité : Ici, « certain » signifie simplement « un corps spécifique » (comme « un corps bien précis »), et non « je suis certain à 100 % ». L'outil ne peut pas faire la différence entre « je suis certain » et « une certaine chose ».
L'aveuglement aux atténuateurs (Le piège du « Genre ») :
- La phrase : « C'est genre clair. »
- L'outil de mots-clés : Il voit « clair » et compte cela comme de la « Confiance ».
- La réalité : « Genre » (ou « un peu ») affaiblit l'affirmation. L'outil ne sait pas que « genre » annule une partie de la force de « clair ».

4. La véritable découverte

Le document soutient que la « forte corrélation » que l'outil de mots-clés a trouvée n'était pas liée à la psychologie des intervenants. C'était lié à la façon dont le langage fonctionne.

Lorsque les gens parlent de sujets graves et effrayants (comme des crises de la dette ou des guerres), ils utilisent naturellement des mots grandiloquents et dramatiques comme « toujours », « jamais » ou « tout le monde ». L'outil de mots-clés a compté ces mots dramatiques comme de la « confiance ». Mais en réalité, ces mots faisaient simplement partie du drame du sujet, et n'étaient pas un signe que l'interlocuteur était réellement sûr de l'issue.

L'analogie :
Imaginez un prévisionniste météo qui dit : « Il va absolument y avoir un désastre s'il pleut. »

L'outil de mots-clés entend « absolument » et dit : « Wow, cette personne est très confiante ! »
Le LLM (Humain) entend toute la phrase et réalise : « Ils sont en fait très inquiets face à un désastre. »

L'essentiel

Ce document est un avertissement aux scientifiques : Ce n'est pas parce qu'un ordinateur compte des mots et trouve un motif statistiquement significatif qu'il est énorme que le motif est réel.

La « certitude » que les chercheurs pensaient avoir trouvée était un artéfact — un bug dans l'outil de mesure. Lorsque l'outil a été corrigé (en utilisant une IA qui comprend le contexte), la « certitude » a disparu, et les intervenants ressemblaient beaucoup plus à des humains normaux : prudents quand les choses tournent mal, et confiants quand les choses tournent bien.

Point clé à retenir : Ne faites pas confiance à une machine qui compte les mots pour vous dire ce que les gens veulent dire. Vous avez besoin d'un outil qui comprend l'histoire derrière les mots.

Résumé technique : Quand la certitude est un artefact

Problématique

Les sciences sociales computationnelles (CSS) s'appuient fréquemment sur des lexiques de mots-clés pour mesurer la posture rhétorique, spécifiquement la relation entre la valence affective (positive/négative) et la modalité rhétorique (certitude/atténuation). Une hypothèse prédominante dans la littérature est que le discours négatif est délivré avec de l'atténuation (hedging) pour gérer le risque réputationnel, tandis que le discours positif est délivré avec certitude. Cependant, cet article examine si les résultats statistiquement significatifs dans ce domaine sont de véritables schémas rhétoriques ou des artefacts de l'instrument de mesure lui-même.

Les auteurs identent une lacune méthodologique critique : les instruments standards basés sur des mots-clés (sac de mots ou bag-of-words) ne parviennent pas à résoudre la négation syntaxique, la polysémie et la portée des modificateurs. Par conséquent, ils peuvent confondre la cooccurrence lexicale de surface avec le sens sémantique profond. La question de recherche centrale est de savoir si le couplage observé entre le contenu négatif et la certitude emphatique est une stratégie rhétorique propre au locuteur ou un artefact de mesure universel causé par les limites du comptage de mots-clés.

Méthodologie

L'étude emploie un design à double instrument pour valider les mesures par rapport à une « vérité de terrain » dérivée de modèles de langage étendus (LLM).

1. Construction du corpus

Les auteurs ont constitué un corpus longitudinal de 85 interviews YouTube présentant quatre intellectuels publics aux profils de discours distincts :

Ray Dalio (investisseur macro) : 35 vidéos (2016–2026), présentant une rupture structurelle de fréquence après 2025.
Cathie Wood (techno-optimiste) : 17 vidéos.
Kenneth Rogoff (économiste académique) : 17 vidéos.
Peter Zeihan (stratège géopolitique) : 16 vidéos.

Taille totale du corpus : 498 200 mots et 32 625 phrases.

Prétraitement : Les sous-titres bruts générés automatiquement ont été traités via une diarisation du locuteur assistée par LLM (DeepSeek-V4-Flash) afin de séparer la parole de l'invité des interjections de l'interviewer, une étape cruciale pour éliminer le bruit qui obscurciait auparavant les schémas spécifiques aux locuteurs.

2. Instrument A : Score par lexique de mots-clés

Un lexique de sentiment multidimensionnel personnalisé a été construit pour séparer la Valence Affective (Positive/Négative) de la Modalité Rhétorique (Emphatique/Certain vs Atténuée/Douteuse).

Mécanisme : Le lexique compte les jetons de surface (ex: « toujours », « jamais », « crise ») et applique des règles de basculement de négation de base.
Métrique : Les fréquences normalisées mensuelles ont été calculées, et les corrélations de Pearson ( $r$ ) ont été calculées entre la fréquence de la Valence Négative et la fréquence de la Modalité Emphatique/Certaine.
Test de robustesse : L'analyse a été répliquée en utilisant deux lexiques de référence indépendants et largement cités (LIWC-22 et les listes de Hyland 2005) pour s'assurer que les résultats n'étaient pas spécifiques à la liste de mots curatée par les auteurs.

3. Instrument B : Classification sémantique basée sur les LLM

Pour fournir une validation sensible au contexte, l'ensemble du corpus (32 625 phrases) a été traité via une classification sémantique zero-shot par Doubao-Seed-2.0-Lite.

Tâche : Chaque phrase a été classée simultanément sur deux axes : la Valence (positive/négative/neutre) et la Modalité (emphatique/atténuée/neutre).
Validation : Un contrôle de robustesse inter-modèles a été effectué en utilisant GPT-5.4 sur 10 échantillons aléatoires indépendants (100 phrases chacun) pour vérifier que les résultats n'étaient pas des artefacts des données d'entraînement d'un seul modèle.

4. Analyse d'erreur

Un audit au niveau de la phrase a été mené sur 547 phrases signalées comme étant de « haute certitude » par le lexique de mots-clés mais classées différemment par le LLM, catégorisant les échecs en points aveugles linguistiques spécifiques.

Résultats clés

1. L'artefact des mots-clés

Sous le score par mots-clés, les quatre locuteurs présentent tous une forte corrélation positive statistiquement significative entre l'affect négatif et la certitude emphatique :

Dalio : $r = 0,851$ ( $p < 0,001$ )
Rogoff : $r = 0,917$ ( $p < 0,001$ )
Zeihan : $r = 0,932$ ( $p < 0,001$ )
Wood : $r = 0,725$ ( $p = 0,003$ )

Ce schéma était universel à travers des locuteurs ayant des personas radicalement différents (optimistes vs pessimistes, académiques vs investisseurs) et a persisté à travers trois lexiques de mots-clés différents (Personnalisé, LIWC-22, Hyland). Cela suggère que la corrélation est une propriété structurelle du comptage de mots-clés plutôt qu'une stratégie rhétorique.

2. Le renversement par le LLM

Lorsque le même corpus a été analysé via la classification sémantique basée sur les LLM, les fortes corrélations positives ont disparu ou se sont inversées :

Dalio : $r(neg, emph) = 0,206 $($ p = 0,371$, non significatif).
Wood : $r(neg, emph) = -0,514 $($ p = 0,060$).
Zeihan : $r(neg, emph) = -0,223 $($ p = 0,487$).
Rogoff : $r(neg, emph) = 0,063 $($ p = 0,864$).

Au lieu de cela, le LLM a révélé un couplage négatif-atténuation cohérent avec la théorie linguistique conventionnelle (les pessimistes atténuent) :

Rogoff : $r(neg, hedged) = 0,875 $($ p = 0,001$).
Zeihan : $r(neg, hedged) = 0,722 $($ p = 0,008$).

3. Robustesse inter-modèles

Les conclusions des LLM ont été confirmées comme étant indépendantes du fournisseur de modèle. Doubao-Seed-2.0-Lite et GPT-5.4 ont produit des estimations de corrélation statistiquement indiscernables pour les métriques d'atténuation et d'emphase ( $p > 0,24$ pour toutes les comparaisons), validant le schéma substantiel.

4. Modes de défaillance structurelle

L'analyse d'erreur au niveau de la phrase a identifié trois mécanismes spécifiques par lesquels les lexiques de mots-clés inversent le sens sémantique :

Cécité syntaxique : Échec de l'analyse des structures de négation (ex: « jamais absolument confiant » est scoré comme une haute certitude plutôt qu'une faible confiance).
Cécité de la polysémie : Incapacité à distinguer les significations dépendantes du contexte (ex: « un corps certain » vs « certainement »).
Absence catégorielle : Les modificateurs d'atténuation (ex: « genre », « presque », « je pense ») manquent de catégories dédiées et ne parviennent pas à atténuer les scores des marqueurs de certitude adjacents.

Contributions clés

Démonstration des artefacts de mesure : L'article fournit une preuve empirique que les corrélations fortes et statistiquement significatives dans les CSS (spécifiquement le couplage négatif-certitude) peuvent être entièrement des artefacts de l'instrument de mesure. Il montre que le comptage de mots-clés mesure une tendance universelle de cooccurrence lexicale (les sujets sérieux attirent un langage sérieux) qui est orthogonale à, et peut systématiquement inverser, la véritable posture rhétorique.
Typologie d'erreur pour l'audit de lexiques : Les auteurs proposent un cadre réutilisable pour auditer les instruments basés sur les mots-clés, identifiant trois modes de défaillance structurelle (cécité syntaxique, cécité de la polysémie, absence catégorielle) qui expliquent pourquoi les représentations de type « sac de mots » échouent à capturer la modalité.
Cadre de validation pour les CSS : L'étude établit un modèle de validation en quatre étapes pour les recherches futures :
- Tester la généralisabilité à travers les locuteurs/domaines.
- Valider par rapport à des classificateurs sémantiques sensibles au contexte et traitant la population complète (LLM).
- Répliquer la validation avec des modèles entraînés indépendamment pour exclure le biais du fournisseur.
- Mener une analyse d'erreur au niveau de la phrase pour diagnostiquer les échecs linguistiques spécifiques.

Signification et affirmations

L'article soutient que traiter les comptes de mots-clés comme des mesures directes de la certitude épistémique constitue une erreur de catégorie. Un résultat qui semble porter sur la psychologie d'un locuteur (ex: « Dalio est de plus en plus certain de la catastrophe ») peut être entièrement lié au comptage des mots.

Les auteurs ne prétendent pas que les méthodes de mots-clés doivent être abandonnées, reconnaissant leur interprétabilité et leur efficacité. Cependant, ils affirment que les fortes corrélations basées sur les mots-clés doivent être interprétées comme des signaux de cooccurrence lexicale, et non comme une posture rhétorique, à moins d'être validées par des méthodes sensibles au contexte. L'étude conclut que lorsqu'un instrument computationnel produit un résultat frappant, l'instrument lui-même mérite autant d'examen que le locuteur qu'il prétend mesurer. L'« effet Dalio » observé dans les données ne concernait pas Dalio, mais les limitations du mécanisme de comptage.