💻 computer science

Slogans or Stance? A Label-Light Diagnostic for Entrepreneurial-Discourse Measurement on Chinese SOE Speeches

Cet article présente un cadre diagnostique peu exigeant en étiquettes pour évaluer les instruments de mesure de l'« esprit entrepreneurial » dans les discours des entreprises publiques chinoises, révélant que si des méthodes traditionnelles comme LDA échouent à distinguer l'identité de l'orateur, des outils avancés comme les LLM en zéro-shot réussissent mais confondent les signaux du construit avec l'idiolècte spécifique au dirigeant, nécessitant ainsi une réévaluation des affirmations actuelles concernant la validité de construit.

Auteurs originaux : Ting Gong, Shangquan Sun

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ting Gong, Shangquan Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Est-ce un discours ou un script ?

Imaginez que vous essayez d'évaluer à quel point une entreprise est « innovante » ou « entrepreneuriale » en lisant les discours de ses dirigeants. Habituellement, les chercheurs utilisent des outils informatiques pour scanner ces discours à la recherche de mots-clés spécifiques (comme « innovation », « risque » ou « avenir ») et les comptabilisent.

Le Problème : Les auteurs de ce document soutiennent que ces outils sont souvent trompés. Dans le monde des Entreprises d'État Chinoises (SOE), les dirigeants sont censés réciter un ensemble spécifique de slogans politiques et de phrases standardisées (comme « construire des entreprises de classe mondiale »). Ces phrases sont comme un script obligatoire que chaque dirigeant doit lire, indépendamment de ce qu'ils prévoient réellement de faire.

Le document pose la question suivante : Ces outils informatiques mesurent-ils les vraies idées du dirigeant (sa position), ou mesurent-ils simplement à quel point le dirigeant a bien récité le script obligatoire (les slogans) ?

L'Expérience : Le Test « Même Entreprise, Différent Patron »

Pour trouver la réponse sans embaucher une immense équipe de correcteurs humains, les auteurs ont mis en place une expérience naturelle ingénieuse, comme un jeu de « trouvez la différence » musical.

Le Déroulement : Ils ont rassemblé 80 discours provenant de 51 entreprises différentes.
La Surprise : Pour 24 de ces entreprises, le patron a changé entre deux discours (l'Entreprise A avait le Patron X, puis plus tard le Patron Y). Pour 5 autres entreprises, le même patron a prononcé deux discours.
La Logique :
- Si un outil informatique est bon pour mesurer le style personnel d'un dirigeant, les discours du Patron X et du Patron Y (au sein de la même entreprise) devraient paraître très différents.
- Si l'outil mesure simplement le script standard de l'entreprise, les discours du Patron X et du Patron Y devraient paraître presque identiques, car ils lisent tous les deux le même manuel de l'entreprise.

Les Résultats : Qui a réussi le test ?

Les auteurs ont testé quatre différents « outils de détective » pour voir lequel pouvait repérer la différence entre les deux patrons.

Le Compteur de Mots-clés (Dictionnaire) :
- Analogie : C'est comme un robot qui compte simplement combien de fois le mot « pomme » apparaît dans un panier de fruits.
- Résultat : Échec. Il n'a pas pu distinguer les patrons. Pourquoi ? Parce que les deux patrons utilisaient exactement les mêmes slogans de « pomme ». Le robot pensait qu'ils disaient la même chose parce que les mots-clés étaient identiques, même si les patrons voulaient dire des choses différentes.
L'Outil de Regroupement par Thèmes (LDA) :
- Analogie : Cet outil essaie de trier les discours dans des catégories comme « Pétrole », « Voitures » ou « Banques ».
- Résultat : Échec. Il a trié avec succès les discours par secteur d'activité (par exemple, tous les discours sur le pétrole se ressemblaient), mais il n'a pas pu faire la différence entre deux patrons d'une même entreprise pétrolière. Il regardait le secteur, pas la personne.
L'Encodeur de Phrases Moderne (BGE) :
- Analogie : C'est un outil intelligent qui comprend la « vibe » d'une phrase.
- Résultat : Échec (en grande partie). Parce que tous ces discours utilisent un langage politique si similaire, l'outil s'est confondu. La « distance » entre les discours était si infime qu'elle était pratiquement nulle. Il n'a pas pu trouver de signal dans le bruit.
Le Grand Modèle de Langage (LLM) :
- Analogie : C'est comme un lecteur humain très intelligent capable de comprendre le contexte, le ton et les nuances. On lui a demandé : « Ce paragraphe est-il un slogan générique, ou une décision commerciale réelle et spécifique ? »
- Résultat : Réussite. Cet outil a remarqué avec succès que lorsque le patron changeait, la substance du discours changeait, même si les slogans restaient les mêmes. Il pouvait distinguer le Patron X du Patron Y bien mieux que les autres outils.

L'Astuce de « Calibration »

Les auteurs ont essayé de rendre le LLM intelligent encore meilleur en ajoutant un « filtre ». Ils ont dit au modèle : « Si vous voyez un paragraphe qui ressemble à un slogan générique, baissez son score. S'il ressemble à une décision commerciale réelle, gardez le score élevé. »

Le Piège : Bien que cela ait légèrement accru les différences entre les patrons en chiffres bruts, cela n'a pas rendu l'outil plus fiable statistiquement.
La Réelle Découverte : Le plus grand boost de performance du LLM provenait simplement de la propre confiance du modèle. Lorsque le modèle disait : « Je suis sûr à 90 % qu'il s'agit d'une décision commerciale réelle », cette confiance était le facteur le plus important. Le « filtre slogan » supplémentaire n'ajoutait pas beaucoup de valeur par lui-même.

La Conclusion

Les Anciens Outils sont Trompés : Les méthodes standard (compter les mots ou regrouper des thèmes) sont facilement dupées par le caractère « scripté » de ces discours. Ils mesurent la marque de l'entreprise, pas l'esprit du dirigeant.
L'IA Peut Voir à Travers : Une IA moderne (LLM) peut beaucoup mieux séparer les « slogans » de la « substance », identifiant quand un dirigeant parle réellement de ses plans commerciaux spécifiques par rapport à simplement lire le manuel du gouvernement.
Un Avertissement : Même l'IA intelligente n'est pas parfaite. Environ la moitié de ce qu'elle détecte comme étant le « style d'un dirigeant » pourrait simplement être la façon unique de parler du dirigeant (son « idiolecte ») plutôt que sa position stratégique réelle.

En bref : Si vous voulez savoir ce qu'un dirigeant d'Entreprise d'État Chinoise pense réellement, ne comptez pas seulement les mots à la mode. Vous avez besoin d'un outil assez intelligent pour faire la différence entre un script et un discours.

Résumé Technique : « Slogans ou Prise de Position ? Un Diagnostic Léger en Étiquettes pour la Mesure du Discours Entrepreneurial sur les Discours des Entreprises d'État Chinoises »

Énoncé du Problème
La recherche empirique en management et en gouvernance d'entreprise repose fréquemment sur des indices textuels dérivés de discours d'entreprise pour mesurer des construits tels que « l'esprit d'entreprise ». Les méthodologies standard — dictionnaires de mots-clés, modèles de sujets latents (par exemple, LDA) et embeddings de phrases pré-entraînés — sont conçues pour mesurer la couverture thématique (dans quelle mesure un document aborde un sujet) plutôt que la prise de position substantielle (la position stratégique spécifique de l'orateur).

Cette distinction est critique dans les genres de discours performatifs, tels que les discours des dirigeants d'entreprises d'État (SOE) chinoises administrées centralement. Ces discours coexistent avec des rapports opérationnels (par exemple, des programmes spécifiques de R&D, des cessions d'actifs) et des invocations politiques canoniques (par exemple, des slogans comme « développer des entreprises de classe mondiale »). Les méthodes actuelles confondent souvent les deux, car les dictionnaires élaborés à la main et les modèles de sujets sont fortement pilotés par les slogans politiques à haute fréquence et interchangeables qui dominent ces textes, échouant à isoler la position stratégique unique du dirigeant du rituel institutionnel.

Méthodologie
Les auteurs proposent un diagnostic « léger en étiquettes » pour évaluer si les instruments de mesure capturent la prise de position au niveau du dirigeant ou simplement le symbolisme politique récurrent. Ils exploitent une expérience naturelle au sein d'un corpus de 80 discours provenant de 51 entreprises d'État centrales (2018–2021). L'ensemble de données comprend :

24 paires « Changement de Dirigeant » : Même entreprise, orateur différent (sur deux vagues d'entretiens).
5 paires « Même Dirigeant » : Même entreprise, même orateur (longitudinal).

L'hypothèse centrale est qu'une méthode valide d'extraction de prise de position devrait produire des distances vectorielles significativement plus grandes entre les différents dirigeants d'une même entreprise qu'entre le même dirigeant au fil du temps. Si une méthode capture des sujets sectoriels ou des rituels politiques partagés, les distances devraient être indiscernables.

Configuration Expérimentale
L'étude compare quatre familles de méthodes sur 2 190 segments de texte :

Dictionnaire (DICT) : Correspondance basée sur les tokens par rapport à des mots-clés de départ pour cinq dimensions (Innovation, Concurrence–Coopération, Organisation–Marché, Responsabilité Sociale, Mission Nationale).
Allocation Dirichlet Latente (LDA) : Modélisation de sujets non supervisée avec $K=5$ , mappée sur les dimensions via des mots-clés de départ.
Encodeur de Phrases (BGE) : Similarité cosinus entre les embeddings de segments et les descriptions de dimensions utilisant le modèle BAAI/bge-small-zh-v1.5.
Grand Modèle de Langage (LLM) : Un modèle zero-shot de 9 milliards de paramètres (Qwen3.5:9b) invité à produire :
- Une étiquette de prise de position (SLOGAN, SUBSTANTIEL, IRRELEVANT).
- Une confiance substantielle ( $c_{sub}$ ).
- Des scores de prise de position par dimension.
- Des estimations de densité de slogans.

Une variante Calibrée par Pondération de Confiance (CALIBRATED) est introduite, qui pondère les scores bruts de prise de position du LLM par sa confiance substantielle auto-déclarée et pénalise la densité de slogans.

Résultats Clés
L'évaluation se concentre sur deux canaux : Contraste Apparié (distance changement de dirigeant vs même dirigeant) et F1 Or (cohérence avec un ensemble pilote annoté par des humains).

Échecs des Lignes de Base :
- LDA : N'a pas réussi à distinguer les changements de dirigeants. La $d$ de Cohen était de 0,20 avec un IC à 95 % traversant zéro $[-0,72, 1,20]$ . Les sujets récupérés étaient des clusters sectoriels (par exemple, pétrole, automobile) plutôt que des dimensions de prise de position.
- Dictionnaire : Bien qu'affichant une $d$ de Cohen élevée (0,81), la méthode était anti-corrélée avec l'étiquette « Substantielle » or dans le pilote (F1 $\approx$ 0,5). Elle a attribué des scores plus élevés aux slogans politiques qu'aux récits opérationnels.
- BGE : A produit une $d$ de Cohen de 0,65, mais sur des distances vectorielles de documents de l'ordre de $10^{-3}$ . L'espace d'embedding était trop effondré (homogène) pour soutenir une discrimination significative en aval.
Performance du LLM :
- Le Qwen3.5:9b zero-shot a atteint une $d$ de Cohen de 1,09 ( $p_1$ de permutation exacte = 0,034) et un F1 Or de 0,78.
- La version Calibrée a augmenté la différence absolue de contraste apparié ( $\Delta$ ) de 27 % (de 0,105 à 0,130) mais a réduit la $d$ de Cohen à 0,83 en raison d'une variance accrue.
- Ablation : L'amélioration des performances était presque entièrement due au multiplicateur de confiance substantielle ( $c_{sub}$ ). Les pénalités de densité de slogans ont contribué de manière négligeable.
Résultats Nuancés :
- Style vs Prise de Position : Lors de la régression de cinq caractéristiques stylométriques au niveau du document (longueur des phrases, densité numérique, etc.), la $d$ de Cohen du LLM est passée de 1,09 à 0,43 (non significatif). Cela suggère qu'environ la moitié de l'effet « changement de dirigeant » mesuré est cohérent avec l'idiolècte individuel du dirigeant (style) plutôt qu'avec une pure prise de position stratégique.
- Sensibilité des Dimensions : La dimension « Organisation–Marché » était la plus discriminative pour toutes les méthodes, tandis que « Mission Nationale » était la plus difficile, probablement en raison de son caractère formulaire.
- Robustesse au Paraphrase : La réécriture de contenu substantiel dans un style de slogan a augmenté les scores du Dictionnaire de 33 % mais a diminué les scores du LLM Calibré, confirmant la capacité du LLM à distinguer la forme du fond.

Signification et Revendications
L'article ne prétend pas avoir résolu définitivement la mesure de « l'orientation entrepreneuriale ». Il présente plutôt sa contribution comme un diagnostic de validité de mesure pour le discours performatif d'entreprise.

Utilité Diagnostique : L'évaluation appariée par changement de dirigeant offre un moyen de tester si une méthode capture la prise de position de l'orateur ou le rituel institutionnel de l'entreprise sans nécessiter d'annotation humaine coûteuse et à grande échelle.
Critique Méthodologique : Les outils standards (Dictionnaires, LDA, Embeddings génériques) se révèlent insuffisants pour séparer la prise de position du symbolisme dans ce genre spécifique. Ils récupèrent des sujets sectoriels ou sont pilotés par la fréquence des slogans.
LLM comme Outil, non comme Panacée : Bien que les LLM zero-shot surpassent les lignes de base, les auteurs mettent en garde contre le fait que :
- Les étiquettes « Or » correspondent aux règles de prompt du LLM lui-même, ce qui signifie que le F1 mesure la cohérence des règles, et non la validité externe du construit.
- Une part significative du signal peut être stylistique (idiolècte) plutôt que stratégique.
- Le chevauchement de pré-entraînement entre le LLM et le corpus des entreprises d'État chinoises constitue un facteur de confusion potentiel.

Conclusion
Les auteurs publient le corpus annoté, le lexique des slogans et le dispositif d'évaluation pour permettre de nouvelles recherches. Ils concluent que si les LLM offrent un signal supérieur pour distinguer les dirigeants dans le discours performatif, les chercheurs doivent rester prudents quant à l'attribution de ces signaux uniquement à la prise de position stratégique, car le style et les modèles institutionnels restent des facteurs de confusion puissants. L'article plaide pour un passage du traitement du texte d'entreprise comme une divulgation transparente à son analyse comme un mélange de contenu performatif et substantiel.