💻 computer science

Slogans or Stance? A Label-Light Diagnostic for Entrepreneurial-Discourse Measurement on Chinese SOE Speeches

Dieser Beitrag stellt einen label-light-diagnostischen Rahmen zur Evaluierung von Messinstrumenten für „unternehmerischen Geist" in chinesischen Staatsunternehmensreden vor und zeigt, dass zwar traditionelle Methoden wie LDA die Sprecheridentität nicht unterscheiden können, während fortschrittliche Werkzeuge wie Zero-Shot-LLMs erfolgreich sind, jedoch Konstruktsignale mit leaderspezifischem Idiolekt vermischen, wodurch eine Neubewertung aktueller Behauptungen hinsichtlich der Konstruktvalidität erforderlich wird.

Ursprüngliche Autoren: Ting Gong, Shangquan Sun

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ting Gong, Shangquan Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Ist es eine Rede oder ein Skript?

Stellen Sie sich vor, Sie versuchen, anhand der Reden von Führungskräften zu beurteilen, wie „innovativ" oder „unternehmerisch" ein Unternehmen ist. Normalerweise verwenden Forscher Computertools, um diese Reden nach bestimmten Schlüsselwörtern (wie „Innovation", „Risiko" oder „Zukunft") zu durchsuchen und diese zu zählen.

Das Problem: Die Autoren dieses Papers argumentieren, dass diese Tools oft getäuscht werden. Im Bereich der chinesischen Staatsunternehmen (SOEs) wird von den Führungskräften erwartet, dass sie eine bestimmte Reihe politischer Slogans und Standardfloskeln vortragen (wie etwa den Aufbau von Weltklasse-Unternehmen). Diese Phrasen sind wie ein obligatorisches Skript, das jeder Führer vorlesen muss, unabhängig davon, was er tatsächlich vorhat.

Das Paper fragt: Messen diese Computertools die echten Ideen des Führers (seine Haltung) oder messen sie nur, wie gut der Führer das obligatorische Skript (die Slogans) vorgetragen hat?

Das Experiment: Der Test „Gleiches Unternehmen, anderer Chef"

Um die Antwort zu finden, ohne ein riesiges Team menschlicher Korrektoren einzustellen, haben die Autoren ein cleveres natürliches Experiment aufgebaut, ähnlich einem musikalischen „Finde die Unterschiede"-Spiel.

Der Aufbau: Sie sammelten 80 Reden von 51 verschiedenen Unternehmen.
Der Twist: Bei 24 dieser Unternehmen wechselte der Chef zwischen zwei Reden (Unternehmen A hatte Chef X, später dann Chef Y). Bei 5 anderen Unternehmen hielt derselbe Chef zwei Reden.
Die Logik:
- Wenn ein Computertools gut darin ist, den persönlichen Stil eines Führers zu messen, sollten die Reden von Chef X und Chef Y (im selben Unternehmen) sehr unterschiedlich aussehen.
- Wenn das Tool nur das Standard-Skript des Unternehmens misst, sollten die Reden von Chef X und Chef Y fast identisch aussehen, da beide dasselbe Unternehmenshandbuch vorlesen.

Die Ergebnisse: Wer bestand den Test?

Die Autoren testeten vier verschiedene „Detektiv-Tools", um zu sehen, welches den Unterschied zwischen den beiden Chefs erkennen konnte.

Der Schlüsselwort-Zähler (Wörterbuch):
- Analogie: Dies ist wie ein Roboter, der einfach zählt, wie oft das Wort „Apfel" in einem Obstkorb vorkommt.
- Ergebnis: Gescheitert. Er konnte die Chefs nicht unterscheiden. Warum? Weil beide Chefs genau dieselben „Apfel"-Slogans verwendeten. Der Roboter dachte, sie sagten dasselbe, weil die Schlüsselwörter identisch waren, selbst wenn die Chefs unterschiedliche Dinge meinten.
Das Themen-Gruppierungs-Tool (LDA):
- Analogie: Dieses Tool versucht, Reden in Kategorien wie „Öl", „Autos" oder „Banken" einzuteilen.
- Ergebnis: Gescheitert. Es sortierte Reden erfolgreich nach Branche (z. B. sahen alle Öl-Reden ähnlich aus), konnte aber keinen Unterschied zwischen zwei Chefs desselben Ölunternehmens erkennen. Es schaute auf die Branche, nicht auf die Person.
Der moderne Satz-Encoder (BGE):
- Analogie: Dies ist ein intelligentes Tool, das die „Stimmung" eines Satzes versteht.
- Ergebnis: Gescheitert (meistens). Da alle diese Reden eine so ähnliche politische Sprache verwenden, geriet das Tool in Verwirrung. Der „Abstand" zwischen den Reden war so winzig, dass er praktisch null war. Es konnte kein Signal im Rauschen finden.
Das Large Language Model (LLM):
- Analogie: Dies ist wie ein sehr intelligenter menschlicher Leser, der Kontext, Tonfall und Nuancen verstehen kann. Es wurde gefragt: „Ist dieser Absatz eine generische Floskel oder eine spezifische, echte Geschäftsentscheidung?"
- Ergebnis: Bestanden. Dieses Tool bemerkte erfolgreich, dass sich der Inhalt der Rede änderte, wenn der Chef wechselte, selbst wenn die Slogans gleich blieben. Es konnte zwischen Chef X und Chef Y viel besser unterscheiden als die anderen Tools.

Der „Kalibrierungs"-Trick

Die Autoren versuchten, das intelligente LLM noch besser zu machen, indem sie einen „Filter" hinzufügten. Sie sagten dem Modell: „Wenn Sie einen Absatz sehen, der wie eine generische Floskel aussieht, senken Sie seine Bewertung. Wenn er wie eine echte Geschäftsentscheidung aussieht, behalten Sie die hohe Bewertung bei."

Der Haken: Obwohl dies die Unterschiede zwischen den Chefs in rohen Zahlen leicht vergrößerte, machte es das Tool statistisch nicht zuverlässiger.
Die eigentliche Entdeckung: Der größte Schub für die Leistung des LLM kam einfach aus dem eigenen Vertrauen des Modells. Wenn das Modell sagte: „Ich bin zu 90 % sicher, dass dies eine echte Geschäftsentscheidung ist", war dieses Vertrauen der wichtigste Faktor. Der zusätzliche „Floskel-Filter" trug für sich genommen nicht viel bei.

Das Fazit

Alte Tools werden getäuscht: Standardmethoden (Wörter zählen oder Themen gruppieren) lassen sich leicht durch den „skriptierten" Charakter dieser Reden täuschen. Sie messen die Marke des Unternehmens, nicht den Verstand des Führers.
KI kann hindurchsehen: Eine moderne KI (LLM) kann die „Floskeln" viel besser vom „Inhalt" trennen und identifizieren, wann ein Führer tatsächlich über seine spezifischen Geschäftspläne spricht und wann er nur das Regierungs-Skript vorliest.
Eine Warnung: Selbst die intelligente KI ist nicht perfekt. Etwa die Hälfte dessen, was sie als „Stil des Führers" erkennt, könnte einfach die einzigartige Sprechweise des Führers (sein „Idiolekt") sein und nicht seine tatsächliche strategische Haltung.

Kurz gesagt: Wenn Sie wissen wollen, was ein chinesischer SOE-Führer wirklich denkt, zählen Sie nicht nur die Buzzwords. Sie brauchen ein Tool, das intelligent genug ist, den Unterschied zwischen einem Skript und einer Rede zu erkennen.

Technisches Fazit: „Slogans oder Haltung? Eine label-leichte Diagnostik zur Messung unternehmerischer Diskurse in Reden chinesischer Staatsunternehmen"

Problemstellung
Empirische Forschungen im Bereich Management und Unternehmensführung stützen sich häufig auf textbasierte Indizes, die aus Unternehmensreden abgeleitet werden, um Konstrukte wie „unternehmerischen Geist" zu messen. Standardmethoden – Keyword-Wörterbücher, latente Themenmodelle (z. B. LDA) und vortrainierte Satz-Embeddings – sind darauf ausgelegt, die thematische Abdeckung (wie stark ein Dokument ein Thema behandelt) zu messen, und nicht die inhaltliche Haltung (die spezifische strategische Position des Sprechers).

Dieser Unterschied ist in performativen Diskursgenres, wie etwa Reden von Führungskräften zentral verwalteter staatlicher Unternehmen (SOEs) in China, von entscheidender Bedeutung. Diese Reden existieren parallel zu operativen Berichten (z. B. spezifische F&E-Programme, Veräußerungen) und kanonischen politischen Anspielungen (z. B. Slogans wie „Weltklasse-Unternehmen entwickeln"). Aktuelle Methoden vermischen diese beiden Aspekte oft, da handkurierte Wörterbücher und Themenmodelle stark von den hochfrequenten, austauschbaren politischen Slogans getrieben werden, die diese Texte dominieren, und es versäumen, die einzigartige strategische Haltung des Leiters vom institutionellen Ritual zu isolieren.

Methodik
Die Autoren schlagen eine „label-leichte" Diagnostik vor, um zu evaluieren, ob Messinstrumente die Haltung auf Leitungsebene oder lediglich wiederkehrende politische Symbolik erfassen. Sie nutzen ein natürliches Experiment innerhalb eines Korpus von 80 Reden von 51 zentralen SOEs (2018–2021). Der Datensatz umfasst:

24 „Leiter-Wechsel"-Paare: Dasselbe Unternehmen, unterschiedlicher Sprecher (über zwei Interviewwellen hinweg).
5 „Gleicher-Leiter"-Paare: Dasselbe Unternehmen, gleicher Sprecher (longitudinal).

Die Kernhypothese lautet, dass eine gültige Methode zur Extraktion von Haltungen signifikant größere Vektordistanzen zwischen unterschiedlichen Leitern desselben Unternehmens als zwischen dem gleichen Leiter über die Zeit hinweg produzieren sollte. Wenn eine Methode Branchenthemen oder gemeinsame politische Rituale erfasst, sollten die Distanzen nicht unterscheidbar sein.

Experimentelles Setup
Die Studie bewertet vier Methodenfamilien an 2.190 Textsegmenten:

Wörterbuch (DICT): Token-basierte Abgleichung gegen Seed-Wörter für fünf Dimensionen (Innovation, Wettbewerb–Kooperation, Organisation–Markt, Soziale Verantwortung, Nationale Mission).
Latent Dirichlet Allocation (LDA): Unüberwachtes Themenmodellierung mit $K=5$ , abgebildet auf Dimensionen mittels Seed-Wörter.
Satz-Encoder (BGE): Kosinus-Ähnlichkeit zwischen Segment-Embeddings und Dimensionsbeschreibungen unter Verwendung des Modells BAAI/bge-small-zh-v1.5.
Large Language Model (LLM): Ein Zero-Shot-Modell mit 9 Milliarden Parametern (Qwen3.5:9b), das dazu aufgefordert wird, Folgendes auszugeben:
- Ein Haltungslabel (SLOGAN, SUBSTANTIV, IRRELEVANT).
- Substantive Konfidenz ( $c_{sub}$ ).
- Haltungs-Scores pro Dimension.
- Schätzungen der Slogan-Dichte.

Eine Variante mit Konfidenz-gewichteter Kalibrierung (KALIBRIERT) wird eingeführt, welche die rohen Haltungs-Scores des LLM mit seiner selbstberichteten substantiven Konfidenz gewichtet und die Slogan-Dichte bestraft.

Hauptergebnisse
Die Evaluation konzentriert sich auf zwei Kanäle: Paar-Kontrast (Leiter-Wechsel vs. Distanz beim gleichen Leiter) und Gold F1 (Konsistenz mit einem von Menschen annotierten Pilotdatensatz).

Versagen der Baseline:
- LDA: Konnte Leiterwechsel nicht unterscheiden. Die Cohen's $d$ betrug 0,20 mit einem 95%-KI, das null kreuzte $[-0,72, 1,20]$ . Die rekonstruierten Themen waren Branchencluster (z. B. Öl, Automobil) und keine Haltungsdimensionen.
- Wörterbuch: Obwohl es eine hohe Cohen's $d$ (0,81) zeigte, war die Methode im Pilotdatensatz anti-korreliert mit dem „Substantiven"-Gold-Label (F1 $\approx$ 0,5). Es bewertete politische Slogans höher als operative Narrative.
- BGE: Erzielte eine Cohen's $d$ von 0,65, jedoch bei Dokument-Vektordistanzen in der Größenordnung von $10^{-3}$ . Der Embedding-Raum war zu stark kollabiert (homogen), um eine sinnvolle nachgelagerte Diskriminierung zu unterstützen.
LLM-Leistung:
- Das Zero-Shot-Modell Qwen3.5:9b erreichte eine Cohen's $d$ von 1,09 (exakter Permutations- $p_1 = 0,034$ ) und ein Gold F1 von 0,78.
- Die kalibrierte Version erhöhte den absoluten Paar-Kontrast-Unterschied ( $\Delta$ ) um 27 % (von 0,105 auf 0,130), reduzierte jedoch die Cohen's $d$ aufgrund erhöhter Varianz auf 0,83.
- Ablation: Der Leistungsanstieg wurde fast ausschließlich durch den multiplikativen Faktor der substantiven Konfidenz ( $c_{sub}$ ) getrieben. Strafen für Slogan-Dichte trugen vernachlässigbar bei.
Differenzierte Befunde:
- Stil vs. Haltung: Bei Regression von fünf stilometrischen Merkmalen auf Dokumentenebene (Satzlänge, numerische Dichte usw.) sank die Cohen's $d$ des LLM von 1,09 auf 0,43 (nicht signifikant). Dies deutet darauf hin, dass etwa die Hälfte des gemessenen „Leiter-Wechsel"-Effekts mit dem individuellen Idiolekt (Stil) des Leiters übereinstimmt und nicht mit der reinen strategischen Haltung.
- Dimensions-Sensitivität: Die Dimension „Organisation–Markt" war bei allen Methoden am besten diskriminierend, während „Nationale Mission" aufgrund ihres formelhaften Charakters am schwierigsten war.
- Paraphrase-Robustheit: Das Umschreiben von substantivem Inhalt in Slogan-Stil erhöhte die Wörterbuch-Scores um 33 %, verringerte jedoch die Scores des kalibrierten LLM, was die Fähigkeit des LLM bestätigt, Form von Substanz zu unterscheiden.

Bedeutung und Behauptungen
Die Arbeit behauptet nicht, die Messung der „unternehmerischen Orientierung" endgültig gelöst zu haben. Stattdessen wird ihr Beitrag als Messvaliditäts-Diagnostik für performativen Unternehmensdiskurs formuliert.

Diagnostischer Nutzen: Die Paar-Evaluation mit Leiterwechsel bietet eine Möglichkeit zu testen, ob eine Methode die Haltung des Sprechers oder das institutionelle Ritual des Unternehmens erfasst, ohne teure, groß angelegte menschliche Annotation zu erfordern.
Methodische Kritik: Standardwerkzeuge (Wörterbücher, LDA, generische Embeddings) erweisen sich als unzureichend, um in diesem spezifischen Genre Haltung von Symbolik zu trennen. Sie rekonstruieren Branchenthemen oder werden von der Slogan-Häufigkeit getrieben.
LLM als Werkzeug, nicht als Allheilmittel: Obwohl Zero-Shot-LLMs die Baselines übertreffen, warnen die Autoren davor, dass:
- Die „Gold"-Labels den eigenen Prompt-Regeln des LLM entsprechen, was bedeutet, dass F1 die Regelkonsistenz misst und nicht die externe Konstruktvalidität.
- Ein erheblicher Teil des Signals stilistisch (Idiolekt) und nicht strategisch sein könnte.
- Eine Überlappung der Vortrainierung zwischen dem LLM und dem Korpus chinesischer SOEs ein potenzieller Störfaktor ist.

Fazit
Die Autoren veröffentlichen das bewertete Korpus, das Slogan-Lexikon und die Evaluationsumgebung, um weitere Forschung zu ermöglichen. Sie kommen zu dem Schluss, dass LLMs zwar ein überlegenes Signal zur Unterscheidung von Leitern in performativem Diskurs bieten, Forscher jedoch vorsichtig bleiben müssen, diese Signale ausschließlich der strategischen Haltung zuzuschreiben, da Stil und institutionelle Vorlagen starke Störfaktoren bleiben. Die Arbeit plädiert für einen Wandel von der Behandlung von Unternehmenstexten als transparente Offenlegung hin zur Analyse als Mischung aus performativem und substantivem Inhalt.