💻 computer science

Slogans or Stance? A Label-Light Diagnostic for Entrepreneurial-Discourse Measurement on Chinese SOE Speeches

Dit artikel introduceert een diagnostisch raamwerk met beperkte labels om meetinstrumenten voor "ondernemerschap" in toespraken van Chinese staatsbedrijven te evalueren, en onthult dat terwijl traditionele methoden zoals LDA de sprekeridentiteit niet kunnen onderscheiden, geavanceerde hulpmiddelen zoals zero-shot LLM's weliswaar slagen maar constructsignalen vermengen met leiderspecifiek idiolect, waardoor een herbeoordeling van huidige claims omtrent constructvaliditeit noodzakelijk is.

Oorspronkelijke auteurs: Ting Gong, Shangquan Sun

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ting Gong, Shangquan Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Is het een toespraak of een script?

Stel je voor dat je probeert te beoordelen hoe "innovatief" of "ondernemend" een bedrijf is door de toespraken van zijn bazen te lezen. Meestal gebruiken onderzoekers computertools om deze toespraken te scannen op specifieke sleutelwoorden (zoals "innovatie", "risico" of "toekomst") en deze op te tellen.

Het Probleem: De auteurs van dit artikel betogen dat deze tools vaak worden misleid. In de wereld van Chinese staatsbedrijven (SOE's) wordt van leiders verwacht dat ze een specifieke reeks politieke leuzen en standaardzinnen reciteren (zoals "wereldklasse ondernemingen bouwen"). Deze zinnen zijn als een verplicht script dat elke leider moet voorlezen, ongeacht wat ze daadwerkelijk van plan zijn te doen.

Het artikel vraagt zich af: Meten deze computertools de echte ideeën van de leider (hun standpunt), of meten ze alleen hoe goed de leider het verplichte script (de leuzen) heeft opgezegd?

Het Experiment: De "Zelfde Bedrijf, Andere Baas"-test

Om het antwoord te vinden zonder een enorm team van menselijke beoordelaars in te huren, hebben de auteurs een slim natuurlijk experiment opgezet, vergelijkbaar met een muzikale "vind het verschil"-game.

De Opzet: Ze verzamelden 80 toespraken van 51 verschillende bedrijven.
De Twist: Bij 24 van deze bedrijven wisselde de baas tussen twee toespraken (Bedrijf A had Baas X, en later had het Baas Y). Bij 5 andere bedrijven gaf dezelfde baas twee toespraken.
De Logica:
- Als een computertools goed is in het meten van de persoonlijke stijl van een leider, dan zouden de toespraken van Baas X en Baas Y (bij hetzelfde bedrijf) er heel anders uit moeten zien.
- Als de tool alleen het standaardscript van het bedrijf meet, dan zouden de toespraken van Baas X en Baas Y er bijna identiek uit moeten zien, omdat ze beide hetzelfde bedrijfshandboek voorlezen.

De Resultaten: Wie Bestond de Test?

De auteurs testten vier verschillende "detective-tools" om te zien welke de verschillen tussen de twee bazen kon opsporen.

De Sleutelwoordteller (Woordenlijst):
- Analogie: Dit is als een robot die gewoon telt hoe vaak het woord "appel" in een fruitmand voorkomt.
- Resultaat: Gefaald. Het kon de bazen niet uit elkaar houden. Waarom? Omdat beide bazen precies dezelfde "appel"-leuzen gebruikten. De robot dacht dat ze hetzelfde zeiden omdat de sleutelwoorden identiek waren, zelfs als de bazen iets anders bedoelden.
Het Onderwerpgroeperingshulpmiddel (LDA):
- Analogie: Deze tool probeert toespraken in bakken te sorteren zoals "Olie", "Auto's" of "Banken".
- Resultaat: Gefaald. Het slaagde erin toespraken te sorteren op industrie (bijvoorbeeld: alle olietoespraken leken op elkaar), maar het kon geen verschil zien tussen twee bazen binnen hetzelfde oliemaatschappij. Het keek naar de industrie, niet naar de persoon.
De Moderne Zin-Encoder (BGE):
- Analogie: Dit is een slimme tool die de "sfeer" van een zin begrijpt.
- Resultaat: Gefaald (grotendeels). Omdat al deze toespraken zo vergelijkbare politieke taal gebruiken, raakte de tool in de war. De "afstand" tussen de toespraken was zo klein dat deze praktisch nul was. Het kon geen signaal vinden in de ruis.
Het Groot Taalmodel (LLM):
- Analogie: Dit is als een zeer slim menselijk lezer die context, toon en nuance kan begrijpen. Het werd gevraagd: "Is dit alinea een generieke leus, of is het een specifieke, echte zakelijke beslissing?"
- Resultaat: Geslaagd. Deze tool merkte succesvol op dat wanneer de baas veranderde, de inhoud van de toespraak veranderde, zelfs als de leuzen hetzelfde bleven. Het kon veel beter onderscheid maken tussen Baas X en Baas Y dan de andere tools.

De "Kalibratie"-Truc

De auteurs probeerden de slimme LLM nog beter te maken door een "filter" toe te voegen. Ze vertelden het model: "Als je een alinea ziet die lijkt op een generieke leus, verlaag dan de score. Als het lijkt op een echte zakelijke beslissing, houd dan de score hoog."

De Haken: Hoewel dit de verschillen tussen bazen in ruwe cijfers iets groter maakte, maakte het de tool statistisch niet betrouwbaarder.
De Eigenlijke Ontdekking: De grootste boost voor de prestaties van de LLM kwam simpelweg voort uit het vertrouwen van het model zelf. Wanneer het model zei: "Ik ben 90% zeker dat dit een echte zakelijke beslissing is", was dat vertrouwen de belangrijkste factor. Het extra "leus-filter" voegde op zichzelf niet veel waarde toe.

De Conclusie

Oude Tools worden Bedrogen: Standaardmethoden (woorden tellen of onderwerpen groeperen) worden gemakkelijk misleid door het "geschreven" karakter van deze toespraken. Ze meten het merk van het bedrijf, niet de geest van de leider.
AI Kan erdoorheen Kijken: Een moderne AI (LLM) kan de "leuzen" veel beter scheiden van de "inhoud", en kan identificeren wanneer een leider daadwerkelijk spreekt over zijn specifieke bedrijfsplannen versus wanneer hij gewoon het overheidsboekje voorleest.
Een Waarschuwing: Zelfs de slimme AI is niet perfect. Ongeveer de helft van wat het detecteert als de "stijl van een leider" zou gewoon de unieke manier van spreken van de leider kunnen zijn (zijn "idiolect") in plaats van zijn daadwerkelijke strategische standpunt.

Kortom: Als je wilt weten wat een leider van een Chinees staatsbedrijf echt denkt, tel dan niet alleen de buzzwords. Je hebt een tool nodig die slim genoeg is om het verschil te zien tussen een script en een toespraak.

Technische Samenvatting: "Slogans of Standpunt? Een label-arme diagnostiek voor het meten van ondernemingsdiscours in toespraken van Chinese staatsbedrijven"

Probleemstelling
Empirisch onderzoek in management en corporate governance vertrouwt vaak op tekstuele indices afgeleid van corporate toespraken om constructen zoals "ondernemersgeest" te meten. Standaardmethodologieën – sleutelwoordwoordenboeken, latente topicmodellen (bijv. LDA) en voorgeöefende zinsinbeddingen – zijn ontworpen om thematische dekking te meten (hoeveel een document een onderwerp bespreekt) in plaats van substantieel standpunt (de specifieke strategische positie van de spreker).

Deze onderscheiding is cruciaal in performatieve discoursgenres, zoals toespraken van leiders van centraal beheerde Chinese staatsbedrijven (SOE's). Deze toespraken coëxisteren met operationele rapportage (bijv. specifieke O&O-programma's, desinvesteringen) en canonieke politieke verwijzingen (bijv. slogans zoals "wereldklasse ondernemingen cultiveren"). Huidige methoden verwarren deze twee vaak, aangezien handmatig samengestelde woordenboeken en topicmodellen sterk worden gedreven door de hoogfrequente, uitwisselbare politieke slogans die deze teksten domineren, waardoor het unieke strategische standpunt van de leider niet wordt geïsoleerd van het institutionele ritueel.

Methodologie
De auteurs stellen een "label-arme" diagnostiek voor om te evalueren of meetinstrumenten het standpunt op leidersniveau vastleggen of slechts terugkerende politieke symboliek. Zij maken gebruik van een natuurlijk experiment binnen een corpus van 80 toespraken van 51 centrale SOE's (2018–2021). De dataset omvat:

24 "Leider-wissel"-paren: Zelfde bedrijf, verschillende spreker (over twee interviewgolven).
5 "Zelfde-leider"-paren: Zelfde bedrijf, zelfde spreker (longitudinaal).

De kernhypothese is dat een geldige methode voor het extraheren van standpunten aanzienlijk grotere vectorafstanden moet produceren tussen verschillende leiders van hetzelfde bedrijf dan tussen de zelfde leider in de loop van de tijd. Als een methode bedrijfstakthema's of gedeelde politieke rituelen vastlegt, moeten de afstanden niet van elkaar te onderscheiden zijn.

Experimentele Opzet
De studie toetst vier methodologische families op 2.190 tekstsegmenten:

Woordenboek (DICT): Token-gebaseerde matching tegen zaadwoorden voor vijf dimensies (Innovatie, Concurrentie–Samenwerking, Organisatie–Markt, Maatschappelijke Verantwoordelijkheid, Nationale Missie).
Latent Dirichlet Allocation (LDA): Onbeheerde topicmodellering met $K=5$ , gekoppeld aan dimensies via zaadwoorden.
Zinsencoder (BGE): Cosine-afstand tussen segmentinbeddingen en dimensiebeschrijvingen met het BAAI/bge-small-zh-v1.5-model.
Groot Taalmodel (LLM): Een zero-shot model met 9 miljard parameters (Qwen3.5:9b) geprompt om uit te voeren:
- Een standpuntlabel (SLOGAN, SUBSTANTIEEL, IRRELEVANT).
- Substantieel vertrouwen ( $c_{sub}$ ).
- Per-dimensie standpuntscores.
- Schattingen van slogan-dichtheid.

Een Vertrouwens-gewogen Calibratie (GEKALIBREERD) variant wordt geïntroduceerd, die de ruwe standpuntscores van de LLM weegt op basis van haar zelfgerapporteerde substantieel vertrouwen en de slogan-dichtheid bestraft.

Belangrijkste Resultaten
De evaluatie richt zich op twee kanalen: Paired-Contrast (afstand bij leider-wissel versus zelfde-leider) en Gold F1 (consistentie met een menselijk geannoteerde pilotset).

Basisfouten:
- LDA: Faalde om leider-wissels te onderscheiden. De Cohen's $d$ was 0,20 met een 95% CI die nul kruiste $[-0,72, 1,20]$ . De herstelde topics waren bedrijfstakclusters (bijv. olie, auto-industrie) in plaats van standpunt-dimensies.
- Woordenboek: Hoewel het een hoge Cohen's $d$ toonde (0,81), was de methode anti-gecorreleerd met het "Substantieel" gold-label in de pilot (F1 $\approx$ 0,5). Het scoorde politieke slogans hoger dan operationele verhalen.
- BGE: Produceerde een Cohen's $d$ van 0,65, maar op document-vectorafstanden van de orde $10^{-3}$ . De inbeddingsruimte was te ingezakt (homogeen) om zinvolle downstream discriminatie te ondersteunen.
LLM-prestaties:
- De zero-shot Qwen3.5:9b behaalde een Cohen's $d$ van 1,09 (exacte permutatie $p_1 = 0,034$ ) en een Gold F1 van 0,78.
- De Gekalibreerde versie verhoogde het absolute paired-contrast verschil ( $\Delta$ ) met 27% (van 0,105 naar 0,130), maar verlaagde de Cohen's $d$ naar 0,83 door toegenomen variantie.
- Ablatie: De prestatieverbetering werd bijna uitsluitend gedreven door de substantieel-vertrouwen multiplier ( $c_{sub}$ ). Slogan-dichtheidsstraffen droegen verwaarloosbaar bij.
Genuanceerde Bevindingen:
- Stijl versus Standpunt: Bij het regresseren van vijf doc-level stylometrische kenmerken (zinlengte, numerieke dichtheid, etc.) daalde de Cohen's $d$ van de LLM van 1,09 naar 0,43 (niet-significant). Dit suggereert dat ongeveer de helft van het gemeten "leider-wissel"-effect consistent is met het individuele idiolect (stijl) van de leider in plaats van puur strategisch standpunt.
- Dimensiegevoeligheid: De "Organisatie–Markt" dimensie was de meest discriminerende over alle methoden, terwijl "Nationale Missie" het moeilijkst was, waarschijnlijk vanwege zijn formele aard.
- Parafraze-robustheid: Het herschrijven van substantiële inhoud in slogan-stijl verhoogde de woordenboekscores met 33%, maar verlaagde de scores van de Gekalibreerde LLM, wat de capaciteit van de LLM bevestigt om vorm van inhoud te onderscheiden.

Betekenis en Aanspraken
Het artikel claimt niet definitief de meting van "ondernemingsoriëntatie" opgelost te hebben. In plaats daarvan positioneert het zijn bijdrage als een validiteitsdiagnostiek voor meting van performatief corporate discours.

Diagnostische Nut: De paired-evaluatie bij leider-wissel biedt een manier om te testen of een methode het standpunt van de spreker vastlegt of het institutionele ritueel van het bedrijf, zonder dure, grootschalige menselijke annotatie te vereisen.
Methodologische Kritiek: Standaardtools (Woordenboeken, LDA, generieke Inbeddingen) blijken ontoereikend om standpunt van symboliek te scheiden in dit specifieke genre. Ze herstellen bedrijfstakthema's of worden gedreven door slogan-frequentie.
LLM als Hulpmiddel, niet als Panacee: Hoewel zero-shot LLM's de basismethoden overtreffen, waarschuwen de auteurs dat:
- De "Gold"-labels overeenkomen met de eigen prompt-regels van de LLM, wat betekent dat F1 regelconsistentie meet, niet externe constructvaliditeit.
- Een aanzienlijk deel van het signaal mogelijk stylistisch (idiolect) is in plaats van strategisch.
- Pre-training-overlap tussen de LLM en het corpus van Chinese SOE's een potentiële verstorende factor is.

Conclusie
De auteurs geven het gescorede corpus, het sloganlexicon en de evaluatieharnas vrij om verder onderzoek mogelijk te maken. Zij concluderen dat hoewel LLM's een superieur signaal bieden voor het onderscheiden van leiders in performatief discours, onderzoekers voorzicht moeten blijven bij het toeschrijven van deze signalen uitsluitend aan strategisch standpunt, aangezien stijl en institutionele sjablonen sterke verstorende factoren blijven. Het artikel pleit voor een verschuiving van het behandelen van corporate tekst als transparante openbaarmaking naar het analyseren ervan als een mix van performatieve en substantiële inhoud.