Slogans or Stance? A Label-Light Diagnostic for Entrepreneurial-Discourse Measurement on Chinese SOE Speeches

Riepilogo Tecnico: "Slogan o Posizione? Una Diagnosi Leggera di Etichette per la Misurazione del Discorso Imprenditoriale sui Discorsi delle SOE Cinesi"

Enunciazione del Problema
La ricerca empirica nel campo del management e della governance aziendale fa frequentemente affidamento su indici testuali derivati dai discorsi aziendali per misurare costrutti come lo "spirito imprenditoriale". Le metodologie standard – dizionari di parole chiave, modelli di argomenti latenti (ad es. LDA) e incorporamenti di frasi pre-addestrati – sono progettate per misurare la copertura tematica (quanto un documento discute un argomento) piuttosto che la posizione sostanziale (la specifica posizione strategica del relatore).

Questa distinzione è critica nei generi di discorso performativo, come i discorsi dei leader delle imprese statali (SOE) cinesi amministrate centralmente. Questi discorsi coesistono con la rendicontazione operativa (ad es. programmi specifici di R&S, dismissioni) e invocazioni politiche canoniche (ad es. slogan come "coltivare imprese di classe mondiale"). I metodi attuali spesso confondono i due aspetti, poiché i dizionari curati manualmente e i modelli di argomenti sono fortemente guidati dagli slogan politici ad alta frequenza e intercambiabili che dominano questi testi, fallendo nell'isolare la posizione strategica unica del leader dal rituale istituzionale.

Metodologia
Gli autori propongono una diagnosi "leggera di etichette" per valutare se gli strumenti di misurazione catturino la posizione a livello di leader o meramente il simbolismo politico ricorrente. Utilizzano un esperimento naturale all'interno di un corpus di 80 discorsi provenienti da 51 SOE centrali (2018–2021). Il dataset include:

• 24 coppie "Cambio di Leader": Stessa azienda, relatore diverso (attraverso due ondate di interviste).
• 5 coppie "Stesso Leader": Stessa azienda, stesso relatore (longitudinale).

L'ipotesi di fondo è che un metodo valido di estrazione della posizione dovrebbe produrre distanze vettoriali significativamente maggiori tra diversi leader della stessa azienda rispetto allo stesso leader nel tempo. Se un metodo cattura temi di settore o rituali politici condivisi, le distanze dovrebbero essere indistinguibili.

Setup Sperimentale
Lo studio confronta quattro famiglie di metodi su 2.190 segmenti di testo:

1. Dizionario (DICT): Corrispondenza basata su token rispetto a parole seed per cinque dimensioni (Innovazione, Competizione–Cooperazione, Organizzazione–Mercato, Responsabilità Sociale, Missione Nazionale).
2. Assegnazione Dirichlet Latente (LDA): Modellazione tematica non supervisionata con $K=5$, mappata sulle dimensioni tramite parole seed.
3. Codificatore di Frasi (BGE): Similarità coseno tra gli incorporamenti dei segmenti e le descrizioni delle dimensioni utilizzando il modello BAAI/bge-small-zh-v1.5.
4. Modello Linguistico su Larga Scala (LLM): Un modello zero-shot da 9 miliardi di parametri (Qwen3.5:9b) istruito a produrre:
   • Un'etichetta di posizione (SLOGAN, SOSTANZIALE, IRRELEVANTE).
   • Una confidenza sostanziale ($c_{sub}$).
   • Punteggi di posizione per dimensione.
   • Stime della densità degli slogan.

Viene introdotta una variante Calibrata con Pesi di Confidenza (CALIBRATED), che pondera i punteggi grezzi di posizione dell'LLM sulla sua confidenza sostanziale auto-dichiarata e penalizza la densità degli slogan.

Risultati Chiave
La valutazione si concentra su due canali: Contrasto Appaiato (distanza cambio di leader vs. stesso leader) e Gold F1 (coerenza con un set pilota annotato da umani).

• Fallimenti delle Baseline:

  • LDA: Non è riuscito a distinguere i cambi di leader. Il Cohen's $d$ era 0,20 con un IC al 95% che attraversava lo zero $[-0,72, 1,20]$. Gli argomenti recuperati erano cluster di settore (ad es. petrolio, automotive) piuttosto che dimensioni di posizione.
  • Dizionario: Pur mostrando un alto Cohen's $d$ (0,81), il metodo era anti-correlato con l'etichetta "Sostanziale" gold nel pilota (F1 $\approx$ 0,5). Assegnava punteggi più alti agli slogan politici rispetto alle narrazioni operative.
  • BGE: Ha prodotto un Cohen's $d$ di 0,65, ma su distanze vettoriali documentali dell'ordine di $10^{-3}$. Lo spazio di incorporamento era troppo collassato (omogeneo) per supportare una discriminazione significativa a valle.

• Prestazioni dell'LLM:

  • Il Qwen3.5:9b zero-shot ha raggiunto un Cohen's $d$ di 1,09 (permutazione esatta $p_1 = 0,034$) e un Gold F1 di 0,78.
  • La versione Calibrata ha aumentato la differenza assoluta del contrasto appaiato ($\Delta$) del 27% (da 0,105 a 0,130), ma ha ridotto il Cohen's $d$ a 0,83 a causa di una maggiore varianza.
  • Ablazione: Il miglioramento delle prestazioni è stato guidato quasi interamente dal moltiplicatore di confidenza sostanziale ($c_{sub}$). Le penalità per la densità degli slogan hanno contribuito in modo trascurabile.

• Risultati Sfumati:

  • Stile vs. Posizione: Regressando cinque caratteristiche stilometriche a livello di documento (lunghezza della frase, densità numerica, ecc.), il Cohen's $d$ dell'LLM è sceso da 1,09 a 0,43 (non significativo). Ciò suggerisce che circa la metà dell'effetto "cambio di leader" misurato è coerente con l'idiostile individuale del leader (stile) piuttosto che con la pura posizione strategica.
  • Sensibilità della Dimensione: La dimensione "Organizzazione–Mercato" è stata la più discriminativa tra tutti i metodi, mentre la "Missione Nazionale" è stata la più difficile, probabilmente a causa della sua natura formulaica.
  • Robustezza alla Parafrasi: La riscrittura di contenuti sostanziali in stile slogan ha aumentato i punteggi del Dizionario del 33% ma ha diminuito i punteggi dell'LLM Calibrato, confermando la capacità dell'LLM di distinguere la forma dalla sostanza.

Significato e Affermazioni
Il documento non afferma di aver risolto definitivamente la misurazione dell'"orientamento imprenditoriale". Piuttosto, inquadra il suo contributo come una diagnosi di validità di misurazione per il discorso aziendale performativo.

1. Utilità Diagnostica: La valutazione appaiata del cambio di leader fornisce un modo per testare se un metodo cattura la posizione del relatore o il rituale istituzionale dell'azienda senza richiedere costose annotazioni umane su larga scala.
2. Critica Metodologica: Gli strumenti standard (Dizionari, LDA, Incorporamenti generici) si dimostrano insufficienti per separare la posizione dal simbolismo in questo specifico genere. Recuperano temi di settore o sono guidati dalla frequenza degli slogan.
3. LLM come Strumento, non Panacea: Sebbene gli LLM zero-shot superino le baseline, gli autori avvertono che:
   • Le etichette "Gold" corrispondono alle stesse regole di prompt dell'LLM, il che significa che l'F1 misura la coerenza delle regole, non la validità costruttiva esterna.
   • Una parte significativa del segnale potrebbe essere stilistica (idiostile) piuttosto che strategica.
   • La sovrapposizione pre-addestrata tra l'LLM e il corpus delle SOE cinesi è un potenziale fattore di confusione.

Conclusione
Gli autori rilasciano il corpus valutato, il lessico degli slogan e l'infrastruttura di valutazione per consentire ulteriori ricerche. Concludono che, sebbene gli LLM offrano un segnale superiore per distinguere i leader nel discorso performativo, i ricercatori devono rimanere cauti nell'attribuire questi segnali esclusivamente alla posizione strategica, poiché lo stile e i modelli istituzionali rimangono forti fattori di confusione. Il documento auspica un passaggio dal considerare il testo aziendale come una divulgazione trasparente all'analizzarlo come un misto di contenuti performativi e sostanziali.