Slogans or Stance? A Label-Light Diagnostic for Entrepreneurial-Discourse Measurement on Chinese SOE Speeches

技术摘要：“口号还是立场？一种用于中国国企演讲中创业话语测量的轻量级标签诊断”

问题陈述
管理与公司治理领域的实证研究经常依赖源自企业演讲的文本指数来测量“创业精神”等构念。标准方法——关键词词典、潜在主题模型（如 LDA）和预训练句子嵌入——旨在测量主题覆盖度（文档讨论某个主题的程度），而非实质立场（演讲者的具体战略立场）。

这一区分在表演性话语体裁中至关重要，例如中国中央管理国有企业（SOE）领导人的演讲。这些演讲与运营报告（如具体的研发项目、剥离业务）和规范性政治引用（如“培育世界一流企业”等口号）并存。现有方法往往将二者混淆，因为手工策划的词典和主题模型主要受主导这些文本的高频、可互换的政治口号驱动，未能将领导人的独特战略立场从制度性仪式中剥离出来。

方法论
作者提出了一种“轻量级标签”诊断，以评估测量工具是捕捉到了领导人层面的立场，还是仅仅捕捉到了重复的政治象征。他们利用了一个包含 51 家中央国企在 2018 年至 2021 年间发表的 80 篇演讲的语料库进行自然实验。数据集包括：

• 24 对“领导人变更”样本：同一家公司，不同演讲者（跨越两次采访波次）。
• 5 对“同一领导人”样本：同一家公司，同一演讲者（纵向）。

核心假设是：有效的立场提取方法，应使同一公司不同领导人之间的向量距离显著大于同一领导人在不同时间点之间的距离。如果一种方法捕捉的是行业主题或共享的政治仪式，那么这些距离应无法区分。

实验设置
该研究在 2,190 个文本片段上对四个方法族进行了基准测试：

1. 词典法（DICT）：基于令牌与五个维度的种子词进行匹配（创新、竞争 - 合作、组织 - 市场、社会责任、国家使命）。
2. 潜在狄利克雷分配（LDA）：无监督主题建模，$K=5$，通过种子词映射到各维度。
3. 句子编码器（BGE）：使用 BAAI/bge-small-zh-v1.5 模型，计算片段嵌入与维度描述之间的余弦相似度。
4. 大语言模型（LLM）：一个零样本 90 亿参数模型（Qwen3.5:9b），提示其输出：
   • 立场标签（口号、实质、无关）。
   • 实质置信度（$c_{sub}$）。
   • 各维度立场得分。
   • 口号密度估计值。

引入了一种**置信度加权校准（CALIBRATED）**变体，该变体根据模型自我报告的实质置信度对 LLM 的原始立场得分进行加权，并对口号密度施加惩罚。

关键结果
评估聚焦于两个渠道：配对对比（领导人变更与同一领导人的距离对比）和黄金 F1（与人工标注试点集的一致性）。

• 基线失败：

  • LDA：未能区分领导人变更。Cohen's $d$ 为 0.20，95% 置信区间跨越零 $[-0.72, 1.20]$。恢复的主题是行业集群（如石油、汽车），而非立场维度。
  • 词典法：虽然显示出较高的 Cohen's $d$（0.81），但该方法在试点中与“实质”黄金标签呈负相关（F1 $\approx$ 0.5）。其对政治口号的评分高于运营叙事。
  • BGE：产生的 Cohen's $d$ 为 0.65，但文档向量距离的数量级仅为 $10^{-3}$。嵌入空间过于坍缩（同质化），无法支持有意义的下游区分。

• LLM 表现：

  • 零样本 Qwen3.5:9b 实现了 1.09 的 Cohen's $d$（精确置换 $p_1 = 0.034$）和 0.78 的黄金 F1。
  • 校准版将绝对配对对比差异（$\Delta$）提高了 27%（从 0.105 增至 0.130），但由于方差增加，Cohen's $d$ 降至 0.83。
  • 消融实验：性能提升几乎完全由实质置信度乘数（$c_{sub}$）驱动。口号密度惩罚的贡献微乎其微。

• 细致发现：

  • 风格与立场：当回归掉五个文档级文体特征（句子长度、数字密度等）后，LLM 的 Cohen's $d$ 从 1.09 降至 0.43（不显著）。这表明约一半测得的“领导人变更”效应与个体领导人的个人语体（风格）一致，而非纯粹的战略立场。
  • 维度敏感性：“组织 - 市场”维度在所有方法中区分度最高，而“国家使命”最难区分，这可能是由于其公式化性质所致。
  • 改写鲁棒性：将实质内容改写为口号风格使词典法得分提高了 33%，但降低了校准版 LLM 的得分，证实了 LLM 区分形式与实质的能力。

意义与主张
本文并未声称已彻底解决“创业导向”的测量问题，而是将其贡献框架化为针对表演性企业话语的测量效度诊断。

1. 诊断效用：领导人变更配对评估提供了一种方法，用于测试某种方法是捕捉了演讲者的立场，还是捕捉了企业的制度性仪式，而无需昂贵的大规模人工标注。
2. 方法论批判：标准工具（词典、LDA、通用嵌入）被证明不足以在该特定体裁中分离立场与象征。它们恢复的是行业主题，或是受口号频率驱动。
3. LLM 作为工具而非万能药：虽然零样本 LLM 的表现优于基线，但作者警告称：
   • “黄金”标签与 LLM 自身的提示规则相匹配，意味着 F1 衡量的是规则一致性，而非外部构念效度。
   • 信号中有相当一部分可能是风格性的（个人语体），而非战略性的。
   • LLM 与中国国企语料库之间的预训练重叠是一个潜在的混淆因素。

结论
作者发布了评分语料库、口号词典和评估框架，以促进进一步研究。他们得出结论，虽然 LLM 为区分表演性话语中的领导人提供了更优越的信号，但研究人员必须谨慎，不能将这些信号 solely 归因于战略立场，因为风格和制度模板仍然是强烈的混淆因素。本文主张从将企业文本视为透明披露，转向将其分析为表演性与实质性内容的混合体。