Slogans or Stance? A Label-Light Diagnostic for Entrepreneurial-Discourse Measurement on Chinese SOE Speeches

技術的サマリー：「スローガンか、スタンスか？中国国有企業の演説における起業家的言説測定のためのラベル軽量化診断」

問題定義
経営学および企業統治における実証研究は、しばしば「起業家精神」などの構成概念を測定するために、企業演説から導き出されたテキスト指標に依存している。標準的な手法——キーワード辞書、潜在トピックモデル（例：LDA）、事前学習済み文埋め込み——は、トピックの「網羅度」（文書がトピックをどの程度議論しているか）を測定するように設計されており、「実質的なスタンス」（話者の特定の戦略的立場）を測定するようには設計されていない。

この区別は、中国の中央管理国有企業（SOE）の指導者による演説のような、パフォーマンス的言説ジャンルにおいて決定的に重要である。これらの演説は、運営報告（例：特定の研究開発プログラム、事業売却）および規範的な政治的呼号（例：「世界クラスの企業を育成する」といったスローガン）と共存している。既存の手法は、手作業で選定された辞書やトピックモデルが、これらのテキストを支配する高頻度で交換可能な政治的スローガンに強く駆動されているため、両者を混同しがちであり、指導者の独自の戦略的スタンスを制度的儀礼から分離することに失敗している。

手法
著者らは、測定ツールが指導者レベルのスタンスを捉えているのか、単に反復する政治的象徴を捉えているのかを評価するための「ラベル軽量化」診断を提案する。彼らは、2018年から2021年にかけての51の中央国有企業からの80の演説からなるコーパスにおける自然実験を利用する。データセットには以下が含まれる：

• 24の「指導者交代」ペア：同一企業、異なる話者（2つのインタビュー波にわたる）。
• 5の「同一指導者」ペア：同一企業、同一話者（縦断的）。

核心的な仮説は、有効なスタンス抽出手法は、同一企業の異なる指導者間のベクトル距離を、時間経過における同一指導者間の距離よりも有意に大きく生成すべきであるというものである。もし手法が業界トピックや共有された政治的儀礼を捉えている場合、距離は区別できないはずである。

実験設定
本研究は、2,190のテキストセグメントに対して4つの手法ファミリーをベンチマークする：

1. 辞書（DICT）：5つの次元（革新、競争 - 協力、組織 - 市場、社会的責任、国家的使命）のシード単語に対するトークンベースのマッチング。
2. 潜在ディリクレ配分（LDA）：$K=5$ の教師なしトピックモデリング。シード単語を介して次元にマッピング。
3. 文エンコーダー（BGE）：BAAI/bge-small-zh-v1.5 モデルを使用した、セグメント埋め込みと次元記述との間のコサイン類似度。
4. 大規模言語モデル（LLM）：ゼロショットの90億パラメータモデル（Qwen3.5:9b）を、以下の出力を促すようにプロンプト：
   • スタンスラベル（SLOGAN、SUBSTANTIVE、IRRELEVANT）。
   • 実質的信頼度（$c_{sub}$）。
   • 次元ごとのスタンススコア。
   • スローガン密度推定値。

LLM の自己報告された実質的信頼度で生スタンススコアを重み付けし、スローガン密度をペナルティ化する**信頼度重み付け較正（CALIBRATED）**バリエーションが導入された。

主要な結果
評価は、ペア対比（指導者交代対同一指導者の距離）とゴールド F1（人手注釈パイロットセットとの整合性）の 2 つのチャネルに焦点を当てる。

• ベースラインの失敗：

  • LDA：指導者交代を区別できなかった。Cohen の $d$ は 0.20 であり、95% 信頼区間はゼロを跨いでいた $[-0.72, 1.20]$。回復されたトピックは、スタンス次元ではなく業界クラスター（例：石油、自動車）であった。
  • 辞書：高い Cohen の $d$（0.81）を示したが、パイロットにおける「実質的」ゴールドラベルと逆相関していた（F1 $\approx$ 0.5）。これは運営ナラティブよりも政治的スローガンに高いスコアを与えた。
  • BGE：Cohen の $d$ は 0.65 を生み出したが、文書ベクトル距離は $10^{-3}$ のオーダーであった。埋め込み空間は意味のある下流の識別を支援するにはあまりに収縮しすぎ（均質すぎ）ていた。

• LLM のパフォーマンス：

  • ゼロショットの Qwen3.5:9b は、Cohen の $d$ で 1.09（正確な置換 $p_1 = 0.034$）およびゴールド F1 で 0.78 を達成した。
  • 較正済みバージョンは、絶対的なペア対比差（$\Delta$）を 27% 増加させた（0.105 から 0.130 へ）が、分散の増加により Cohen の $d$ を 0.83 に低下させた。
  • アブレーション：パフォーマンスの向上は、ほぼ完全に実質的信頼度乗数（$c_{sub}$）によって駆動された。スローガン密度ペナルティの寄与は無視できた。

• 微妙な発見：

  • スタイル対スタンス：5 つのドキュメントレベルのスタイル特徴（文の長さ、数値密度など）を回帰除去したとき、LLM の Cohen の $d$ は 1.09 から 0.43（有意でない）に低下した。これは、測定された「指導者交代」効果の約半分が、純粋な戦略的スタンスというよりも、個々の指導者の個体差（スタイル）と一致していることを示唆している。
  • 次元感度：「組織 - 市場」次元はすべての手法において最も識別力が高かった一方、「国家的使命」は最も難しかった。これはおそらくその公式的な性質によるものである。
  • 言い換えロバスト性：実質的な内容をスローガンスタイルに書き換えると、辞書スコアは 33% 増加したが、較正済み LLM スコアは減少し、LLM が形式と実質を区別する能力を持っていることを確認した。

意義と主張
本論文は、「起業家的志向」の測定を決定的に解決したと主張するものではない。代わりに、その貢献をパフォーマンス的企業言説に対する測定妥当性診断として位置づけている。

1. 診断的有用性：指導者交代ペア評価は、高価で大規模な人手注釈を必要とせずに、手法が話者のスタンスを捉えているのか、それとも企業の制度的儀礼を捉えているのかをテストする方法を提供する。
2. 方法論的批判：標準的なツール（辞書、LDA、汎用的な埋め込み）は、この特定のジャンルにおいてスタンスと象徴を分離するには不十分であることが示された。これらは業界トピックを回復するか、スローガンの頻度に駆動される。
3. ツールとしての LLM、万能薬ではない：ゼロショット LLM はベースラインを上回るが、著者らは以下の点について警告する：
   • 「ゴールド」ラベルは LLM 自身のプロンプト規則と一致しており、F1 は規則の整合性を測定するものであり、外部の構成概念妥当性ではない。
   • シグナルの相当部分は戦略的というよりもスタイル的（個体差）である可能性がある。
   • LLM と中国 SOE コーパス間の事前学習の重複は、潜在的な交絡因子である。

結論
著者らは、さらなる研究を可能にするために、スコア付けされたコーパス、スローガン語彙、および評価ハarnessを公開する。彼らは、LLM がパフォーマンス的言説において指導者を区別するための優れたシグナルを提供する一方で、研究者はこれらのシグナルを戦略的スタンスのみに帰属させることについて慎重であるべきであると結論づけている。なぜなら、スタイルと制度的テンプレートは依然として強力な交絡因子だからである。本論文は、企業テキストを透明な開示として扱うことから、パフォーマンス的および実質的内容の混合として分析することへの転換を提唱している。