Slogans or Stance? A Label-Light Diagnostic for Entrepreneurial-Discourse Measurement on Chinese SOE Speeches

기술적 요약: "구호인가, 입장인가? 중국 국영기업 연설에 대한 경량 라벨 진단을 통한 기업가적 담론 측정"

문제 제기
경영 및 기업 지배구조 분야의 실증 연구는 종종 '기업가 정신'과 같은 구성 개념을 측정하기 위해 기업 연설에서 도출된 텍스트 지수에 의존합니다. 표준 방법론인 키워드 사전, 잠재 토픽 모델 (예: LDA), 사전 훈련된 문장 임베딩은 주제에 대한 '범위 (topical coverage, 문서가 주제를 얼마나 다루는지)'를 측정하도록 설계된 것이지, 화자의 구체적인 전략적 '입장 (substantive stance)'을 측정하도록 설계된 것이 아닙니다.

이 구분은 중국 중앙 관할 국영기업 (SOE) 지도자들의 연설과 같은 수행적 담론 장르에서 특히 중요합니다. 이러한 연설들은 운영 보고서 (예: 특정 연구개발 프로그램, 자산 매각) 와 정통적인 정치적 호명 (예: "세계 일류 기업을 육성하자"와 같은 구호) 과 공존합니다. 현재 방법론들은 종종 이 두 가지를 혼동하는데, 이는 수동으로 선별된 사전과 토픽 모델이 이러한 텍스트를 지배하는 고빈도 및 상호 교체 가능한 정치적 구호에 크게 의존하기 때문입니다. 결과적으로 제도적 의례에서 지도자의 고유한 전략적 입장을 분리해 내지 못합니다.

방법론
저자들은 측정 도구가 지도자 수준의 입장을 포착하는지 아니면 단순히 반복되는 정치적 상징을 포착하는지 평가하기 위한 '경량 라벨 (label-light)' 진단을 제안합니다. 연구진은 2018 년부터 2021 년까지 51 개 중앙 국영기업의 80 개 연설로 구성된 말코퍼스 내에서 자연 실험을 활용했습니다. 데이터셋에는 다음이 포함됩니다:

• 24 개 '지도자 교체' 쌍: 동일한 회사, 다른 화자 (두 번의 인터뷰 파동 간).
• 5 개 '동일 지도자' 쌍: 동일한 회사, 동일한 화자 (종단적).

핵심 가설은 유효한 입장 추출 방법이 동일한 회사의 서로 다른 지도자 간에 시간의 흐름에 따른 동일 지도자 간보다 훨씬 큰 벡터 거리를 산출해야 한다는 것입니다. 만약 어떤 방법이 산업 주제나 공유된 정치적 의례를 포착한다면, 거리들은 구별할 수 없어야 합니다.

실험 설정
본 연구는 2,190 개의 텍스트 세그먼트에 대해 네 가지 방법론 계열을 벤치마킹합니다:

1. 사전 (DICT): 혁신, 경쟁 - 협력, 조직 - 시장, 사회적 책임, 국가 사명이라는 다섯 가지 차원에 대한 시드 단어에 대한 토큰 기반 매칭.
2. 잠재 디리클레 할당 (LDA): 시드 단어를 통해 차원으로 매핑된 $K=5$의 비지도 토픽 모델링.
3. 문장 인코더 (BGE): BAAI/bge-small-zh-v1.5 모델을 사용하여 세그먼트 임베딩과 차원 설명 간의 코사인 유사도.
4. 대규모 언어 모델 (LLM): 다음을 출력하도록 프롬프트된 제로샷 9B 파라미터 모델 (Qwen3.5:9b):
   • 입장 라벨 (SLOGAN, SUBSTANTIVE, IRRELEVANT).
   • 실질적 신뢰도 ($c_{sub}$).
   • 차원별 입장 점수.
   • 구호 밀도 추정치.

LLM 의 원시 입장 점수에 자체 보고된 실질적 신뢰도를 가중치로 부여하고 구호 밀도에 페널티를 부과하는 신뢰도 가중 보정 (CALIBRATED) 변형이 도입되었습니다.

주요 결과
평가에는 쌍별 대조 (Paired-Contrast)(지도자 교체 대 동일 지도자 거리) 와 Gold F1(인간이 주석 달은 파일럿 세트와의 일관성) 두 가지 채널에 초점을 맞춥니다.

• 기선 실패:

  • LDA: 지도자 변화를 구분하지 못했습니다. Cohen's $d$는 0.20 이었으며 95% 신뢰구간이 0 을 가로지르는 $[-0.72, 1.20]$이었습니다. 복원된 토픽은 석유, 자동차와 같은 산업 클러스터였지 입장 차원이 아니었습니다.
  • 사전: 높은 Cohen's $d$(0.81) 를 보였으나, 파일럿에서 '실질적 (Substantive)' 골드 라벨과 역상관관계를 보였습니다 (F1 $\approx$ 0.5). 이는 운영 서사보다 정치적 구호에 더 높은 점수를 매겼습니다.
  • BGE: Cohen's $d$가 0.65 였으나, 문서 벡터 거리는 $10^{-3}$ 차수였습니다. 임베딩 공간이 너무 붕괴되어 (동질화되어) 의미 있는 하위 작업 구분을 지원하지 못했습니다.

• LLM 성능:

  • 제로샷 Qwen3.5:9b 는 Cohen's $d$가 1.09(정확한 순열 $p_1 = 0.034$)이고 Gold F1 이 0.78이었습니다.
  • 보정 (Calibrated) 버전은 절대적인 쌍별 대조 차이 ($\Delta$) 를 27% 증가시켰습니다 (0.105 에서 0.130 으로). 하지만 분산 증가로 인해 Cohen's $d$는 0.83 으로 감소했습니다.
  • Ablation: 성능 향상은 거의 전적으로 실질적 신뢰도 승수($c_{sub}$)에 의해 주도되었습니다. 구호 밀도 페널티는 미미한 기여를 했습니다.

• 미묘한 발견:

  • 스타일 대 입장: 문장 길이, 숫자 밀도 등 다섯 가지 문서 수준 스타일론적 특징을 회귀 제거했을 때, LLM 의 Cohen's $d$는 1.09 에서 0.43(통계적 유의미 없음) 으로 떨어졌습니다. 이는 측정된 '지도자 교체' 효과의 약 절반이 순수한 전략적 입장보다는 개별 지도자의 고유한 어법 (스타일) 과 일치함을 시사합니다.
  • 차원 민감도: '조직 - 시장' 차원은 모든 방법론에서 가장 구별력이 있었으며, '국가 사명'은 공식적인 성격으로 인해 가장 어려웠습니다.
  • 개사 강건성: 실질적 내용을 구호 스타일로 다시 쓰면 사전 점수는 33% 증가했으나 보정된 LLM 점수는 감소하여, LLM 이 형식과 실질을 구별할 수 있음을 확인했습니다.

의의 및 주장
본 논문은 '기업가적 지향성' 측정을 결정적으로 해결했다고 주장하지 않습니다. 대신, 수행적 기업 담론에 대한 측정 타당성 진단으로서의 기여를 제시합니다.

1. 진단 유용성: 지도자 교체 쌍별 평가는 고비용의 대규모 인간 주석이 필요 없이 방법이 화자의 입장을 포착하는지 아니면 기업의 제도적 의례를 포착하는지 테스트할 수 있는 방법을 제공합니다.
2. 방법론적 비판: 표준 도구 (사전, LDA, 일반적 임베딩) 는 이 특정 장르에서 상징으로부터 입장을 분리하는 데 불충분함이 입증되었습니다. 이들은 산업 주제를 복원하거나 구호 빈도에 의해 주도됩니다.
3. 도구로서의 LLM, 만능 해결책 아님: 제로샷 LLM 이 기선보다 우수하지만, 저자들은 다음과 같이 경고합니다:
   • 'Gold' 라벨은 LLM 의 자체 프롬프트 규칙과 일치하므로, F1 은 규칙 일관성을 측정할 뿐 외부 구성 타당성을 측정하는 것이 아닙니다.
   • 신호의 상당 부분은 전략적이라기보다 스타일적 (고유 어법) 일 수 있습니다.
   • LLM 과 중국 국영기업 말코퍼스 간의 사전 훈련 중첩은 잠재적 교란 변수입니다.

결론
저자들은 추가 연구를 가능하게 하기 위해 점수화된 말코퍼스, 구호 어휘, 평가 하네스를 공개합니다. 결론적으로, LLM 이 수행적 담론에서 지도자를 구분하는 데 더 우수한 신호를 제공하지만, 연구자들은 이러한 신호를 오직 전략적 입장에만 귀속시키지 않도록 주의해야 합니다. 스타일과 제도적 템플릿은 여전히 강력한 교란 변수로 남아 있기 때문입니다. 본 논문은 기업 텍스트를 투명한 공개로 취급하는 것에서 수행적 및 실질적 내용의 혼합으로 분석하는 것으로의 전환을 옹호합니다.