Slogans or Stance? A Label-Light Diagnostic for Entrepreneurial-Discourse Measurement on Chinese SOE Speeches

Resumo Técnico: "Slogans ou Posicionamento? Um Diagnóstico Leve em Rótulos para Medição de Discurso Empreendedor em Discursos de Empresas Estatais Chinesas"

Enunciação do Problema
A pesquisa empírica em gestão e governança corporativa frequentemente depende de índices textuais derivados de discursos corporativos para medir construtos como "espírito empreendedor". Metodologias padrão — dicionários de palavras-chave, modelos de tópicos latentes (por exemplo, LDA) e incorporações de frases pré-treinadas — são projetadas para medir a cobertura temática (quanto um documento discute um tópico) e não o posicionamento substantivo (a posição estratégica específica do orador).

Essa distinção é crítica em gêneros de discurso performativo, como discursos de líderes de empresas estatais (SOEs) administradas centralmente na China. Esses discursos coexistem com relatórios operacionais (por exemplo, programas específicos de P&D, desinvestimentos) e invocações políticas canônicas (por exemplo, slogans como "cultivar empresas de classe mundial"). Os métodos atuais frequentemente confundem os dois, pois dicionários curados manualmente e modelos de tópicos são fortemente impulsionados pelos slogans políticos de alta frequência e intercambiáveis que dominam esses textos, falhando em isolar o posicionamento estratégico único do líder do ritual institucional.

Metodologia
Os autores propõem um diagnóstico "leve em rótulos" para avaliar se os instrumentos de medição capturam o posicionamento no nível do líder ou meramente o simbolismo político recorrente. Eles utilizam um experimento natural dentro de um corpus de 80 discursos de 51 SOEs centrais (2018–2021). O conjunto de dados inclui:

• 24 pares de "Mudança de Líder": Mesma empresa, orador diferente (através de duas ondas de entrevista).
• 5 pares de "Mesmo Líder": Mesma empresa, mesmo orador (longitudinal).

A hipótese central é que um método válido de extração de posicionamento deve produzir distâncias vetoriais significativamente maiores entre diferentes líderes da mesma empresa do que entre o mesmo líder ao longo do tempo. Se um método capturar tópicos do setor ou rituais políticos compartilhados, as distâncias devem ser indistinguíveis.

Configuração Experimental
O estudo avalia quatro famílias de métodos em 2.190 segmentos de texto:

1. Dicionário (DICT): Correspondência baseada em tokens contra palavras-chave para cinco dimensões (Inovação, Competição–Cooperação, Organização–Mercado, Responsabilidade Social, Missão Nacional).
2. Alocação Dirichlet Latente (LDA): Modelagem de tópicos não supervisionada com $K=5$, mapeada para dimensões via palavras-chave.
3. Codificador de Frases (BGE): Semelhança cosseno entre incorporações de segmentos e descrições de dimensões usando o modelo BAAI/bge-small-zh-v1.5.
4. Modelo de Linguagem Grande (LLM): Um modelo de 9 bilhões de parâmetros em configuração zero-shot (Qwen3.5:9b) instruído a gerar:
   • Um rótulo de posicionamento (SLOGAN, SUBSTANTIVO, IRRELEVANTE).
   • Confiança substantiva ($c_{sub}$).
   • Pontuações de posicionamento por dimensão.
   • Estimativas de densidade de slogans.

Uma variante Calibrada com Peso de Confiança (CALIBRATED) é introduzida, que pondera as pontuações brutas de posicionamento do LLM por sua confiança substantiva auto-relatada e penaliza a densidade de slogans.

Resultados Chave
A avaliação foca em dois canais: Contraste em Pares (distância mudança de líder vs. mesmo líder) e F1 Ouro (consistência com um conjunto piloto anotado por humanos).

• Falhas da Linha de Base:

  • LDA: Falhou em distinguir mudanças de líderes. O $d$ de Cohen foi 0,20 com um IC de 95% cruzando zero $[-0,72, 1,20]$. Os tópicos recuperados foram clusters do setor (por exemplo, petróleo, automotivo) e não dimensões de posicionamento.
  • Dicionário: Embora tenha mostrado um alto $d$ de Cohen (0,81), o método foi anti-correlacionado com o rótulo "Substantivo" ouro no piloto (F1 $\approx$ 0,5). Ele pontuou slogans políticos mais alto do que narrativas operacionais.
  • BGE: Produziu um $d$ de Cohen de 0,65, mas em distâncias vetoriais de documento da ordem de $10^{-3}$. O espaço de incorporação estava muito colapsado (homogêneo) para suportar discriminação significativa a jusante.

• Desempenho do LLM:

  • O Qwen3.5:9b zero-shot alcançou um $d$ de Cohen de 1,09 (permutação exata $p_1 = 0,034$) e um F1 Ouro de 0,78.
  • A versão Calibrada aumentou a diferença absoluta de contraste em pares ($\Delta$) em 27% (de 0,105 para 0,130), mas reduziu o $d$ de Cohen para 0,83 devido ao aumento da variância.
  • Ablação: O aumento de desempenho foi impulsionado quase inteiramente pelo multiplicador de confiança substantiva ($c_{sub}$). Penalidades de densidade de slogans contribuíram de forma negligenciável.

• Descobertas Nuanceadas:

  • Estilo vs. Posicionamento: Ao regressar cinco características estilométricas no nível do documento (comprimento da frase, densidade numérica, etc.), o $d$ de Cohen do LLM caiu de 1,09 para 0,43 (não significativo). Isso sugere que aproximadamente metade do efeito medido de "mudança de líder" é consistente com o idioletto individual do líder (estilo) e não com o posicionamento estratégico puro.
  • Sensibilidade da Dimensão: A dimensão "Organização–Mercado" foi a mais discriminativa entre todos os métodos, enquanto "Missão Nacional" foi a mais difícil, provavelmente devido à sua natureza formulaica.
  • Robustez de Paráfrase: Reescrever conteúdo substantivo no estilo de slogan aumentou as pontuações do Dicionário em 33%, mas diminuiu as pontuações do LLM Calibrado, confirmando a capacidade do LLM de distinguir forma de substância.

Significado e Alegações
O artigo não afirma ter resolvido definitivamente a medição da "orientação empreendedora". Em vez disso, enquadra sua contribuição como um diagnóstico de validade de medição para discurso corporativo performativo.

1. Utilidade Diagnóstica: A avaliação em pares de mudança de líder fornece uma maneira de testar se um método captura o posicionamento do orador ou o ritual institucional da empresa, sem exigir anotação humana cara e em grande escala.
2. Crítica Metodológica: Ferramentas padrão (Dicionários, LDA, Incorporações genéricas) mostram-se insuficientes para separar posicionamento de simbolismo neste gênero específico. Elas recuperam tópicos do setor ou são impulsionadas pela frequência de slogans.
3. LLM como Ferramenta, Não Panaceia: Embora LLMs zero-shot superem as linhas de base, os autores alertam que:
   • Os rótulos "Ouro" correspondem às próprias regras de prompt do LLM, significando que o F1 mede consistência de regras, não validade de construto externa.
   • Uma parte significativa do sinal pode ser estilística (idioletto) e não estratégica.
   • A sobreposição de pré-treinamento entre o LLM e o corpus de SOEs chinesas é um potencial fator de confusão.

Conclusão
Os autores lançam o corpus pontuado, o léxico de slogans e a estrutura de avaliação para permitir pesquisas futuras. Eles concluem que, embora os LLMs ofereçam um sinal superior para distinguir líderes em discurso performativo, os pesquisadores devem permanecer cautelosos ao atribuir esses sinais exclusivamente ao posicionamento estratégico, pois estilo e modelos institucionais permanecem fortes fatores de confusão. O artigo defende uma mudança de tratar o texto corporativo como divulgação transparente para analisá-lo como uma mistura de conteúdo performativo e substantivo.