Slogans or Stance? A Label-Light Diagnostic for Entrepreneurial-Discourse Measurement on Chinese SOE Speeches

Resumen Técnico: "¿Esloganes o Postura? Un Diagnóstico Ligero en Etiquetas para la Medición del Discurso Emprendedor en los Discursos de las Empresas Estatales Chinas"

Planteamiento del Problema
La investigación empírica en gestión y gobierno corporativo depende frecuentemente de índices textuales derivados de discursos corporativos para medir constructos como el "espíritu emprendedor". Las metodologías estándar —diccionarios de palabras clave, modelos de temas latentes (p. ej., LDA) y incrustaciones de oraciones preentrenadas— están diseñadas para medir la cobertura temática (cuánto discute un documento un tema) en lugar de la postura sustantiva (la posición estratégica específica del orador).

Esta distinción es crítica en géneros discursivos performativos, como los discursos de los líderes de las empresas estatales (SOE) administradas centralmente en China. Estos discursos coexisten con informes operativos (p. ej., programas específicos de I+D, desinversiones) y invocaciones políticas canónicas (p. ej., esloganes como "cultivar empresas de clase mundial"). Los métodos actuales a menudo confunden ambos, ya que los diccionarios curados manualmente y los modelos de temas están fuertemente impulsados por los esloganes políticos de alta frecuencia e intercambiables que dominan estos textos, fallando en aislar la postura estratégica única del líder del ritual institucional.

Metodología
Los autores proponen un diagnóstico "ligero en etiquetas" para evaluar si los instrumentos de medición capturan la postura a nivel de líder o meramente el simbolismo político recurrente. Utilizan un experimento natural dentro de un corpus de 80 discursos de 51 empresas estatales centrales (2018–2021). El conjunto de datos incluye:

• 24 pares de "Cambio de Líder": Misma empresa, orador diferente (a través de dos oleadas de entrevistas).
• 5 pares de "Mismo Líder": Misma empresa, mismo orador (longitudinal).

La hipótesis central es que un método válido de extracción de postura debería producir distancias vectoriales significativamente mayores entre líderes diferentes de la misma empresa que entre el mismo líder a lo largo del tiempo. Si un método captura temas industriales o rituales políticos compartidos, las distancias deberían ser indistinguibles.

Configuración Experimental
El estudio compara cuatro familias de métodos en 2.190 segmentos de texto:

1. Diccionario (DICT): Emparejamiento basado en tokens contra palabras semilla para cinco dimensiones (Innovación, Competición–Cooperación, Organización–Mercado, Responsabilidad Social, Misión Nacional).
2. Asignación Dirichlet Latente (LDA): Modelado de temas no supervisado con $K=5$, mapeado a dimensiones mediante palabras semilla.
3. Codificador de Oraciones (BGE): Similitud coseno entre incrustaciones de segmentos y descripciones de dimensiones utilizando el modelo BAAI/bge-small-zh-v1.5.
4. Modelo de Lenguaje Grande (LLM): Un modelo de 9 mil millones de parámetros en configuración zero-shot (Qwen3.5:9b) instruido para generar:
   • Una etiqueta de postura (ESLOGAN, SUSTANTIVO, IRRELEVANTE).
   • Confianza sustantiva ($c_{sub}$).
   • Puntuaciones de postura por dimensión.
   • Estimaciones de densidad de eslogan.

Se introduce una variante Calibrada con Ponderación de Confianza (CALIBRATED), que pondera las puntuaciones de postura crudas del LLM según su confianza sustantiva autopercibida y penaliza la densidad de eslogan.

Resultados Clave
La evaluación se centra en dos canales: Contraste Pareado (distancia cambio de líder vs. mismo líder) y F1 Dorado (consistencia con un conjunto piloto anotado por humanos).

• Fallas de la Línea Base:

  • LDA: No logró distinguir los cambios de líder. La $d$ de Cohen fue de 0.20 con un IC del 95% que cruza cero $[-0.72, 1.20]$. Los temas recuperados fueron agrupaciones industriales (p. ej., petróleo, automotriz) en lugar de dimensiones de postura.
  • Diccionario: Aunque mostró una alta $d$ de Cohen (0.81), el método estaba anticorrelacionado con la etiqueta dorada "Sustantivo" en el piloto (F1 $\approx$ 0.5). Otorgó puntuaciones más altas a los esloganes políticos que a las narrativas operativas.
  • BGE: Produjo una $d$ de Cohen de 0.65, pero sobre distancias vectoriales de documento del orden de $10^{-3}$. El espacio de incrustaciones estaba demasiado colapsado (homogéneo) para apoyar una discriminación significativa aguas abajo.

• Rendimiento del LLM:

  • El Qwen3.5:9b en configuración zero-shot logró una $d$ de Cohen de 1.09 (permutación exacta $p_1 = 0.034$) y un F1 Dorado de 0.78.
  • La versión Calibrada aumentó la diferencia absoluta de contraste pareado ($\Delta$) en un 27% (de 0.105 a 0.130), pero redujo la $d$ de Cohen a 0.83 debido al aumento de la varianza.
  • Ablación: El aumento del rendimiento fue impulsado casi en su totalidad por el multiplicador de confianza sustantiva ($c_{sub}$). Las penalizaciones por densidad de eslogan contribuyeron de manera negligente.

• Hallazgos Matizados:

  • Estilo vs. Postura: Al regredir cinco características estilométricas a nivel de documento (longitud de oración, densidad numérica, etc.), la $d$ de Cohen del LLM cayó de 1.09 a 0.43 (no significativo). Esto sugiere que aproximadamente la mitad del efecto medido de "cambio de líder" es consistente con el idiolecto individual del líder (estilo) en lugar de una postura estratégica pura.
  • Sensibilidad de Dimensión: La dimensión "Organización–Mercado" fue la más discriminativa en todos los métodos, mientras que "Misión Nacional" fue la más difícil, probablemente debido a su naturaleza formulaica.
  • Robustez ante Paráfrasis: Reescribir contenido sustantivo en estilo de eslogan aumentó las puntuaciones del Diccionario en un 33%, pero disminuyó las puntuaciones del LLM Calibrado, confirmando la capacidad del LLM para distinguir la forma del fondo.

Significado y Afirmaciones
El artículo no afirma haber resuelto definitivamente la medición de la "orientación emprendedora". En cambio, enmarca su contribución como un diagnóstico de validez de medición para el discurso corporativo performativo.

1. Utilidad Diagnóstica: La evaluación pareada de cambio de líder proporciona una forma de probar si un método captura la postura del orador o el ritual institucional de la empresa sin requerir una anotación humana costosa y a gran escala.
2. Crítica Metodológica: Se demuestra que las herramientas estándar (Diccionarios, LDA, Incrustaciones genéricas) son insuficientes para separar la postura del simbolismo en este género específico. Recuperan temas industriales o están impulsadas por la frecuencia de los esloganes.
3. LLM como Herramienta, No como Panacea: Aunque los LLM en configuración zero-shot superan a las líneas base, los autores advierten que:
   • Las etiquetas "Doradas" coinciden con las propias reglas de instrucción del LLM, lo que significa que el F1 mide la consistencia de las reglas, no la validez de constructo externa.
   • Una parte significativa de la señal puede ser estilística (idiolecto) en lugar de estratégica.
   • La superposición de preentrenamiento entre el LLM y el corpus de empresas estatales chinas es un posible factor de confusión.

Conclusión
Los autores ponen a disposición el corpus puntuado, el léxico de esloganes y el mecanismo de evaluación para permitir investigaciones futuras. Concluyen que, aunque los LLM ofrecen una señal superior para distinguir líderes en el discurso performativo, los investigadores deben mantenerse cautelosos al atribuir estas señales exclusivamente a la postura estratégica, ya que el estilo y las plantillas institucionales siguen siendo factores de confusión fuertes. El artículo aboga por un cambio de tratar el texto corporativo como divulgación transparente a analizarlo como una mezcla de contenido performativo y sustantivo.