Resumen Técnico: Cuantificación de las Fuentes de Inestabilidad en el Análisis de Postura Basado en LLM del Discurso Público

Planteamiento del Problema

La ciencia social computacional (CSS) depende cada vez más de procesos de preprocesamiento automatizados —específicamente la diarización de locutores, el reconocimiento automático del habla (ASR), la limpieza de transcripciones y la segmentación de oraciones— para convertir medios brutos en texto analizable. Si bien existe una literatura significativa sobre la validez de la anotación (por ejemplo, si las etiquetas de los LLM coincen con los juicios humanos), hay una brecha crítica en la comprensión de dos fuentes de inestabilidad ascendentes:

1. Validez del Preprocesamiento: Si las elecciones en el flujo de preprocesamiento (por ejemplo, el método de diarización, las reglas de segmentación) alteran las conclusiones estadísticas posteriores.
2. Validez de la Medición: Si la elección del instrumento de anotación (LLM frente a léxico de palabras clave) produce conclusiones diferentes incluso cuando se aplica al mismo texto preprocesado.

Estos dos tipos de fuentes suelen confundirse, lo que dificulta diagnosticar si la inestabilidad observada en los hallazgos de la investigación se origina en el flujo de procesamiento de datos o en el instrumento de medición mismo.

Metodología

Los autores proponen un marco de análisis de sensibilidad del flujo de trabajo para desentrañar sistemáticamente estas fuentes de variación. El estudio utiliza un corpus de 256 entrevistas de YouTube que presentan 41 figuras públicas a través de cinco dominios: Finanzas/Inversión, Academia/Economía, Banca Central/Política, Geopolítica/Estrategia y Medios/Comentario.

Diseño Experimental

El estudio compara dos variables distintas:

1. Dos Flujos de Preprocesamiento:
   • Basado en VTT: Analiza archivos de subtítulos de YouTube, elimina artefactos duplicados y utiliza un LLM (DeepSeek-V4-Flash) para la clasificación binaria de locutores ("invitado" frente a "entrevistador").
   • Basado en Audio (AssemblyAI): Utiliza una API comercial para ASR y diarización de locutores, identificando al locutor dominante por recuento de palabras como el invitado.
2. Dos Métodos de Medición:
   • Anotación por LLM: Anotación zero-shot de valencia (positiva/negativa/neutral) y modalidad epistémica (enfática/atenuada/neutral) utilizando DeepSeek-V4-Flash.
   • Puntuación por Léxico de Palabras Clave: Un enfoque basado en reglas utilizando un léxico predefinido de patrones para valencia negativa/positiva y modalidad, normalizado por la longitud de caracteres del video.

Marco de Diagnóstico

Los autores definen dos métricas para cuantificar la inestabilidad:

• Divergencia de Flujo de Trabajo ($\Delta_{pipeline}$): El cambio en una métrica derivada (específicamente la correlación de Pearson $r$ entre la valencia negativa y la modalidad enfática) al cambiar de flujo de preprocesamiento para el mismo método de medición.
• Divergencia de Método ($\Delta_{method}$): La diferencia absoluta en la métrica al cambiar entre los métodos de LLM y de léxico de palabras clave sobre el mismo texto preprocesado.

El análisis se centra en las correlaciones por locutor ($r(neg, emph)$y$r(neg, hedged)$), excluyendo a los locutores con menos de 4 videos para evitar correlaciones espurias derivadas de tamaños de muestra pequeños.

Resultados Clave

1. La Sensibilidad del Flujo de Trabajo es Acotada y Dependiente del Tamaño de la Muestra

• Concentración en Locutores de Bajo N: La sensibilidad del preprocesamiento está fuertemente concentrada en locutores con muestras de video limitadas ($N \le 5$). Para estos locutores, el cambio absoluto medio en la correlación ($|\Delta r|$) es alto (0.44), y las reversiones de signo son comunes.
• Estabilidad en Locutores Bien Muestreados: Para los cuatro locutores mejor muestreados ($N \ge 16$), el $|\Delta r|$ medio inducido por la elección del flujo de trabajo es de solo 0.13 bajo la anotación por LLM. Ningún locutor bien muestreado superó un $\Delta r$ de 0.19.
• Variación por Dominio: La sensibilidad varía según el dominio. El discurso de los medios mostró la mayor robustez del flujo de trabajo ($|\Delta r| = 0.32$ bajo LLM), mientras que Finanzas y Academia fueron los más sensibles ($0.46$).

2. El Desacuerdo entre Métodos es la Amenaza Dominante

• Magnitud del Desacuerdo: La divergencia del método de medición es significativamente mayor y más sistemática que la divergencia del flujo de trabajo. En el conjunto de los 41 locutores, el $\Delta_{method}$ medio (0.76) es casi el doble del $\Delta_{pipeline}$ medio (0.41).
• Reversión de Signo Sistemática: Los métodos de LLM y de léxico de palabras clave asignan direcciones de acoplamiento opuestas (reversiones de signo) en el 49% de los casos. Esto ocurre incluso en locutores bien muestreados (por ejemplo, Rogoff con 17 videos) donde ambos métodos son internamente estables. Por ejemplo, para Rogoff, la divergencia del flujo de trabajo fue de 0.19, pero la divergencia del método sobre el mismo flujo de VTT fue de 0.90.
• Enmascaramiento Agregado: Las proporciones de valencia agregadas permanecen altamente estables ($|\Delta p(neg)| < 6$ puntos porcentuales) independientemente del flujo de trabajo o del método. Esta estabilidad enmascara la inestabilidad sustancial presente en las correlaciones multidimensionales.

3. El Dominio Modula la Sensibilidad

Los estilos de comunicación profesional modulan cómo los procesos de preprocesamiento se propagan a las mediciones. Por ejemplo, los marcadores de atenuación académica y los intensificadores de los medios exhiben diferentes niveles de robustez a la fragmentación de oraciones (un subproducto de la segmentación VTT) en comparación con el discurso geopolítico.

Contribuciones Clave

1. Marco de Diagnóstico: El artículo introduce un marco de diagnóstico de dos fuentes que separa los efectos del flujo de preprocesamiento de los efectos del método de medición, proporcionando un método práctico para que los investigadores informen y analicen ambas fuentes de inestabilidad.
2. Límites Empíricos de la Sensibilidad del Flujo de Trabajo: Proporciona evidencia de que la sensibilidad del flujo de trabajo es predecible. Para locutores adecuadamente muestreados ($N \ge 16$), el impacto de las elecciones de preprocesamiento en las conclusiones correlacionales está acotado ($|\Delta r| \approx 0.13$).
3. Identificación de la Validez de la Medición como la Amenaza Primaria: El estudio demuestra que el desacuerdo entre métodos es una amenaza a la validez más severa que la divergencia del flujo de trabajo. Las conclusiones sobre el acoplamiento de la valencia afectiva y la modalidad epistémica pueden alterarse sistemáticamente por la elección del instrumento de anotación, incluso cuando el flujo de preprocesamiento se mantiene constante.

Significado y Reivindicaciones

El artículo argumenta que los investigadores que estudian relaciones multidimensionales en datos de entrevistas deben verificar que sus conclusiones sean robustas a ambas fuentes de variación. Los autores afirman que:

• Las elecciones de preprocesamiento importan, pero están acotadas: Aunque las elecciones del flujo de trabajo afectan los resultados, la magnitud de este efecto es predecible y manejable para locutores con suficientes datos.
• La elección de la medición es crítica: La elección entre la anotación por LLM y los léxicos de palabras clave puede revertir fundamentalmente las conclusiones científicas (por ejemplo, cambiando una correlación positiva por una negativa).
• Estándares de Reporte: Los investigadores de CSS deben separar explícitamente estas dos fuentes de inestabilidad en sus informes. Una correlación que sobrevive tanto a los flujos de trabajo alternativos como a los métodos de medición alternativos se considera más creíble que una validada dentro de una única combinación de flujo de trabajo y método.

Los autores mantienen una postura modesta, reconociendo limitaciones como el uso de un único proveedor de LLM, un corpus exclusivamente en inglés y la incapacidad de aislar completamente los efectos de la diarización de los efectos de la segmentación de oraciones en su diseño actual. No pretenden que un método sea universalmente "correcto", sino que la divergencia misma es una señal diagnóstica que requiere investigación.