Automated stance detection in complex topics and small languages: the challenging case of immigration in polarizing news media

Título: Detección automática de postura en temas complejos y lenguas de recursos limitados: El caso desafiante de la inmigración en medios polarizados

1. Problema

La detección automática de postura (stance detection) es crucial para el monitoreo de medios y la investigación académica, especialmente para entender la polarización y los sesgos en temas sociopolíticos complejos como la inmigración. Sin embargo, existen dos barreras principales:

• Limitación de recursos lingüísticos: La mayoría de los métodos de aprendizaje supervisado requieren grandes conjuntos de datos anotados, los cuales son escasos o inexistentes para lenguas de recursos limitados (como el estonio) y lenguas morfologicamente complejas.
• Complejidad del tema: La inmigración es un tema cargado políticamente que implica expresiones lingüísticas diversas, ironía, "silbidos de perro" (dog-whistles) y matices culturales que dificultan la clasificación automática, especialmente en contextos de medios polarizados (mainstream vs. populista de derecha).

El objetivo del estudio es evaluar la viabilidad de aplicar modelos de lenguaje grandes (LLMs) para la detección de postura en estonio, un idioma con recursos limitados, y comparar enfoques supervisados tradicionales con el aprendizaje zero-shot utilizando ChatGPT.

2. Metodología

Los autores diseñaron un experimento siguiendo el procedimiento estándar de anotación-entrenamiento-prueba:

• Datos y Corpus:

  • Se construyó un corpus de noticias en estonio de 2015 a 2022.
  • Fuentes: Se contrastaron dos fuentes con posturas esperadas opuestas: un grupo mediático mainstream (Ekspress Grupp, incluyendo el portal Delfi) y un portal de noticias populista de derecha (Uued Uudised).
  • Unidad de análisis: Se seleccionaron oraciones individuales (en lugar de párrafos o artículos) para evitar la mezcla de múltiples posturas y adaptarse a los límites de longitud de entrada de los modelos BERT.
  • Extracción: Se filtraron 21,667 artículos de Uued Uudised y 244,961 de Ekspress Grupp utilizando un diccionario de palabras clave y expresiones regulares para cubrir diversos aspectos de la inmigración (refugiados, trabajadores extranjeros, racismo, multiculturalismo, etc.), excluyendo temas no relacionados (como la migración de aves).

• Anotación:

  • Se anotaron manualmente 8,000 oraciones (reducidas a 7,345 tras filtrar ambigüedades) por dos estudiantes graduados.
  • Esquema de etiquetas: Escala de 1 a 5 convertida en cuatro clases: En contra (1-2), Neutral (3), A favor (4-5) y Ambiguo (excluido del entrenamiento).
  • Se midió la concordancia inter-anotadores (Kappa de Cohen), obteniendo un acuerdo sustancial, especialmente entre las clases extremas (En contra vs. A favor).

• Modelos y Entrenamiento:

  • Enfoque Supervisado: Se fine-tunearon varios modelos preentrenados basados en la arquitectura Transformer:
    • Multilingües: mBERT, XLM-RoBERTa.
    • Específicos para estonio: EstBERT, Est-RoBERTa.
  • Enfoque Zero-Shot: Se utilizó ChatGPT (versión 3.5) como clasificador instructable mediante prompting (aprendizaje basado en instrucciones) sin fine-tuning, solicitando que clasificara las oraciones según las mismas directrices que los humanos.
  • Comparativa: Se comparó el rendimiento de estos modelos con un clasificador entrenado en un conjunto de datos de análisis de sentimientos estonio existente para evaluar si el sentimiento general puede servir como proxy para la postura.

3. Contribuciones Clave

1. Viabilidad en lenguas de recursos limitados: Demuestran que la detección automática de postura es factible y útil en estonio, un idioma con recursos NLP limitados y complejidad morfológica.
2. Conjunto de datos público: Se libera al público un conjunto de datos anotado de 7,345 oraciones sobre postura hacia la inmigración en estonio, útil para la comunidad de NLP y estudios de medios.
3. Evaluación de ChatGPT: Proporcionan una de las primeras evaluaciones detalladas del rendimiento de ChatGPT como clasificador zero-shot en una lengua de recursos limitados, mostrando resultados comparables a los modelos supervisados fine-tunados.
4. Análisis Diacrónico: Aplican el mejor modelo para analizar tendencias temporales (2015-2022) en dos medios polarizados, correlacionando cambios en la postura con eventos reales (crisis de refugiados de 2015, Pacto de Migración de la ONU, elecciones de 2019, invasión rusa a Ucrania de 2022).

4. Resultados

• Rendimiento de los Modelos:

  • El modelo Est-RoBERTa fine-tunado obtuvo el mejor rendimiento con un F1 macro de 0.66 (Precisión: 0.65, Recall: 0.68).
  • ChatGPT (Zero-shot) logró un rendimiento casi idéntico con un F1 macro de 0.65, demostrando ser una alternativa viable, más barata y sencilla que el fine-tuning.
  • Los modelos supervisados clasificaron mejor las posturas "En contra" (F1 0.74) que las "A favor" (F1 0.55), lo cual es consistente con la naturaleza más sistemática de la retórica anti-inmigración.
  • El enfoque basado en análisis de sentimientos (entrenado en datos de polaridad general) tuvo un rendimiento inferior (F1 0.49), confirmando que la postura es una tarea dependiente del tema y no solo de la polaridad emocional.

• Errores y Limitaciones:

  • La confusión principal ocurre entre las clases extremas (En contra / A favor) y la clase Neutral.
  • Los errores se deben a: anotaciones humanas dudosas, sarcasmo, oraciones ambiguas dependientes del contexto y citas de terceros (donde la postura del autor no es clara sin contexto adicional).

• Hallazgos del Análisis Diacrónico:

  • Uued Uudised mostró una postura consistentemente "En contra" de la inmigración, con picos de negatividad durante la crisis de refugiados (2015-2016), el Pacto de Migración (2018) y las elecciones de 2019.
  • Ekspress Grupp mantuvo una postura mayoritariamente Neutral y estable, aunque mostró un aumento significativo en posturas "A favor" tras la invasión rusa a Ucrania en 2022.
  • Se observó un aumento en la similitud coseno (temas y retórica) entre ambos medios durante eventos críticos (2018 y 2022), sugiriendo una convergencia temporal en el enfoque de los temas.

5. Significancia

Este estudio es fundamental por varias razones:

• Accesibilidad: Demuestra que el uso de LLMs generativos (como ChatGPT) puede democratizar el análisis de medios en lenguas de recursos limitados, eliminando la necesidad costosa y lenta de crear grandes conjuntos de datos anotados para cada nuevo tema.
• Aplicabilidad Práctica: Ofrece una herramienta viable para organizaciones de noticias y académicos para monitorear el equilibrio de la cobertura mediática y detectar polarización en tiempo real.
• Comprensión Sociopolítica: Proporciona evidencia cuantitativa sobre cómo los medios estonios han cubierto la inmigración, validando la teoría de que los medios populistas de derecha utilizan la inmigración como un eje central de su retórica, mientras que los medios mainstream tienden a mantener una neutralidad más estricta, con cambios reactivos ante eventos geopolíticos mayores.
• Futuro de la Investigación: Sugiere que, aunque el fine-tuning sigue siendo robusto, el aprendizaje zero-shot con instrucciones naturales es un camino prometedor para escalar el análisis de postura a múltiples idiomas y temas sin barreras de recursos.