Resumen Técnico: DimStance: Conjuntos de Datos Multilingües para el Análisis Dimensional de la Postura

Planteamiento del Problema

La detección de postura tradicional es una tarea bien establecida que clasifica la actitud de un autor hacia un objetivo específico en etiquetas categóricas discretas (p. ej., Favor, En Contra, Neutral). Sin embargo, este enfoque categórico no logra capturar los estados afectivos matizados que subyacen a las expresiones de postura. Las posturas rara vez son puramente "a favor" o "en contra"; incluso las expresiones que comparten la misma etiqueta categórica pueden variar significativamente en tono emocional e intensidad. Los recursos existentes carecen de representaciones dimensionales anotadas por humanos, lo que limita la capacidad de analizar por qué las opiniones se endurecen o de mitigar la polarización en debates sobre cuestiones complejas como el cambio climático y la política. Además, existe una escasez de recursos de postura para lenguas de bajos recursos.

Metodología

Los autores presentan DIMSTANCE, el primer recurso de postura dimensional anotado con puntuaciones continuas de Valencia-Activación (VA, por sus siglas en inglés). La metodología abarca la construcción del conjunto de datos, la formulación de la tarea y la evaluación del modelo.

Construcción del Conjunto de Datos

• Alcance: El conjunto de datos comprende 11,746 aspectos de objetivos a través de 7,365 textos en cinco idiomas: inglés, alemán, chino, pidgin nigeriano y suajili.
• Dominios: Los datos cubren política y protección ambiental.
• Fuentes:
  • Inglés: EZ-STANCE y Reddit (Protección Ambiental).
  • Alemán: Archivo de Wahl-O-Mat (Política).
  • Chino: Plataforma Threads (Protección Ambiental).
  • Pidgin Nigeriano y Suajili: Plataforma X (Política).
• Proceso de Anotación:
  • Los aspectos de los objetivos fueron extraídos mediante LLMs y verificados mediante voto por mayoría por cinco hablantes nativos por idioma.
  • Los anotadores calificaron cada par objetivo-texto en dos escalas: Valencia (1 = altamente negativa a 9 = altamente positiva) y Activación (1 = altamente poco activado a 9 = altamente activado).
  • Las etiquetas de oro finales son el promedio de las calificaciones de cinco anotadores.
• Control de Calidad: La fiabilidad se midió utilizando el Error Cuadrático Medio (RMSE). Los resultados indican que las anotaciones de activación son generalmente menos fiables que las de valencia, lo cual es consistente con estudios previos.

Formulación de la Tarea

El artículo introduce la Regresión de Postura Dimensional, una tarea que requiere que los sistemas predigan puntuaciones VA continuas para un aspecto de objetivo dado dentro de un texto, en lugar de seleccionar una clase discreta.

Configuración Experimental

Los autores evaluaron tres grupos de modelos:

1. Regresores PLM: Modelos preentrenados multilingües (RemBERT, LaBSE, XLM-R) con una cabeza de regresión, optimizados mediante el Error Cuadrático Medio (MSE).
2. LLMs Cerrados (Prompting): Generación de puntuaciones numéricas mediante prompting zero-shot y few-shot de modelos de código cerrado (GPT-5 mini, Gemini 2.5 Flash, Kimi K2).
3. Regresores LLM (Fine-tuning): LLMs de código abierto (Mistral-3, Phi-4, Llama-3.3, Qwen-2.5) adaptados mediante QLoRA de 4 bits con una cabeza de regresión.

El rendimiento se midió utilizando RMSE en el espacio VA, calculado como la distancia euclidiana entre los pares predichos y los de oro (V, A).

Resultados Clave

Análisis del Conjunto de Datos

• Distribución de VA: En todos los idiomas, los datos exhiben una relación en forma de U entre la valencia y la activación; la activación tiende a ser más baja cerca de la valencia neutral y aumenta hacia ambos extremos, tanto negativos como positivos.
• Variaciones Cross-Linguales:
  • Inglés (Protección Ambiental): Distribución de valencia equilibrada; alta activación asociada tanto con posturas positivas como negativas.
  • Alemán (Política): Sesgado hacia la valencia positiva (69%), probablemente reflejando contenido generado por partidos.
  • Chino (Protección Ambiental): Distribución compacta con expresiones leves; los objetivos suelen agruparse alrededor de un rango de valencia medio.
  • Pidgin Nigeriano y Suajili (Política): Dominados por la valencia negativa (aprox. 63-64%) y alta activación, lo que refleja la naturaleza contenciosa del discurso electoral. Los datos en suajili contienen un número notable de ejemplos tóxicos y exhiben la media de activación más alta.

Rendimiento de los Modelos

• LLMs con Fine-tuning: Generalmente superaron tanto a los LLMs mediante prompting como a los regresores PLM, particularmente los modelos de mayor escala (70B).
• LLMs mediante Prompting: Lograron resultados competitivos, sirviendo como una alternativa eficiente en términos de datos. Sin embargo, produjeron distribuciones de VA "en cuadrícula" (discretas) debido a la generación basada en tokens, lo que dificultó el manejo de distribuciones compactas (p. ej., el caso del chino).
• Rendimiento por Idioma:
  • Chino: Logró consistentemente el mejor rendimiento entre los modelos, atribuido a su distribución de VA concentrada alrededor de la región neutral.
  • Suajili: Mostró el rendimiento más bajo, resaltando los desafíos en lenguas de bajos recursos.
  • Pidgin Nigeriano: Funcionó mejor que el suajili, posiblemente debido a sus características similares al inglés.
• Sensibilidad al Prompt: El rendimiento de los LLMs cerrados fue altamente sensible a la redacción del prompt. Aumentar el número de ejemplos few-shot (hasta 16 shots) generalmente mejoró el rendimiento, siendo Kimi K2 el que mostró los mejores resultados generales entre los modelos mediante prompting.

Significancia y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Primer Recurso Dimensional: La introducción de DIMSTANCE, el primer conjunto de datos multilingüe para el análisis de postura con puntuaciones VA continuas anotadas por humanos, que cubre tanto lenguas de altos como de bajos recursos.
2. Nuevo Marco de Tarea: La formulación de la regresión de postura dimensional, integrando marcos de la ciencia afectiva en la detección de postura para permitir un análisis más detallado.
3. Benchmarking: Provisión de resultados de referencia (baselines) a través de regresores PLM, LLMs mediante prompting y regresores LLM con fine-tuning, estableciendo una base para investigaciones futuras.

Los autores enfatizan que este recurso proporciona una base fundamental para el análisis de postura multilingüe y consciente de la emoción. Al ir más allá de las etiquetas categóricas, este trabajo facilita una comprensión más profunda de los estados afectivos que impulsan la opinión pública. No obstante, el artículo señala modestamente limitaciones, incluyendo la dificultad inherente de anotar la activación, las posibles variaciones culturales en la interpretación de VA y el riesgo de sesgo en conjuntos de datos con distribuciones de valencia sesgadas (p. ej., el pidgin nigeriano). Los autores prohíben estrictamente el uso comercial o gubernamental de los datos para evitar posibles usos indebidos, tales como la persecución de individuos basada en posturas inferidas.