Contextualized Prompting For Stance Detection On Social Media

Resumen Técnico: Prompting Contextualizado para la Detección de Postura en Redes Sociales

Planteamiento del Problema
La detección de postura en redes sociales, particularmente en Twitter, es inherentemente desafiante debido a la naturaleza corta, ruidosa y altamente dependiente del contexto del contenido generado por los usuarios. Aunque los Modelos de Lenguaje de Gran Escala (LLM) han demostrado sólidas capacidades de generalización zero-shot y few-shot, las configuraciones de prompting estándar suelen clasificar los tweets de forma aislada. Este enfoque suele fallar al resolver expresiones ambiguas donde un solo post carece de información suficiente para determinar el punto de vista del autor hacia un objetivo específico (por ejemplo, una persona, organización o tema). Aunque investigaciones previas de aprendizaje supervisado sugieren que la incorporación de metadatos (como biografías de usuario y tweets históricos) mejora el rendimiento, no está claro si estos beneficios se traducen a los escenarios de prompting zero-shot y few-shot, donde los LLM son altamente sensibles al diseño del prompt y pueden tener dificultades para distinguir entre contexto relevante e irrelevante.

Metodología
Los autores investigan sistemáticamente el impacto de integrar diversas características contextuales en el prompting zero-shot y few-shot para la detección de postura. El estudio emplea un conjunto diverso de cuatro LLM basados en razonamiento y ajustados por instrucciones (GPT-OSS-20B, Qwen2.5-32B, Gemma3-27B y Ministral3-14B) a través de cuatro conjuntos de datos de referencia: semeval2016t6, covid19-glandt, wtwt (fusiones y adquisiciones) y un nuevo conjunto de datos de alta calidad en alemán, covid19-de.

El estudio evalúa tres categorías de características contextuales:

1. Metadatos del mundo real: Recuperados mediante la API de Twitter, incluyendo Nombres de usuario, Biografías de usuario y Otros Tweets (los diez tweets más similares del mismo usuario, seleccionados mediante la similitud de coseno de Sentence-BERT).
2. Metadatos derivados: Clasificaciones de autor (por ejemplo, ciudadano, político, científico) y grupos de autores detallados derivados de las biografías.
3. Contexto generado por LLM: Datos sintéticos generados con GPT-4, específicamente Descripciones del Objetivo (una descripción corta de la entidad objetivo) y Contexto Específico del Tweet (una descripción del objetivo en el contexto específico del tweet).

La configuración experimental compara los baselines de zero-shot y few-shot estándar contra prompts aumentados con estas características. Los autores también evalúan el prompting de Cadena de Pensamiento (CoT) y un enfoque de "LLM como Juez" donde el modelo reevalúa su predicción inicial. El rendimiento se mide utilizando puntuaciones F1 promediadas por macro, promediadas a través de tres semillas aleatorias.

Contribuciones Clave

1. Evaluación Sistemática del Contexto: El artículo proporciona un análisis exhaustivo de cómo diferentes tipos de contexto (real, derivado y generado) afectan el rendimiento de los LLM en la detección de postura, yendo más allá de las bases de conocimiento estáticas utilizadas en trabajos previos.
2. Nuevo Conjunto de Datos: Los autores lanzan covid19-de, un nuevo conjunto de datos de detección de postura en Twitter de alta calidad en alemán (n=3,750) centrado en las medidas gubernamentales durante la pandemia de COVID-19, anotado con un acuerdo sustancial (Krippendorff $\alpha > 0.67$).
3. Hallazgos Empíricos sobre la Utilidad del Contexto: El estudio desafía la suposición de que más contexto es siempre mejor. Demuestra que, si bien las descripciones de objetivos generadas por LLM mejoran consistentemente el rendimiento, otras características contextuales (como biografías de usuario u otros tweets) producen resultados mixtos o incluso perjudiciales.
4. Análisis Cualitativo de Modos de Fallo: Los autores identifican que los LLM tienen dificultades para distinguir entre contexto informativo e irrelevante. Específicamente, añadir "Otros Tweets" o "Contexto Específico del Tweet" a menudo conduce a predicciones incorrectas, particularmente al sesgar el modelo hacia posturas no neutrales (a favor/en contra) incluso cuando la etiqueta correcta es neutral.

Resultos

• Descripciones del Objetivo: Las descripciones de objetivos generadas por LLM fueron la característica más robusta, mejorando consistentemente la precisión en casi todos los conjuntos de datos y modelos (por ejemplo, +5.10pp en semeval2016t6 zero-shot). Esto sugiere que la información explícita del objetivo ayuda a resolver referencias implícitas en textos cortos.
• Otros Tweets: Contrario a los hallazgos en el aprendizaje supervisado, proporcionar otros tweets del mismo usuario generalmente perjudicó el rendimiento o no mostró un beneficio significativo. El aumento de la longitud de la entrada pareció distraer al modelo, y el contexto añadido a menudo indujo un sesgo hacia posturas opinadas, degradando el rendimiento en instancias neutrales.
• Contexto Específico del Tweet: Sorprendentemente, el contexto específico del tweet generado por LLM tuvo un efecto negativo en cada configuración, probablemente debido a que el modelo incorpora palabras que denotan postura del contexto generado que entran en conflicto con el contenido real del tweet.
• Baselines: El prompting CoT generalmente tuvo un rendimiento inferior en comparación con los baselines zero-shot estándar en tareas de texto corto sin contexto adicional. El enfoque de "LLM como Juez" fue competitivo, mostrando una fortaleza particular en el conjunto de datos desbalanceado covid19-de al corregir las predicciones hacia la clase neutral mayoritaria.
• Metadatos del Autor: Las clasificaciones de autor semiautomáticas (por ejemplo, político vs. ciudadano) no superaron significativamente al baseline sin contexto, lo que sugiere que dichos metadatos no se traducen en ganancias para los LLM zero-shot/few-shot.

Significancia y Reivindicaciones
El artículo sostiene que, si bien la integración de información contextual es prometedora para mejorar la detección de postura en entornos reales ruidosos, los beneficios son altamente condicionales. La principal significancia radica en resaltar las limitaciones de las estrategias de prompting actuales: los LLM carecen de la robustez para filtrar eficazmente el contexto irrelevante o conflictivo. Los autores argumentan que simplemente añadir más datos al prompt es insuficiente; la investigación futura debe centrarse en desarrollar métodos para diferenciar entre contexto útil y ruidoso, particularmente para tareas subjetivas donde la relevancia no está definida objetivamente. El trabajo extiende la línea de investigación sobre la subjetividad contextual a la detección de postura, demostando que la heurística de "más contexto es mejor" no se aplica universalmente al prompting de LLM.