Resumen Técnico: SURGE – Un Punto de Referencia para Series Temporales de Sentimiento en Redes Sociales Centrado en Eventos

1. Definición del Problema

Los eventos públicos en redes sociales (por ejemplo, desastres naturales, conflictos políticos, lanzamientos tecnológicos) generan discusiones masivas y fragmentadas cuya dinámica colectiva es crítica para la previsión de opiniones y la respuesta a crisis. La modelización predictiva efectiva requiere organizar estas discusiones en series temporales a nivel de evento que se alineen con el ciclo de vida del evento. Sin embargo, los recursos existentes no satisfacen tres demandas simultáneas:

1. Organización a Nivel de Evento: Muchos conjuntos de datos organizan la información por usuario o por señales ancla a impulsores exógenos (por ejemplo, el clima) en lugar de hacerlo por la discusión en sí misma.
2. Estructura de Interacción: Las series temporales existentes a menudo descartan la topología de respuestas y republicaciones entre publicaciones, a pesar de que la dinámica social está estrechamente acoplada a las estructuras de interacción.
3. Alineación Multimodal: Aunque existen conjuntos de datos para la previsión multimodal, sus fuentes de texto (noticias, informes financieros) carecen de las cadenas de respuesta de usuario a usuario características de las redes sociales, tratando el texto como un canal lateral exógeno en lugar de una señal interactiva.

En consecuencia, el valor predictivo de la estructura de interacción para la dinámica de opinión colectiva permanece sin probar, y la transferibilidad entre tipos de eventos es difícil de evaluar.

2. Metodología: El Punto de Referencia SURGE

SURGE es un punto de referencia de redes sociales multi-evento diseñado para emparejar señales temporales a nivel de evento con estructuras de texto e interacción alineadas.

2.1 Recolección y Procesamiento de Datos

• Alcance: El conjunto de datos cubre 67 eventos públicos en cinco categorías: Desastres Naturales, Eventos Políticos, Movimientos Sociales, Lanzamientos Tecnológicos y Deportes/Entretenimiento.
• Fuentes: Los datos se agregan de Twitter, Reddit y Threads, comprendiendo 817.442 publicaciones (de una colección inicial cruda de ~1,26 millones).
• Preprocesamiento:
  • Filtrado: Las publicaciones se eliminan duplicados y se filtran para eliminar texto corto, predominancia de emojis/URLs y contenido no en inglés.
  • Detección de Períodos Activos: Los eventos se recortan a sus "períodos activos" para excluir el ruido ambiental disperso, asegurando que la serie temporal refleje un compromiso genuino.
  • Anotación de Sentimiento: Las publicaciones se etiquetan como Positivas, Neutrales o Negativas utilizando Qwen3-32B de manera zero-shot. Estas se mapean a puntuaciones numéricas $\{+1, 0, -1\}$.
  • Validación: Un estudio de verificación humana estratificado en 3.000 publicaciones confirmó un $\kappa$ de Cohen de 0,74 entre los anotadores y una tasa de coincidencia del 86,5% con las etiquetas de los LLM, con un sesgo sistemático acotado por $|\mu| \le 0,05$.

2.2 Construcción de Series Temporales

El punto de referencia construye series temporales alineadas con el calendario en tres granularidades temporales: 1 día, 12 horas y 6 horas.

• Objetivos: Para cada intervalo de tiempo $t$, se derivan dos variables objetivo:
  1. Intensidad de Discusión ($c_t$): El recuento de publicaciones en el intervalo.
  2. Polaridad de Sentimiento ($\bar{s}_t$): La puntuación promedio de sentimiento de las publicaciones en el intervalo.
• Normalización: Los objetivos se normalizan mediante puntuación-z por evento para manejar las diferencias de escala entre eventos.
• Vistas Textuales: Cada intervalo de tiempo se empareja con dos vistas textuales derivadas de las mismas publicaciones seleccionadas:
  • Vista Plana: Publicaciones linealizadas cronológicamente sin marcadores de rol.
  • Vista Estructurada: Publicaciones organizadas en cadenas de respuesta con marcadores de rol explícitos (padre/hijo), tratando las republicaciones como interacciones similares a respuestas.

2.3 Protocolos de Evaluación

SURGE define cuatro protocolos de referencia:

1. Previsión Solo Numérica: Predecir valores futuros utilizando únicamente series temporales históricas.
2. Previsión Aumentada con Texto: Predecir utilizando series históricas más texto (probado en configuraciones Sin Texto, Plana y Estructurada).
3. Evaluación Consciente de la Estructura: Una métrica ($MAE_{reply}(k\%)$) que evalúa el rendimiento específicamente en los intervalos de tiempo más densos en respuestas (alta interacción).
4. Generalización Transversal de Categorías: Un protocolo de "dejar una categoría fuera" para probar la transferibilidad entre los cinco tipos de eventos.

3. Contribuciones Clave

1. El Conjunto de Datos SURGE: El primer punto de referencia que proporciona simultáneamente cobertura multi-evento a nivel de evento, series temporales pre-construidas, vistas textuales alineadas por intervalo y estructura de interacción social explícita (aristas de respuesta/republicación).
2. Marco de Evaluación: Un conjunto exhaustivo de protocolos que incluye métricas conscientes de la estructura y pruebas de generalización transversal de categorías, abordando brechas en los conjuntos de datos existentes de redes sociales y previsión multimodal.
3. Implementación de Referencia: Una Sonda Consciente de la Estructura (CMA) ligera que utiliza atención cruzada-modal para consumir tokens de publicaciones tipificadas y embebimientos de hilos, sirviendo como referencia para futuros modelos conscientes de la interacción.

4. Resultados Experimentales

Los autores evaluaron modelos representativos de previsión de series temporales (TSF) (lineales, Transformer, CNN, basados en LLM y basados en difusión) y líneas base multimodales.

• Fuerte Persistencia Local: Las líneas base ingenuas (Último Valor, Media Móvil) siguen siendo difíciles de superar bajo el Error Absoluto Medio (MAE) en todas las granularidades. Esto indica un "régimen de fuerte persistencia local" donde la mejor previsión a corto plazo es a menudo la observación más reciente. Los modelos aprendidos a menudo reducen el Error Cuadrático Medio (MSE) al suavizar las predicciones, pero no logran mejorar el MAE.
• Transferencia Limitada de Modelos Aumentados con Texto: Los modelos existentes de TSF multimodal (diseñados para texto de noticias/financiero) muestran una robustez limitada al aplicarse a datos de redes sociales. No mejoran consistentemente sobre las líneas base solo numéricas, y su rendimiento es insensible a la forma estructural del texto (Plano vs. Estructurado).
• La Densidad de Interacción Importa: La métrica consciente de la estructura ($MAE_{reply}$) revela que los períodos densos en respuestas son intrínsecamente más difíciles de prever. Las clasificaciones de los modelos en estos fragmentos densos divergen de las clasificaciones en métricas agregadas, lo que sugiere que los períodos de alta interacción son donde los modelos fallan más.
• Asimetría de Generalización: La transferencia transversal de categorías es estructuralmente asimétrica. Los desastres naturales son la categoría más difícil de generalizar, mientras que los movimientos sociales son los más fáciles. La dificultad varía significativamente según la variable objetivo (Intensidad vs. Sentimiento).

5. Significado y Afirmaciones

El artículo posiciona a SURGE no como una propuesta para un nuevo modelo de previsión, sino como una prueba de estrés para la previsión de redes sociales impulsada por eventos. Su importancia radica en exponer tres propiedades fundamentales del dominio:

1. La persistencia es fuerte pero insuficiente: Los objetivos de optimización actuales (MSE) pueden suprimir grandes desviaciones sin mejorar la precisión de la tendencia central (MAE) en series impulsadas por eventos.
2. El texto no es automáticamente útil: La estructura interna del texto de las redes sociales (cadenas de respuesta) difiere fundamentalmente del texto unidireccional en conjuntos de datos financieros/de noticias. Los modelos multimodales deben diseñarse explícitamente para manejar esta estructura de interacción para ser efectivos.
3. Los regímenes de evaluación difieren por densidad: Las métricas agregadas oscurecen los fallos de los modelos en períodos de alta interacción. El punto de referencia proporciona ejes (densidad de interacción y cambio de categoría) a lo largo de los cuales los métodos existentes son insuficientes, particularmente en escenarios más críticos para la respuesta a crisis y el monitoreo de opiniones.

Los autores concluyen que SURGE proporciona los datos, protocolos y medidas diagnósticos necesarios para avanzar en la investigación sobre la previsión consciente de la interacción, dejando el diseño de modelos más robustos como una tarea para trabajos futuros.