Benchmarking Multi-Modal Graph-based Social Media Popularity Prediction

Resumen Técnico: MMG-Pop Benchmark y MMG-PopNet

Definición del Problema
La predicción de la popularidad en redes sociales tiene como objetivo pronosticar el alcance o la influencia futura del contenido en línea basándose en observaciones de etapa temprana. Si bien la predicción precisa es crítica para la optimización de la publicidad, la planificación de contenidos y las estrategias de intervención (por ejemplo, la detección de cascadas tóxicas), la literatura existente sufre de una fragmentación significativa. Los trabajos previos a menudo no logran considerar conjuntamente el contenido multimodal (texto, imágenes, video) y las señales temporales de interacción social. Además, los estudios se construyen bajo configuraciones experimentales inconsistentes con respecto a conjuntos de datos, modalidades, ventanas de observación y objetivos de predicción, lo que impide una comparación justa y una comprensión sistemática de cómo estas señales moldean conjuntamente la dinámica de la popularidad.

Metodología
Para abordar estos desafíos, los autores presentan MMG-Pop, un benchmark unificado, y MMG-PopNet, una red unificada basada en grafos y multimodal.

• Benchmark MMG-Pop:

  • Datos: Curados de Bluesky y Reddit (específicamente r/AMA, r/Gaming, r/Futurology), representando las cascadas sociales como grafos con estructura de árbol donde los nodos son elementos de contenido (publicaciones/comentarios) y las aristas representan las relaciones de respuesta/cita.
  • Modalidades: El benchmark integra cuatro tipos de señales: Contenido textual, Medios visuales (a nivel de la publicación raíz), Características temporales (tiempo relativo al padre y a la raíz) y Topología de grafo (estructura de la cascada).
  • Tareas: Define seis dimensiones complementarias de popularidad categorizadas en Estructural (Ancho Máximo, Profundidad Máxima, Virilidad Estructural), Participación (Tamaño, Usuarios Únicos) y Compromiso (Puntuación de "Likes").
  • Protocolo: La evaluación implica predecir el estado final de la cascada o futuros horizontes (por ejemplo, 4h, 8h, 24h) dado un periodo de observación temprano (por ejemplo, solo la raíz, 2 min, 10 min).

• Arquitectura MMG-PopNet:

  • Incrustación de Características Multimodales: El modelo emplea codificadores específicos para cada modalidad. El texto es procesado mediante un Transformer; el contenido visual (imágenes de la raíz) mediante CLIP; y las señales temporales son transformadas logarítmicamente y normalizadas. Los metadatos a nivel de hilo (por ejemplo, recuento de seguidores) también son codificados.
  • Pasaje de Mensajes en Grafo Bidireccional: Para capturar las dependencias estructurales, el modelo utiliza un mecanismo GraphSAGE bidireccional. Realiza un pasaje de mensajes simultáneo de raíz a hoja y de hoja a raíz sobre el árbol de la cascada, agregando las representaciones de los nodos para capturar tanto el contexto que precede a un nodo como el contexto de respuesta que le sigue.
  • Fusión y Predicción: La representación bruta de la raíz, las incrustaciones bidireccionales de la raíz, los resúmenes globales del grafo y el contexto a nivel de hilo se fusionan en un solo vector. Una cabeza de Perceptrón Multicapa (MLP) compartida predice entonces todos los seis objetivos de popularidad simultáneamente en un marco de aprendizaje multitarea.

Contribuciones Clave

1. Benchmark Unificado: MMG-Pop estandariza los conjuntos de datos, las modalidades, las ventanas de observación y los protocolos de evaluación, permitiendo una comparación consistente entre el pronóstico dentro del dominio, la predicción de horizontes futuros y la transferencia entre plataformas.
2. Modelo Unificado: MMG-PopNet es la primera arquitectura que modela conjuntamente el contenido multimodal, la dinámica de interacción estructurada en grafos y las señales temporales mediante el pasaje de mensajes bidireccional, soportando la predicción multiobjetivo.
3. Perspectivas Integrales: El benchmark facilita nuevos hallazgos sobre la importancia del modelado conjunto, la generalización entre comunidades, los beneficios multitarea y las limitaciones de los Grandes Modelos de Lenguaje (LLMs) en este dominio.

Resultados Experimentales
Experimentos extensos en cuatro conjuntos de datos demuestran la superioridad de MMG-PopNet:

• Rendimiento: MMG-PopNet logra el Error Cuadrático Medio (MSE) más bajo en todos los objetivos y ventanas de observación, superando a bases sólidas (incluyendo Graph-LSTM, CasSeqGCN, DeepHawkes y DeepCas) entre un 4.6% y un 17.0% en promedio.
• Generalización: El entrenamiento unificado a través de comunidades (Reddit) y plataformas (Bluesky + Reddit) mejora significativamente el rendimiento en los conjuntos de datos de Reddit mientras mantiene la competitividad en Bluesky, lo que sugiere que el entrenamiento entre comunidades comparte estructuras de interacción valiosas.
• Aprendizaje Multitarea: La predicción conjunta de todos los objetivos mejora significativamente la predicción de compromiso (Puntuación de "Likes"), aunque el entrenamiento de tarea única sigue siendo ligeramente superior para objetivos puramente estructurales como Ancho Máximo y Profundidad Máxima.
• Ablación de Modalidades:
  • Las características temporales son las más críticas para predecir el crecimiento estructural (Tamaño, Ancho, Usuarios Únicos).
  • La semántica textual es vital para la predicción de compromiso (Puntuación de "Likes").
  • La topología es esencial para la virilidad estructural y la profundidad.
  • El contenido visual proporciona ganancias complementarias modestas pero consistentes.
• Comparación con LLMs: Al compararse con modelos de lenguaje multimodales (Qwen, Gemma, GPT-4o-mini) bajo configuraciones zero-shot, few-shot y de ajuste fino (fine-tuned), MMG-PopNet supera consistentemente a estos. Los LLMs tienen dificultades con la calibración numérica y no logran modelar la topología específica y la dinámica de tiempo de manera tan efectiva como la arquitectura especializada de grafos.

Significado y Reivindicaciones
El artículo establece a MMG-Pop como un benchmark fundacional para la investigación futura en el modelado de la dinámica social. Los autores afirman que sus hallazgos proporcionan una base unificada para comprender cómo las modalidades heterogéneas y los ecosistemas de agentes con conciencia social moldean la popularidad. Enfatizan que, si bien los LLMs muestran potencial en el razonamiento, actualmente carecen de la capacidad de calibración específica y de modelado estructural requerida para una predicción precisa de la popularidad social. El trabajo pretende cambiar el campo de estudios fragmentados de una sola modalidad hacia un enfoque holístico basado en grafos que capture la compleja interacción entre contenido, tiempo y estructura en las redes sociales.