Resumen Técnico: Predicción de Viralidad Posterior con Atención Cruzada Temporal sobre Señales de Tendencias

Enunciado del Problema

Los modelos actuales para predecir la viralidad en redes sociales dependen predominantemente de características textuales y estructurales estáticas (por ejemplo, número de seguidores, hora de publicación, centralidad de la red y semántica del texto). Una limitación crítica de estos enfoques es su "ceguera temporal": no logran tener en cuenta la naturaleza dinámica de la atención pública. Una publicación sobre un tema específico puede tener un potencial viral muy diferente dependiendo de si ese tema está experimentando un pico actual de interés público o si ha estado inactivo. Los autores hipotetizan que ignorar estas dinámicas temporales conduce a una caracterización errónea de los impulsores de la participación y a una reducción de la precisión predictiva. El problema central abordado es si las señales de atención exógenas y del mundo real pueden mejorar la predicción de viralidad más allá de lo que revela únicamente el texto de la publicación.

Metodología

Datos y Etiquetado

El estudio utiliza un conjunto de datos de 788.873 publicaciones de Reddit de 10 subreddits diversos (que abarcan noticias, tecnología, finanzas, ciencia y entretenimiento) recopiladas entre enero de 2021 y diciembre de 2023.

• Definición de Viralidad: La viralidad se define mediante una estrategia de etiquetado binario estratificado por subreddit para tener en cuenta las diferencias de escala entre comunidades. Una publicación se etiqueta como viral ($y=1$) si su puntuación de participación $v$ supera el percentil 90 de la distribución de su subreddit Y su puntuación bruta $s$ cumple un umbral mínimo de 100.
• Puntuación de Participación: $v = s + 0.3 \cdot c$, donde $s$ es la puntuación de la publicación (votos a favor menos votos en contra) y $c$ es el número de comentarios. El peso $\beta=0.3$ refleja el mayor esfuerzo de comentar en comparación con votar.
• Señales Exógenas: El modelo incorpora datos de visualizaciones de páginas de Wikipedia como proxy del interés público colectivo. Los términos de "pico" se identifican diariamente basándose en una relación entre las visualizaciones actuales y las del día anterior ($\rho \ge 2.0$) y los aumentos absolutos de visualizaciones. Se retienen los 512 términos de tendencia superiores por día, se filtran para eliminar ruido (por ejemplo, páginas perennes) y se codifican.

Arquitectura: ViralityNet

ViralityNet es una arquitectura de atención cruzada diseñada para fusionar representaciones internas de publicaciones con señales externas de tendencias temporales.

1. Codificador de Publicaciones: Genera una representación de publicación de 256 dimensiones ($p$) fusionando cuatro flujos paralelos:

   • Título y Cuerpo: Codificados utilizando all-mpnet-base-v2 (768 dimensiones). El texto del cuerpo se divide en fragmentos (400 caracteres), se promedia y se renormaliza. Una representación de relleno aprendida maneja las publicaciones sin texto del cuerpo.
   • Características Estructurales: 9 características (hora de publicación, día de la semana, edades/longitudes log-normalizadas, tamaño del subreddit, etc.) proyectadas a 64 dimensiones.
   • Representación del Subreddit: Una representación aprendida de 32 dimensiones para el subreddit específico.
   • Fusión: Estos flujos se concatenan (1632 dimensiones), se proyectan a 256 dimensiones y se fusionan con una representación de año aprendida ($e_y$) mediante una conexión residual para tener en cuenta los cambios año tras año en las normas de participación.

2. Bloque de Atención Cruzada:

   • Matriz de Tendencias ($T_d$): Se construye una ventana deslizante de 7 días de los 512 términos de pico de Wikipedia para cada día $d$. Estos términos se codifican en una matriz de $512 \times 768$.
   • Mecanismo: La codificación de la publicación $p$ actúa como una consulta de un solo token ($Q$) contra las claves y valores de la matriz de tendencias ($K, V$). Un mecanismo de atención multi-cabeza de 4 cabezas (MHA) permite que el modelo atienda selectivamente al subconjunto de temas de interés público reciente más semánticamente alineados con el contenido de la publicación.
   • Salida: El vector de contexto resultante $c$ (256 dimensiones) captura la alineación entre la publicación y las tendencias actuales.

3. Clasificador: La concatenación de la codificación de la publicación y el vector de contexto ($[p; c]$) se pasa a través de un Perceptrón Multicapa (MLP) con dos capas ocultas para producir un logit viral. El modelo se entrena utilizando Pérdida Focal ($\alpha=0.25, \gamma=2.0$) para abordar el desequilibrio severo de clases (tasa positiva del 9.7%).

Contribuciones Clave

1. Señal de Alineación de Tendencias: Introducción de una señal de alineación de tendencias a nivel de publicación derivada de picos de visualizaciones de páginas de Wikipedia, demostrada como estadísticamente significativa a nivel de publicación individual.
2. Arquitectura ViralityNet: Una arquitectura novedosa de atención cruzada que condiciona las representaciones de publicaciones en matrices de tendencias de ventana deslizante diaria, aumentadas con representaciones aprendidas de año y subreddit.
3. Ablación Sistemática: Un estudio que desentraña las contribuciones del contexto temporal (representaciones de año), las tendencias exógenas (atención cruzada) y su combinación.

Resultados

El modelo se evaluó en un conjunto de prueba retenido de 118.331 publicaciones (11.459 virales). La métrica principal es AUC-PR, con AUC-ROC y F1 reportados en un umbral fijo de 0.31 (optimizado para F1).

• Mejoras de Rendimiento: El modelo completo de ViralityNet logró un AUC-PR de 0.3584 y un AUC-ROC de 0.8355.
• Comparación con Líneas Base:
  • Solo Texto: AUC-PR 0.3431.
  • Texto + Año: AUC-PR 0.3554 (+0.012 de mejora).
  • Texto + Tendencias: AUC-PR 0.3476 (+0.005 de mejora).
  • Modelo Completo: AUC-PR 0.3584 (+0.015 de mejora sobre Solo Texto).
• Análisis de Componentes: La representación de año contribuyó con la mejora más significativa (+0.012), atribuida a los cambios en las normas de participación entre 2021 y 2023. La atención cruzada de tendencias proporcionó una mejora complementaria menor pero consistente (+0.003 sobre la línea base Texto+Año).
• Varianza por Subreddit: El rendimiento varió según la comunidad. Los subreddits con una fuerte superposición temática con las tendencias de Wikipedia (por ejemplo, r/technology, r/stocks) obtuvieron el AUC-PR más alto (>0.39). Las comunidades impulsadas por la cultura interna (por ejemplo, r/gaming, r/wallstreetbets) fueron más difíciles de predecir utilizando señales externas.
• Sensibilidad del Umbral: Debido al desequilibrio de clases, el umbral predeterminado de 0.5 arrojó una baja recuperación (2.7%). Reducir el umbral a 0.31 mejoró la recuperación al 53.0% con una precisión del 31.9%, adecuado para resaltar publicaciones candidatas virales para revisión.

Significancia y Afirmaciones

El artículo afirma que incorporar señales de atención externas produce mejoras medibles sobre las líneas base de solo texto, validando la hipótesis de que la viralidad no está determinada únicamente por el contenido, sino por su alineación con las dinámicas del mundo real.

• Evidencia de Alineación: Los resultados sugieren que las publicaciones semánticamente alineadas con picos contemporáneos de atención pública tienen una probabilidad mediblemente mayor de volverse virales.
• Complementariedad: Las señales exógenas (tendencias de Wikipedia) actúan como un complemento útil a las características dentro de la plataforma, particularmente en comunidades donde la viralidad está impulsada por eventos externos en lugar de la cultura interna.
• Modesto pero Consistente: Los autores caracterizan las ganancias como "modestas pero consistentes", señalando que, aunque la señal de tendencia por sí sola no es un factor dominante en comparación con el contexto temporal (año), impulsa al modelo completo a su máximo rendimiento.
• Limitaciones: Los autores notan explícitamente que el modelo mide la alineación contemporánea, no la previsión futura. Reconocen limitaciones relacionadas con la naturaleza estática de los datos de participación (falta de velocidad temprana), el diseño heurístico del pipeline y los posibles problemas de generalización debido a la selección específica de subreddits. También destacan la preocupación por el impacto más amplio de que tales capacidades predictivas podrían teóricamente ser mal utilizadas para optimizar la difusión de contenido polarizado o spam.