LLM-Enhanced Topical Trend Detection at Snapchat

✨

Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Each language version is independently generated for its own context, not a direct translation.

Imagina Snapchat como una ciudad digital masiva y bulliciosa donde millones de personas publican constantemente videos cortos. En esta ciudad, las "tendencias" son como festivales callejeros masivos y repentinos o locuras de baile virales que surgen de la nada. El desafío para Snapchat es que esta ciudad es demasiado grande y se mueve demasiado rápido para que cualquier equipo humano vigile cada rincón y detecte estos festivales a medida que comienzan.

Este documento describe un nuevo sistema automatizado de "Vigilancia de la Ciudad" construido por ingenieros de Snapchat para detectar estas tendencias en el momento en que comienzan, utilizando un tipo especial de inteligencia artificial llamada Modelo de Lenguaje Grande (LLM).

Así es como funciona el sistema, desglosado en cuatro pasos simples:

1. Los "Ojos y Oídos" (Extracción de Temas)

Primero, el sistema necesita entender qué está sucediendo en los videos. Dado que los videos son una mezcla de imágenes, sonidos y texto, el sistema utiliza un equipo de "detectives" de IA.

El Detective Visual: Examina los fotogramas del video para ver qué objetos o escenas hay (como un perro, una playa o un concierto).
El Detective de Audio: Escucha lo que las personas dicen (voz a texto).
El Detective de Texto: Lee cualquier palabra escrita en la pantalla o en la descripción.
El Resumen: Una vez recopiladas estas pistas, una IA poderosa (el LLM) actúa como un periodista experto. Toma toda esa información desordenada y escribe un titular breve y claro para el video, como "Personas bailando una nueva canción" en lugar de simplemente una lista de palabras aleatorias.

2. El "Detector de Picos" (Detección de Explosiones)

El hecho de que un video sea sobre "perros" no significa que sea una tendencia; la gente publica sobre perros todos los días. El sistema necesita saber cuándo algo se vuelve repentinamente popular.

Imagina una calle tranquila donde usualmente pasan 5 personas por hora. De repente, 500 personas aparecen en la siguiente hora. Eso es una "explosión".
El sistema rastrea cuántas personas únicas están publicando sobre un tema específico. Ignora cuántas personas están viendo (para evitar sesgos) y se centra en cuántas están creando.
Utiliza una fórmula matemática para comparar los números de hoy con el pasado reciente. Si el número de creadores aumenta significativamente, el sistema lo marca como una tendencia potencial.

3. El "Control de Calidad" (Postprocesamiento)

No cada pico es una buena tendencia. A veces un pico es solo un error, spam o algo demasiado vago como "videos graciosos".

El Filtro: El sistema utiliza reglas de IA para descartar temas deficientes. Elimina cualquier cosa demasiado amplia (por ejemplo, "vida") o cualquier cosa que viole las reglas de seguridad (contenido sensible o inseguro).
El Fusionador: A veces el sistema detecta "Mundial 2026", "Mundial" y "Clasificatorias al Mundial" como tres cosas separadas. La IA se da cuenta de que en realidad son el mismo evento y los fusiona en una sola tendencia limpia llamada "Mundial 2026". Esto mantiene la lista ordenada y fácil de entender.

4. El "Narrador" (Riqueza de la Tendencia)

Una vez confirmada una tendencia, el sistema no solo le da un nombre; construye un perfil para ella.

Selecciona algunos videos representativos de la tendencia y pide a una IA superinteligente que escriba un resumen, asigne una categoría (como "Deportes" o "Noticias") y liste qué países están hablando más sobre ello.
Piensa en esto como convertir un punto de datos crudo en una tarjeta de noticias pulida que el resto de la aplicación puede utilizar.

¿Por qué es esto importante? (Los Resultados)

El documento informa que este sistema ha sido probado y ahora se ejecuta globalmente en Snapchat.

Precisión: Cuando humanos revisaron el trabajo del sistema durante seis meses, fue correcto el 92.8% de las veces.
Impacto en el Mundo Real: El sistema ahora se utiliza para ayudar a decidir qué videos aparecen en tu pantalla (clasificación) y qué sugerencias aparecen cuando escribes en la barra de búsqueda.
El Resultado: Debido a que el sistema detecta las tendencias más rápido, los usuarios ven contenido más fresco y relevante. Las pruebas mostraron que a los usuarios les gustó más el contenido (mayores tasas de "me gusta") y pasaron más tiempo viendo historias que formaban parte de estas nuevas tendencias.

En resumen, este documento describe una forma inteligente y automatizada para que Snapchat escuche el "zumbido" de toda su base de usuarios, filtre el ruido y le diga instantáneamente a la aplicación: "Oye, todos están hablando de esto ahora mismo, ¡mostremos esto a la gente!"

Each language version is independently generated for its own context, not a direct translation.

1. Enunciado del Problema

El artículo aborda el desafío de la detección automática de tendencias temáticas a gran escala en plataformas de redes sociales de video corto, específicamente Snapchat. A diferencia de las redes tradicionales basadas en texto, las plataformas de video corto presentan dificultades únicas:

Complejidad Multimodal: El contenido consiste en video, audio y texto, lo que requiere sistemas escalables para procesar datos heterogéneos.
Detección de Señales Sutiles: Las tendencias a menudo surgen a través de señales débiles distribuidas entre comunidades, lo que dificulta su detección temprana.
Ciclo de Vida Rápido: Las tendencias evolucionan rápidamente, requiriendo una adaptación casi en tiempo real mientras se mantiene la robustez frente al ruido, el spam y la ambigüedad.
Escala: El sistema debe manejar el volumen masivo de creación de contenido diario en una plataforma global.

El objetivo es identificar temas emergentes caracterizados por aumentos notables en la creación de contenido para mejorar la exposición de contenido, la personalización y la participación de los creadores.

2. Metodología

Los autores proponen un sistema escalable, de extremo a extremo, impulsado por Modelos de Lenguaje Grande (LLM) y Modelos de Visión-Lenguaje (VLM). La tubería opera en cuatro etapas distintas:

A. Descripción General del Sistema

El sistema se ejecuta en una cadencia regular para garantizar la actualidad. Procesa señales multimodales de "Snaps" (videos de usuarios) y contenido de editores.

B. Paso 1: Extracción de Temas Multimodales

Procesamiento de Entrada: Los videos son procesados por modelos multimodales ligeros para generar señales textuales:
- Visual: Un VLM (por ejemplo, BLIP2) analiza fotogramas muestreados para producir etiquetas visuales de una taxonomía fija.
- Audio: El Reconocimiento Automático de Voz (ASR) genera transcripciones.
- Texto: El Reconocimiento Óptico de Caracteres (OCR) extrae el texto en pantalla.
Unificación: Estas señales se combinan con las descripciones y hashtags proporcionados por el usuario en una única representación textual.
Resumen: Un LLM solo de texto resume esta representación en frases o entidades temáticas de forma libre (en lugar de seleccionar de una taxonomía fija), creando temas candidatos para el análisis posterior.

C. Paso 2: Detección de Picos en Series Temporales

Métrica: El sistema rastrea el número de Usuarios Únicos (UU) que publican sobre un tema específico a lo largo del tiempo. Se excluyen las señales del lado del espectador para evitar sesgos de los algoritmos de clasificación.
Algoritmo: Se aplica un algoritmo de detección de picos multiescala:
1. Pre-filtrado: Se eliminan los temas con menos de $M$ UU para reducir el ruido de la cola larga.
2. Máximos y Promedios Móviles: Una ventana deslizante calcula el máximo móvil de los conteos de usuarios, seguido de un promedio móvil de estos máximos para establecer una línea base robusta.
3. Cálculo de Aumento: Se calcula una "puntuación de aumento" como la relación entre la actividad actual y la línea base suavizada.
4. Puntuación de Tendencia: Los valores de aumento a través de múltiples ventanas temporales se agregan utilizando una media armónica ponderada. Esto enfatiza la actividad reciente mientras penaliza las señales débiles, asegurando que solo el crecimiento sostenido y multiescala reciba puntuaciones altas.

D. Paso 3: Post-procesamiento (Mejorado con LLM)

Esta etapa refina los candidatos para garantizar la calidad y el cumplimiento:

Filtrado Sensible: Los LLM detectan y eliminan temas que violan las políticas de seguridad.
Filtrado de Generalidad: Los LLM eliminan temas demasiado amplios (por ejemplo, "videos divertidos") que carecen de especificidad.
Control de Precisión: Umbrales adaptativos en las puntuaciones de tendencia y niveles de usuario filtran los resultados.
Consolidación de Temas: Un LLM agrupa temas semánticamente similares (por ejemplo, "Mundial 2026" y "Mundial") y selecciona la forma canónica más representativa para eliminar la redundancia.

E. Paso 4: Enriquecimiento de Tendencias

Para hacer que las tendencias sean accionables para los sistemas posteriores:

Análisis con MLLM: Un LLM Multimodal (por ejemplo, Gemini 2.0 Flash) analiza un conjunto representativo de videos asociados con la tendencia para generar descripciones concisas.
Síntesis: Un LLM solo de texto agrega estas descripciones para producir un resumen legible por humanos, extraer detalles clave, asignar una categoría canónica (por ejemplo, Deportes, Noticias) y generar metadatos estructurados (por ejemplo, principales países, hora de detección).

3. Contribuciones Clave

Primer Sistema de Extremo a Extremo a Escala de Producción: Este es el primer sistema publicado para la detección de tendencias temáticas en plataformas de video corto a escala de producción.
Arquitectura Híbrida: Una integración novedosa de extracción de temas multimodales, modelado de picos en series temporales y consolidación/enriquecimiento basado en LLM.
Uso Eficiente de LLM: Una estrategia que equilibra la precisión semántica con la eficiencia computacional mediante el uso de modelos ligeros para la extracción a gran escala y MLLMs más pesados solo para el enriquecimiento en un subconjunto de datos.
Evaluación Exhaustiva: Demuestra alta precisión mediante evaluación humana continua offline y mejoras medibles mediante pruebas A/B online.

4. Resultados

Evaluación Offline

Precisión: Durante un período de seis meses (julio–diciembre de 2025), anotadores independientes revisaron 1.278 tendencias. El sistema logró una precisión general del 92,8%.
Sensibilidad: Se seleccionó un umbral de puntuación de tendencia de 1,8 para la producción, optimizando la compensación entre precisión y cobertura.

Pruebas A/B Online

El sistema se desplegó globalmente e integró en la clasificación de contenido y la búsqueda. Las mejoras clave incluyeron:

Clasificación de Contenido:
- Vistas de Historias Destacadas (EE. UU.): +0,86%
- Tasa de Me Gusta del Contenido: +11,5% (indicando una fuerte afinidad del usuario por el contenido oportuno).
- Oportunidad del Contenido (<1 día): +1,89%
Búsqueda:
- Oportunidad de Impresiones (<3 días): +2,38%
- Apertura de Cuentas Populares (EE. UU.): +26%
- Tasa de Abandono de Tipo de Publicación: -1,28% (reducida).

5. Significado

Este trabajo demuestra la viabilidad práctica de combinar Modelos de Lenguaje Grande con la recuperación de información tradicional y el modelado temporal en un entorno real de alta escala.

Impacto en la Plataforma: Permite a Snapchat exponer dinámicamente contenido fresco y culturalmente relevante, mejorando directamente la experiencia del usuario y la participación de los creadores.
Contribución a la Investigación: Proporciona un modelo para manejar la heterogeneidad y el ruido de los datos de video corto, mostrando que los LLM pueden cerrar efectivamente la brecha entre las señales multimodales crudas y la inteligencia de tendencias estructurada y accionable.
Escalabilidad: La arquitectura demuestra que los LLM pueden desplegarse de manera rentable a escala global mediante la partición estratégica de tareas entre la extracción ligera y el enriquecimiento pesado.