LLM-Enhanced Topical Trend Detection at Snapchat

✨

Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Each language version is independently generated for its own context, not a direct translation.

Imagine o Snapchat como uma cidade digital massiva e movimentada, onde milhões de pessoas postam constantemente vídeos curtos. Nessa cidade, as "tendências" são como festivais de rua súbitos e massivos ou manias de dança virais que surgem do nada. O desafio para o Snapchat é que essa cidade é grande demais e se move rápido demais para que qualquer equipe humana observe cada esquina e identifique esses festivais à medida que começam.

Este artigo descreve um novo sistema automatizado de "Vigília da Cidade", construído por engenheiros do Snapchat para detectar essas tendências no momento em que começam, usando um tipo especial de inteligência artificial chamado Modelo de Linguagem Grande (LLM).

Veja como o sistema funciona, dividido em quatro etapas simples:

1. Os "Olhos e Ouvidos" (Extração de Tópicos)

Primeiro, o sistema precisa entender o que está acontecendo nos vídeos. Como os vídeos são uma mistura de imagens, sons e texto, o sistema usa uma equipe de "detetives" de IA.

O Detetive Visual: Examina os quadros do vídeo para identificar quais objetos ou cenas estão presentes (como um cachorro, uma praia ou um concerto).
O Detetive de Áudio: Ouve o que as pessoas estão dizendo (fala para texto).
O Detetive de Texto: Lê qualquer palavra escrita na tela ou na legenda.
O Resumidor: Uma vez que essas pistas são reunidas, uma IA poderosa (o LLM) atua como um jornalista habilidoso. Ela pega todas essas informações confusas e escreve um título curto e claro para o vídeo, como "Pessoas dançando uma nova música", em vez de apenas uma lista de palavras aleatórias.

2. O "Detector de Pico" (Detecção de Explosão)

Só porque um vídeo é sobre "cachorros" não significa que é uma tendência; as pessoas postam sobre cachorros todos os dias. O sistema precisa saber quando algo fica suddenmente popular.

Imagine uma rua tranquila onde normalmente 5 pessoas passam por hora. De repente, 500 pessoas aparecem na próxima hora. Isso é uma "explosão".
O sistema rastreia quantas pessoas únicas estão postando sobre um tópico específico. Ele ignora quantas pessoas estão assistindo (para evitar viés) e foca em quantas estão criando.
Ele usa uma fórmula matemática para comparar os números de hoje com o passado recente. Se o número de criadores aumentar significativamente, o sistema sinaliza isso como uma tendência potencial.

3. O "Controle de Qualidade" (Pós-processamento)

Nem todo pico é uma boa tendência. Às vezes, um pico é apenas um erro, spam ou algo muito vago como "vídeos engraçados".

O Filtro: O sistema usa regras de IA para descartar tópicos ruins. Ele remove qualquer coisa muito ampla (por exemplo, "vida") ou qualquer coisa que viole regras de segurança (conteúdo sensível ou inseguro).
O Fundidor: Às vezes, o sistema detecta "Copa do Mundo 2026", "Copa do Mundo" e "Eliminatórias da Copa do Mundo" como três coisas separadas. A IA percebe que na verdade são o mesmo evento e os funde em uma única tendência limpa chamada "Copa do Mundo 2026". Isso mantém a lista organizada e fácil de entender.

4. O "Contador de Histórias" (Enriquecimento de Tendências)

Uma vez que uma tendência é confirmada, o sistema não apenas lhe dá um nome; ele cria um perfil para ela.

Ele seleciona alguns vídeos representativos da tendência e pede a uma IA superinteligente que escreva um resumo, atribua uma categoria (como "Esportes" ou "Notícias") e liste quais países estão falando mais sobre isso.
Pense nisso como transformar um ponto de dados bruto em um cartão de notícias polido que o restante do aplicativo pode usar.

Por Que Isso Importa? (Os Resultados)

O artigo relata que este sistema foi testado e agora está em operação global no Snapchat.

Precisão: Quando humanos verificaram o trabalho do sistema ao longo de seis meses, ele estava correto em 92,8% das vezes.
Impacto no Mundo Real: O sistema é agora usado para ajudar a decidir quais vídeos aparecem na sua tela (classificação) e quais sugestões aparecem quando você digita na barra de pesquisa.
O Resultado: Como o sistema detecta tendências mais rapidamente, os usuários veem conteúdo mais fresco e relevante. Os testes mostraram que os usuários gostaram mais do conteúdo (taxas de "curtir" mais altas) e passaram mais tempo assistindo a histórias que faziam parte dessas novas tendências.

Em resumo, este artigo descreve uma maneira inteligente e automatizada para o Snapchat ouvir o "zumbido" de toda sua base de usuários, filtrar o ruído e dizer instantaneamente ao aplicativo: "Ei, todo mundo está falando sobre isso agora — vamos mostrar para as pessoas!"

Each language version is independently generated for its own context, not a direct translation.

1. Declaração do Problema

O artigo aborda o desafio da detecção automática de tendências temáticas em escala em plataformas de mídia social de vídeos curtos, especificamente o Snapchat. Diferentemente das redes baseadas em texto tradicionais, as plataformas de vídeos curtos apresentam dificuldades únicas:

Complexidade Multimodal: O conteúdo consiste em vídeo, áudio e texto, exigindo sistemas escaláveis para processar dados heterogêneos.
Detecção de Sinais Sutis: As tendências frequentemente emergem através de sinais fracos distribuídos entre comunidades, tornando a detecção precoce difícil.
Ciclo de Vida Rápido: As tendências evoluem rapidamente, exigindo adaptação quase em tempo real, mantendo a robustez contra ruído, spam e ambiguidade.
Escala: O sistema deve lidar com o volume massivo de criação de conteúdo diário em uma plataforma global.

O objetivo é identificar temas emergentes caracterizados por aumentos notáveis na criação de conteúdo para melhorar a exposição de conteúdo, a personalização e a participação dos criadores.

2. Metodologia

Os autores propõem um sistema escalável, end-to-end, alimentado por Modelos de Linguagem Grande (LLMs) e Modelos Visão-Linguagem (VLMs). O pipeline opera em quatro estágios distintos:

A. Visão Geral do Sistema

O sistema executa em uma cadência regular para garantir atualidade. Ele processa sinais multimodais de "Snaps" (vídeos de usuários) e conteúdo de publicadores.

B. Etapa 1: Extração de Tópicos Multimodais

Processamento de Entrada: Os vídeos são processados por modelos multimodais leves para gerar sinais textuais:
- Visual: Um VLM (por exemplo, BLIP2) analisa quadros amostrados para produzir tags visuais de uma taxonomia fixa.
- Áudio: Reconhecimento Automático de Fala (ASR) gera transcrições.
- Texto: Reconhecimento Óptico de Caracteres (OCR) extrai texto na tela.
Unificação: Esses sinais são combinados com legendas e hashtags fornecidas pelo usuário em uma única representação textual.
Resumo: Um LLM apenas de texto resume essa representação em frases ou entidades temáticas de forma livre (em vez de selecionar de uma taxonomia fixa), criando tópicos candidatos para análise a jusante.

C. Etapa 2: Detecção de Picos em Séries Temporais

Métrica: O sistema rastreia o número de Usuários Únicos (UUs) postando sobre um tópico específico ao longo do tempo. Sinais do lado do espectador são excluídos para evitar viés de algoritmos de classificação.
Algoritmo: Um algoritmo de detecção de picos multiescala é aplicado:
1. Pré-filtragem: Tópicos com menos de $M$ UUs são removidos para reduzir o ruído de cauda longa.
2. Máximos Móveis e Médias: Uma janela deslizante calcula o máximo móvel das contagens de usuários, seguido por uma média móvel desses máximos para estabelecer uma linha de base robusta.
3. Cálculo de Elevação (Lift): Um "escore de elevação" é computado como a razão entre a atividade atual e a linha de base suavizada.
4. Classificação de Tendência: Valores de elevação através de múltiplas janelas temporais são agregados usando uma média harmônica ponderada. Isso enfatiza a atividade recente enquanto penaliza sinais fracos, garantindo que apenas crescimento sustentado e multiescala receba escores altos.

D. Etapa 3: Pós-processamento (Aprimorado por LLM)

Esta etapa refina os candidatos para garantir qualidade e conformidade:

Filtragem Sensível: LLMs detectam e removem tópicos que violam políticas de segurança.
Filtragem de Generalidade: LLMs removem tópicos excessivamente amplos (por exemplo, "vídeos engraçados") que carecem de especificidade.
Controle de Precisão: Limites adaptativos em escores de tendência e níveis de usuário filtram os resultados.
Consolidação de Tópicos: Um LLM agrupa tópicos semanticamente semelhantes (por exemplo, "Copa do Mundo 2026" e "Copa do Mundo") e seleciona a forma canônica mais representativa para eliminar redundância.

E. Etapa 4: Enriquecimento de Tendências

Para tornar as tendências acionáveis para sistemas a jusante:

Análise MLLM: Um LLM Multimodal (por exemplo, Gemini 2.0 Flash) analisa um conjunto representativo de vídeos associados à tendência para gerar descrições concisas.
Síntese: Um LLM apenas de texto agrega essas descrições para produzir um resumo legível por humanos, extrair detalhes-chave, atribuir uma categoria canônica (por exemplo, Esportes, Notícias) e gerar metadados estruturados (por exemplo, principais países, hora da detecção).

3. Contribuições Principais

Primeiro Sistema End-to-End em Escala de Produção: Este é o primeiro sistema publicado para detecção de tendências temáticas em plataformas de vídeos curtos em escala de produção.
Arquitetura Híbrida: Uma integração inovadora de extração de tópicos multimodais, modelagem de picos em séries temporais e consol Enriquecimento baseado em LLM.
Utilização Eficiente de LLMs: Uma estratégia que equilibra precisão semântica com eficiência computacional, utilizando modelos leves para extração em escala total e MLLMs mais pesados apenas para enriquecimento em um subconjunto de dados.
Avaliação Abrangente: Demonstra alta precisão através de avaliação humana offline contínua e melhorias mensuráveis via testes A/B online.

4. Resultados

Avaliação Offline

Precisão: Ao longo de um período de seis meses (julho–dezembro de 2025), anotadores independentes revisaram 1.278 tendências. O sistema alcançou uma precisão geral de 92,8%.
Sensibilidade: Um limite de escore de tendência de 1,8 foi selecionado para produção, otimizando o trade-off entre precisão e cobertura.

Testes A/B Online

O sistema foi implantado globalmente e integrado à classificação de conteúdo e busca. As principais melhorias incluíram:

Classificação de Conteúdo:
- Visualizações de Histórias em Destaque (EUA): +0,86%
- Taxa de Curtidas de Conteúdo: +11,5% (indicando forte afinidade do usuário com conteúdo oportuno).
- Atualidade do Conteúdo (<1 dia): +1,89%
Busca:
- Atualidade de Impressões (<3 dias): +2,38%
- Abertura de Contas Populares (EUA): +26%
- Taxa de Abandono de PostType: -1,28% (reduzida).

5. Significado

Este trabalho demonstra a viabilidade prática de combinar Modelos de Linguagem Grande com recuperação de informação tradicional e modelagem temporal em um ambiente real de alta escala.

Impacto na Plataforma: Permite que o Snapchat exponha dinamicamente conteúdo fresco e culturalmente relevante, melhorando diretamente a experiência do usuário e o engajamento dos criadores.
Contribuição para Pesquisa: Fornece um modelo para lidar com a heterogeneidade e o ruído de dados de vídeos curtos, mostrando que LLMs podem efetivamente preencher a lacuna entre sinais multimodais brutos e inteligência de tendências estruturada e acionável.
Escalabilidade: A arquitetura prova que LLMs podem ser implantados de forma custo-efetiva em escala global, dividindo estrategicamente as tarefas entre extração leve e enriquecimento pesado.