Resumo Técnico: ViASNet para Previsão de Saliência em Anúncios de Vídeo

Declaração do Problema

O cenário da mídia digital deslocou-se para a publicidade em vídeo de curta duração em plataformas de TV, redes sociais e comércio eletrônico. Embora esses anúncios possam alcançar alto engajamento, sua onipresença cria um significativo "desordem visual" (clutter), dificultando que anunciantes projetem conteúdos que capturem a atenção do espectador. Os métodos tradicionais para avaliar a eficácia de anúncios dependem de medições neurofisiológicas, particularmente o rastreamento ocular (eye tracking), para analisar a variabilidade das fixações. No entanto, coletar e processar dados de rastreamento ocular é custoso e demorado, impedindo testes rápidos e em larga escala dos altos volumes de anúncios de vídeo sendo produzidos, especialmente com o surgimento da inteligência artificial generativa.

Os modelos computacionais existentes para previsão de saliência enfrentam vários desafios ao serem aplicados a anúncios de vídeo:

1. Dinâmicas Temporais: Modelar as dinâmicas temporais simultâneas de quadros de vídeo e movimentos oculares é computacionalmente difícil.
2. Cortes de Cena: Anúncios de vídeo apresentam mudanças de cena rápidas e intencionais que interrompem os padrões de movimento ocular, exigindo que os modelos levem em conta transições abruptas.
3. Influência Semântica e de Áudio: A saliência é impulsionada não apenas por características visuais de baixo nível (contraste, movimento), mas também por semânticas de cena de alto nível e fluxos de áudio, que podem realçar características visuais específicas.
4. Limitações dos Modelos Atuais: Modelos de saliência dinâmica mais avançados frequentemente preveem a saliência apenas para o quadro final de um clipe ou falham em incorporar narrativas de cena e áudio de forma eficaz.

Metodologia: ViASNet

Os autores propõem o ViASNet (Rede de Saliência para Anúncios de Vídeo), uma arquitetura de aprendizado profundo projetada especificamente para previsão dinâmica de saliência de ponta a ponta em anúncios de vídeo de curta duração. O modelo é construído sobre uma estrutura 3D U-Net e integra entradas multimodais para prever mapas de saliência quadro a quadro.

Componentes da Arquitetura

1. Pré-processamento de Entrada:

   • Anúncios de vídeo são segmentados em cenas usando PySceneDetect.
   • Quadros visuais são redimensionados para $224 \times 384$.
   • Sinais de áudio brutos são normalizados para $[-1, 1]$ e alinhados com quadros visuais, evitando a conversão para o domínio da frequência para reduzir a subjetividade no pré-processamento.
   • Mapas de saliência de verdade fundamental (ground-truth) são gerados a partir de dados de rastreamento ocular usando desfoque gaussiano e normalização min-max.

2. Codificadores:

   • Codificador de Visão: Utiliza uma espinha dorsal pré-treinada S3D (convoluções 3D fatorizadas) projetada para reconhecimento de movimento. Processa lotes de cenas para extrair características espaciais e temporais.
   • Codificador de Áudio: Uma CNN personalizada de 7 camadas com arquitetura de pirâmide de características (combinando caminhos de baixo para cima e de cima para baixo com conexões laterais) para processar sinais de áudio brutos.
   • Codificador de Semântica de Cena: Usa o Modelo Multimodal Grande Qwen3-VL-Plus para gerar legendas de cena. Para capturar a continuidade narrativa, a legenda da cena anterior é injetada no prompt para a cena atual. Essas legendas são então codificadas usando um modelo BERT (BERT-base-uncased) ajustado finamente.

3. Fusão Multimodal:

   • Características de visão, áudio e semântica são concatenadas e processadas por uma Rede de Atenção Unificada Multimodal (MUAN).
   • Este bloco emprega autoatenção para dependências intra-modais e co-atenção para dependências inter-modais (por exemplo, áudio-vídeo, vídeo-semântica), permitindo que o modelo capture interações complexas entre modalidades.

4. Decodificador e Leitura:

   • O decodificador segue uma estrutura U-Net com convoluções transpostas para amostragem superior, utilizando conexões de salto para preservar detalhes espaciais do codificador.
   • Uma Rede de Leitura (semelhante a um bloco de gargalo ResNet) processa as características combinadas, reduzindo a profundidade do canal e capturando padrões espaciais antes de restaurar a profundidade original.

5. Refinamento de Saída:

   • A saída final incorpora um componente de Viés Central (modelado via um kernel gaussiano 2D treinável) para contabilizar a tendência dos espectadores de fixar no centro da tela.
   • Um Desfoque Gaussiano treinável é aplicado à saída para suavizar o mapa de saliência, seguido por uma ativação softmax para produzir uma distribuição de probabilidade.

O modelo é treinado de ponta a ponta usando a divergência de Kullback-Leibler (KL) entre os mapas de saliência previstos e de verdade fundamental.

Contribuições Principais

1. Arquitetura Novel: O desenvolvimento do ViASNet, uma rede de saliência profunda especializada que integra informações visuais, de áudio e semânticas de cena por meio de um mecanismo de atenção unificado.
2. Integração Multimodal: Modelagem explícita da influência de fluxos de áudio e semânticas de cena (via legendas geradas por LLM) na saliência visual, abordando uma lacuna em modelos anteriores de saliência dinâmica.
3. Ferramenta de Diagnóstico: A introdução da entropia quadro a quadro calculada a partir de mapas de saliência previstos como uma métrica para diagnosticar o engajamento do espectador. Alta entropia indica baixo engajamento (atenção dispersa), enquanto baixa entropia indica alto engajamento (atenção focada).
4. Avaliação Abrangente: Testes extensivos em um conjunto de dados de 151 anúncios de vídeo (136 para treinamento, 15 para teste) com dados de rastreamento ocular de aproximadamente 20 espectadores por anúncio.

Resultados

O modelo foi avaliado contra quatro baselines: Itti-Koch (computacional), BMS (computacional), DeepGaze IIE (aprendizado profundo, treinado em estáticos) e ViNet-S (aprendizado profundo, treinado em dinâmicos).

• Métricas de Desempenho: O ViASNet alcançou desempenho de última geração em todas as seis métricas de avaliação (KL, CC, NSS, SIM, AUC, s-AUC) no conjunto de teste.
  • Superou o DeepGaze IIE em mais de 20% em AUC e significativamente mais em outras métricas, destacando o benefício da modelagem dinâmica sobre a previsão estática quadro a quadro.
  • Superou o ViNet-S na maioria das métricas, demonstrando a eficácia de sua arquitetura específica para anúncios de vídeo.
• Estudos de Ablação: A remoção de componentes confirmou a importância do mecanismo de Atenção Unificada (aumento de 4,0% em KL quando removido) e da Rede de Leitura (aumento de 3,8%). Embora a atenção de áudio e legenda tenha tido impactos individuais menores, elas contribuíram mensuravelmente para o desempenho.
• Análise de Entropia: O estudo demonstrou que a entropia prevista correlaciona-se com a variabilidade de fixação de verdade fundamental (correlação de 0,51). A métrica de entropia identificou com sucesso cenas específicas e anúncios inteiros que falharam em engajar espectadores (por exemplo, cenas com alta entropia devido a objetos/textos dispersos) e aqueles que mantiveram a atenção (baixa entropia, focados em rostos/produtos).

Significado e Alegações

Os autores posicionam o ViASNet como uma solução prática para os desafios de escalar testes de anúncios de vídeo em uma era de produção de alto volume e baixo custo. O artigo afirma que:

• Automação: O ViASNet permite a previsão automatizada de mapas de saliência dinâmica para anúncios de vídeo não vistos, reduzindo a dependência de estudos de rastreamento ocular caros e lentos.
• Capacidade de Diagnóstico: Ao calcular a entropia quadro a quadro, o sistema pode identificar cenas ou anúncios específicos que falham em capturar a atenção, permitindo que anunciantes modifiquem ou removam conteúdos de baixo desempenho antes do lançamento.
• Humano no Loop: Os autores modestamente sugerem que o ViASNet não deve substituir testes de anúncios humanos, mas sim servir como uma ferramenta em configurações de Humano no Loop (HITL). Essa abordagem combina a velocidade dos testes automatizados com a supervisão estratégica humana para orientar o design de anúncios, garantindo que autenticidade e considerações éticas sejam mantidas.

O estudo conclui que modelos de saliência profunda como o ViASNet podem acelerar significativamente os ciclos de design e teste de anúncios, fornecendo diagnósticos críticos para otimizar o engajamento do espectador no competitivo cenário de vídeos de curta duração.