NTIRE 2026 Challenge on Video Saliency Prediction: Methods and Results

1. Problema e Contexto

O desafio foca na previsão de saliência em vídeo, uma tarefa que visa modelar o comportamento do Sistema Visual Humano (SVH) para prever automaticamente onde os observadores olharão em um vídeo. Diferente de imagens estáticas, a saliência em vídeo envolve dinâmicas temporais complexas, movimento e, frequentemente, integração de áudio.

A principal dificuldade histórica reside na escassez de grandes conjuntos de dados de alta qualidade com dados de rastreamento ocular (eye-tracking), que são caros e difíceis de coletar em escala. O objetivo deste desafio foi desenvolver métodos automáticos robustos para prever mapas de saliência em sequências de vídeo diversas, utilizando um novo conjunto de dados criado especificamente para a competição.

2. Metodologia e Contribuições Principais

A. Novo Conjunto de Dados (Dataset)

A maior contribuição do desafio foi a criação e disponibilização de um novo dataset de 2.000 vídeos diversos (licença aberta CC-BY), contendo mais de 1 milhão de quadros.

• Coleta de Dados: Em vez de usar dispositivos de rastreamento ocular caros, os organizadores utilizaram uma metodologia aprimorada de rastreio de mouse crowdsourced.
• Escala: Mais de 5.000 avaliadores participaram, gerando mais de 70 amostras por vídeo.
• Qualidade: O processo incluiu filtragem rigorosa de participantes, pré-processamento e pós-processamento dos dados de fixação, resultando em mapas de saliência de alta qualidade comparáveis aos obtidos com eye-trackers tradicionais.
• Divisão: O dataset foi dividido em 1.200 vídeos para treinamento e 800 para teste (sendo 500 privados para avaliação final).

B. Métricas de Avaliação

A avaliação foi realizada usando quatro métricas padrão da área:

1. CC (Pearson's Correlation Coefficient): Correlação linear.
2. SIM (Similarity): Sobreposição de distribuição.
3. AUC-Judd (Area Under the Curve): Precisão na classificação de fixações.
4. NSS (Normalized Scanpath Saliency): Saliência normalizada nos locais de fixação.

C. Abordagens dos Times Vencedores (Metodologias Propostas)

O desafio atraiu mais de 20 equipes, com 7 finalistas. As metodologias vencedoras destacaram-se pelo uso de backbones pré-treinados em larga escala e modelagem espaciotemporal multi-escala:

• 1º Lugar (iLearn): Utilizou uma abordagem de ensemble multi-experto baseada no backbone InternVideo2. O sistema emprega dois decodificadores complementares: um focado em atenção temporal e priores espaciais (viés central), e outro com fusão multi-escala e supervisão auxiliar profunda. A fusão ocorre no espaço de logits.
• 2º Lugar (CVSP): Baseado no modelo V-JEPA2 (Video Joint Embedding Predictive Architecture). A premissa é que a saliência está correlacionada com "erros de previsão" de um modelo generativo. O método usa representações auto-supervisionadas para prever regiões mascaradas, inferindo saliência a partir da dificuldade de previsão.
• 3º Lugar (ARK MMLAB): Construiu um modelo hierárquico sobre o InternVideo2, extraindo características espaciotemporais de múltiplos níveis e alinhando-as com um módulo de upsampling de características, utilizando atenção temporal para ponderar quadros importantes.
• Outras Abordagens Notáveis:
  • Vertex: Estendeu o modelo TMFI adicionando uma via de agregação bottom-up à fusão top-down, criando uma arquitetura bidirecional com 8 escalas de características.
  • AAM: Propôs um modelo unificado que integra áudio, texto e visão em um espaço hiperbólico, utilizando dinâmica de Fokker-Planck para modelar a evolução temporal da atenção.
  • SHU-MIIPLab: Utilizou uma rede de difusão (Diffusion Model) acionada por estados espaciais (State Space Models), combinando frames RGB e fluxo óptico.
  • NTR: Empregou uma rede de duplo fluxo (dual-stream), combinando um backbone de vídeo (para movimento) e um backbone de imagem (para detalhes espaciais finos), com um prior de centro aprendido.

3. Resultados

Os resultados foram publicados na Tabela 1 do artigo. O time iLearn obteve o melhor desempenho geral, seguido pelo CVSP e ARK MMLAB.

• Desempenho: As soluções de ponta alcançaram pontuações significativamente superiores à linha de base (Center Prior), com valores de CC (Correlação) acima de 0.82 e AUC-Judd acima de 0.89 no conjunto de teste privado.
• Tendência: Os resultados demonstraram que os modelos mais eficazes dependem fortemente de backbones de vídeo pré-treinados em larga escala (como InternVideo2 e V-JEPA2) e de mecanismos sofisticados para capturar dependências temporais e espaciais.

4. Significado e Impacto

• Avanço no Dataset: A disponibilização de um dataset massivo e de alta qualidade, coletado via crowdsourcing mas validado rigorosamente, remove uma barreira crítica para a pesquisa em saliência de vídeo, permitindo o treinamento de modelos mais profundos.
• Validação de Novas Arquiteturas: O desafio validou a eficácia de modelos fundacionais de vídeo (Foundation Models) e abordagens baseadas em previsão (Predictive Coding) para tarefas de saliência, superando métodos tradicionais baseados apenas em características de baixo nível.
• Aplicações Práticas: Melhores modelos de saliência têm impacto direto em:
  • Compressão de vídeo perceptual (codificação eficiente).
  • Avaliação objetiva de qualidade de vídeo.
  • Redirecionamento de conteúdo (retargeting) adaptativo.
  • Realidade Virtual (360°) e processamento de malhas 3D.

Em resumo, o NTIRE 2026 estabeleceu um novo estado da arte na previsão de saliência em vídeo, provando que a combinação de dados crowdsourced em larga escala com modelos de aprendizado profundo pré-treinados é a chave para simular com precisão a atenção humana em conteúdo dinâmico.