SalFormer360: a transformer-based saliency estimation model for 360-degree videos

Resumo Técnico: SalFormer360

Definição do Problema
A estimativa de saliência é crítica para otimizar a transmissão e a experiência de visualização de vídeos de 360 graus (omnidirecionais), particularmente para tarefas como previsão de viewport e otimização de conteúdo. No entanto, os métodos existentes enfrentam desafios significativos devido à geometria esférica do conteúdo de 360 graus, que introduz distorções geométricas em projeções equirretangulares. Além disso, muitas abordagens de estado da arte dependem de técnicas computacionalmente caras, como convoluções esféricas, projeções de cubemap ou o processamento de sequências temporais longas (frequent se excedendo 10 quadros) e fluxo óptico. Esses métodos frequentemente incorrem em alta sobrecarga computacional e requisitos de memória, tornando-os menos adequados para implantação em tempo real em dispositivos com recursos limitados, como Head-Mounted Displays (HMDs). Adicionalmente, modelar com precisão o comportamento de visualização humana, especificamente a tendência de focar no centro do quadro inicialmente (Viés do Centro de Visualização), continua sendo uma tarefa complexa que muitos modelos não abordam totalmente.

Metodologia
Os autores propõem o SalFormer360, um modelo de estimativa de saliência baseado em transformer, leve e projetado especificamente para vídeos de 360 graus. A arquitetura é construída sobre os seguintes componentes:

1. Encoder (Backbone SegFormer): O modelo utiliza o encoder do SegFormer, uma arquitetura baseada em transformer originalmente desenvolvida para segmentação semântica 2D. Os autores realizaram o ajuste fino (fine-tuning) deste encoder para lidar com quadros equirretangulares de 360 graus. Para capturar a dinâmica temporal, o modelo aceita dois quadros de entrada: o quadro atual ($t$) e um quadro anterior ($t-5$). Estes são concatenados ao longo da dimensão do canal para formar uma entrada de 6 canais, com os pesos da camada convolucional inicial adaptados para acomodar isso.
2. Decoder Customizado: Um decoder sob medida processa os mapas de características do encoder. Ele consiste em uma sequência de camadas convolucionais, normalização por lote (batch normalization), ativações ReLU e upsampling bilinear para reconstruir a resolução espacial. Uma camada convolucional final com ativação sigmoid gera um mapa de saliência inicial ($S_{init}$). O dropout (30%) é aplicado durante o treinamento para evitar overfitting.
3. Integração do Viés do Centro de Visualização (CB): Para considerar a tendência humana de olhar para o centro do quadro de 360 graus ao iniciar a reprodução, o modelo incorpora um Viés do Centro de Visualização dinâmico. Isso é alcançado fundindo a previsão inicial ($S_{init}$) com um mapa de saliência média pré-computado do primeiro quadro (o CB). A fusão é governada por um fator de ponderação dependente do tempo ($w_t$) definido como:
   $$S = w_t \cdot CB + (1 - w_t) \cdot S_{init}$$
   O peso $w_t$ combina um parâmetro estático ($\beta_i$) e uma função de decaimento dinâmico ($\delta(t) = e^{-\alpha_i(t/C)^2}$). Isso permite que o modelo equilibre adaptativamente entre o viés de curto prazo (forte no início do vídeo) e o viés de longo prazo, com parâmetros $\alpha_i$ e $\beta_i$ aprendidos durante o treinamento para cada conjunto de dados específico.
4. Função de Perda: O modelo é treinado usando uma função de perda composta que combina quatro termos: Coeficiente de Correlação Linear de Pearson ($L_{CC}$), divergência de Kullback-Leibler ($L_{KL}$), Erro Quadrático Médio Esférico ($L_{SMSE}$) e Entropia Cruzada Binária ($L_{BCE}$). O $L_{SMSE}$ aplica especificamente pesos esféricos para penalizar erros próximos ao equador mais severamente do que aos polos, abordando as distorções de projeção.

Principais Contribuições

• Arquitetura Inovadora: Introdução do SalFormer360, um modelo baseado em transformer que aproveita o backbone SegFormer para estimativa de saliência de 360 graus, demonstrando que arquiteturas de segmentação podem ser efetivamente reaproveitadas para tarefas de saliência.
• Modelagem de Viés de Visualização: A integração de um mecanismo de Viés do Centro de Visualização treinável que se ajusta dinamicamente com base no índice do quadro e nas características do conjunto de dados, melhorando a precisão da previsão ao refletir o comportamento de exploração humana.
• Extensão de Dataset: Os autores estenderam os datasets PVS-HM e VR-EyeTracking gerando mapas de saliência de verdade fundamental (ground-truth) a partir de dados de orientação da cabeça e extraindo quadros RGB, tornando-os mais acessíveis para pesquisas futuras.
• Eficiência: O modelo foi projetado para ser leve, utilizando apenas dois quadros para contexto temporal e evitando convoluções esféricas complexas ou cálculos de fluxo óptico.

Resultados Experimentais
Experimentos extensivos foram conduzidos em três benchmarks de larga escala: Sport360, PVS-HM e VR-EyeTracking. O modelo foi comparado contra uma ampla gama de métodos de estado da arte, incluindo modelos de vídeo 2D, modelos de imagem de 360 graus e modelos de vídeo de 360 graus.

• Desempenho: O SalFormer360 superou os métodos existentes em todos os três conjuntos de dados. Em termos de Coeficiente de Correlação de Pearson (CC), ele obteve melhorias de 8,4% no Sport360, 2,5% no PVS-HM e 18,6% no VR-EyeTracking em relação aos melhores resultados reportados anteriormente.
• Eficiência: O modelo é altamente eficiente, contendo apenas 3,7 milhões de parâmetros e requerendo 14,13 MB de armazenamento. Ele atinge um custo computacional de 1,21 GFLOPs.
• Velocidade de Inferência: Em uma GPU NVIDIA L40s, o modelo atinge um tempo médio de inferência de 5,1 ms por quadro (aprox. 196 fps), confirmando sua adequação para aplicações em tempo real.
• Estudos de Ablação: Experimentos confirmaram que tanto o componente dinâmico ($\delta$) quanto o estático ($\beta$) do Viés do Centro de Visualização contribuem para o desempenho, com sua importância relativa variando por dataset. A combinação de todas as quatro funções de perda resultou no melhor desempenho geral.

Significância e Alegações
O artigo afirma que o SalFormer360 demonstra o poder representacional de arquiteturas transformer para a estimativa de saliência de vídeo de 360 graus, mantendo a baixa complexidade computacional. Ao adaptar com sucesso um encoder de segmentação 2D e integrar um viés de visualização baseado em dados, o modelo alcança precisão de estado da arte sem o pesado fardo computacional de convoluções esféricas ou processamento de sequências longas. Os autores enfatizam que a natureza leve do modelo o torna particularmente adequado para implantação no lado do cliente ou na borda (edge-side), como diretamente em headsets de VR, permitindo a estimativa de saliência em tempo real para previsão de viewport e otimização de conteúdo imersivo. O trabalho sugere que mapas de saliência precisos e eficientes podem aumentar significamente a eficiência de streaming de vídeos de 360 graus, permitindo a transmissão de alta qualidade das regiões salientes enquanto áreas periféricas são reduzidas.