SalFormer360: a transformer-based saliency estimation model for 360-degree videos

Resumen Técnico: SalFormer360

Planteamiento del Problema
La estimación de la prominencia (saliency) es crítica para optimizar la transmisión y la experiencia de visualización de videos de 360 grados (omnidireccionales), particularmente para tareas como la predicción del campo de visión (viewport) y la optimización de contenido. Sin embargo, los métodos existentes enfrentan desafíos significativos debido a la geometría esférica del contenido de 360 grados, lo que introduce distorsiones geométricas en las proyecciones equirrectangulares. Además, muchos de los enfoques de vanguardia dependen de técnicas computacionalmente costosas, como convoluciones esféricas, proyecciones de cubemap o el procesamiento de secuencias temporales largas (a menudo superiores a 10 fotogramas) y flujo óptico. Estos métodos suelen incurrir en una alta carga computacional y requisitos de memoria, lo que los hace menos adecuados para el despliegue en tiempo real en dispositivos con recursos limitados, como los visores de realidad virtual (HMDs). Adicionalmente, modelar con precisión el comportamiento de visualización humana, específicamente la tendencia a enfocarse en el centro del cuadro inicialmente (Sesgo del Centro de Visualización o Viewing Center Bias), sigue siendo una tarea compleja que muchos modelos no abordan por completo.

Metodología
Los autores proponen SalFormer360, un modelo de estimación de prominencia ligero basado en transformadores, diseñado específicamente para videos de 360 grados. La arquitectura se construye sobre los siguientes componentes:

1. Codificador (Backbone SegFormer): El modelo utiliza el codificador de SegFormer, una arquitectura basada en transformadores desarrollada originalmente para la segmentación semántica 2D. Los autores ajustaron (fine-tuned) este codificador para manejar fotogramas equirrectangulares de 360 grados. Para capturar la dinámica temporal, el modelo acepta dos fotogramas de entrada: el fotograma actual ($t$) y un fotograma anterior ($t-5$). Estos se concatenan a lo largo de la dimensión de canales para formar una entrada de 6 canales, adaptando los pesos de la capa convolucional inicial para acomodar esto.
2. Decodificador Personalizado: Un decodificador a medida procesa los mapas de características del codificador. Consiste en una secuencia de capas convolucionales, normalización por lotes (batch normalization), activaciones ReLU y sobremuestreo bilineal para reconstruir la resolución espacial. Una capa convolucional final con una activación sigmoide genera un mapa de prominencia inicial ($S_{init}$). Se aplica dropout (30%) durante el entrenamiento para evitar el sobreajuste.
3. Integración del Sesgo del Centro de Visualización (CB): Para tener en cuenta la tendencia humana de mirar al centro del cuadro de 360 grados al iniciar la reproducción, el modelo incorpora un Sesgo del Centro de Visualización dinámico. Esto se logra fusionando la predicción inicial ($S_{init}$) con un mapa de prominencia promedio precalculado del primer fotograma (el CB). La fusión se rige por un factor de ponderación dependiente del tiempo ($w_t$) definido como:
   $$S = w_t \cdot CB + (1 - w_t) \cdot S_{init}$$
   El peso $w_t$ combina un parámetro estático ($\beta_i$) y una función de decaimiento dinámica ($\delta(t) = e^{-\alpha_i(t/C)^2}$). Esto permite que el modelo equilibre adaptativamente entre el sesgo a corto plazo (fuerte al inicio del video) y el sesgo a largo plazo, con parámetros $\alpha_i$ y $\beta_i$ aprendidos durante el entrenamiento para cada conjunto de datos específico.
4. Función de Pérdida: El modelo se entrena utilizando una función de pérdida compuesta que combina cuatro términos: Coeficiente de Correlación Lineal de Pearson ($L_{CC}$), divergencia de Kullback-Leibler ($L_{KL}$), Error Cuadrático Medio Esférico ($L_{SMSE}$) y Entropía Cruzada Binaria ($L_{BCE}$). El $L_{SMSE}$ aplica específicamente pesos esféricos para penalizar más fuertemente los errores cerca del ecuador que cerca de los polos, abordando las distorsiones de proyección.

Contribuciones Clave

• Arquitectura Novel: Introducción de SalFormer360, un modelo basado en transformadores que aprovecha el backbone de SegFormer para la estimación de prominencia de 360 grados, demostrando que las arquitecturas de segmentación pueden ser reasignadas eficazmente para tareas de prominencia.
• Modelado de Sesgo de Visualización: La integración de un mecanismo de Sesgo del Centro de Visualización aprendible que se ajusta dinámicamente según el índice del fotograma y las características del conjunto de datos, mejorando la precisión de la predicción al reflejar el comportamiento de exploración humana.
• Extensión de Datasets: Los autores extendieron los conjuntos de datos PVS-HM y VR-EyeTracking generando mapas de prominencia de verdad fundamental (ground-truth) a partir de datos de orientación de la cabeza y extrayendo fotogramas RGB, haciéndolos más accesibles para futuras investigaciones.
• Eficiencia: El modelo está diseñado para ser ligero, utilizando solo dos fotogramas para el contexto temporal y evitando convoluciones esféricas complejas o cálculos de flujo óptico.

Resultados Experimentales
Se realizaron experimentos exhaustivos en tres conjuntos de datos de gran escala: Sport360, PVS-HM y VR-EyeTracking. El modelo se comparó contra una amplia gama de métodos de vanguardia, incluyendo modelos de video 2D, modelos de imagen de 360 grados y modelos de video de 360 grados.

• Desempeño: SalFormer360 superó a los métodos existentes en los tres conjuntos de datos. En términos del Coeficiente de Correlación de Pearson (CC), logró mejoras del 8.4% en Sport360, 2.5% en PVS-HM y 18.6% en VR-EyeTracking en comparación con los mejores resultados reportados anteriormente.
• Eficiencia: El modelo es altamente eficiente, conteniendo solo 3.7 millones de parámetros y requiriendo 14.13 MB de almacenamiento. Logra un costo computacional de 1.21 GFLOPs.
• Velocidad de Inferencia: En una GPU NVIDIA L40s, el modelo alcanza un tiempo de inferencia promedio de 5.1 ms por fotograma (aprox. 196 fps), confirmando su idoneidad para aplicaciones en tiempo real.
• Estudios de Ablación: Los experimentos confirmaron que tanto el componente dinámico ($\delta$) como el estático ($\beta$) del Sesgo del Centro de Visualización contribuyen al desempeño, variando su importancia relativa según el conjunto de datos. La combinación de las cuatro funciones de pérdida de la totalidad arrojó el mejor desempeño general.

Significancia y Reivindicaciones
El artículo afirma que SalFormer360 demuestra el poder de representación de las arquitecturas de transformadores para la estimación de la prominencia de video de 360 grados manteniendo una baja complejidad computacional. Al adaptar exitosamente un codificador de segmentación 2D e integrar un sesgo de visualización basado en datos, el modelo logra una precisión de vanguardia sin la pesada carga computacional de las convoluciones esféricas o el procesamiento de secuencias largas. Los autores enfatizan que la naturaleza ligera del modelo lo hace particularmente adecuado para el despliegue en el lado del cliente o del borde (edge-side), como directamente en visores de VR, permitiendo la estimación de la prominencia en tiempo real para la predicción del campo de visión y la optimización de contenido inmersivo. El trabajo sugiere que los mapas de prominencia precisos y eficientes pueden mejorar significamente la eficiencia de transmisión de los videos de 360 grados al permitir la transmisión de alta calidad de las regiones prominentes mientras se reduce la calidad de las áreas periféricas.