SalFormer360: a transformer-based saliency estimation model for 360-degree videos

Résumé Technique : SalFormer360

Énoncé du Problème
L'estimation de la saillance est cruciale pour optimiser l'expérience de transmission et de visionnage des vidéos à 360 degrés (omnidirectionnelles), particulièrement pour des tâches telles que la prédiction du champ de vision (viewport) et l'optimisation du contenu. Cependant, les méthodes existantes sont confrontées à des défis importants dus à la géométrie sphérique du contenu à 360 degrés, qui introduit des distorsions géométriques dans les projections équirectangulaires. De plus, de nombreuses approches de pointe reposent sur des techniques coûteuses en calcul, telles que les convolutions sphériques, les projections en cubemap, ou le traitement de séquences temporelles longues (dépassant souvent 10 images) et du flux optique. Ces méthodes entraînent souvent une charge de calcul et des exigences de mémoire élevées, ce qui les rend moins adaptées à un déploiement en temps réel sur des dispositifs aux ressources limitées comme les casques de réalité virtuelle (HMD). De plus, modéliser avec précision le comportement de visionnage humain, spécifiquement la tendance à se concentrer initialement sur le centre de l'image (biais du centre de visionnage ou Viewing Center Bias), reste une tâche complexe que de nombreux modèles ne traitent pas pleinement.

Méthodologie
Les auteurs proposent SalFormer360, un modèle d'estimation de la saillance léger, basé sur les transformeurs, conçu spécifiquement pour les vidéos à 360 degrés. L'architecture est construite sur les composants suivants :

1. Encodeur (Backbone SegFormer) : Le modèle utilise l'encodeur de SegFormer, une architecture basée sur les transformeurs initialement développée pour la segmentation sémantique 2D. Les auteurs ont affiné cet encodeur pour gérer les images équirectangulaires à 360 degrés. Pour capturer la dynamique temporelle, le modèle accepte deux images d'entrée : l'image actuelle ($t$) et une image précédente ($t-5$). Celles-ci sont concaténées le long de la dimension des canaux pour former une entrée à 6 canaux, les poids de la première couche de convolution étant adaptés pour les accommoder.
2. Décodeur Personnalisé : Un décodeur sur mesure traite les cartes de caractéristiques de l'encodeur. Il se compose d'une séquence de couches de convolution, de normalisation par lots (batch normalization), d'activations ReLU et d'un suréchantillonnage bilinéaire pour reconstruire la résolution spatiale. Une couche de convolution finale avec une activation sigmoïde génère une carte de saillance initiale ($S_{init}$). Un dropout (30 %) est appliqué pendant l'entraînement pour éviter le surapprentissage.
3. Intégration du Biais du Centre de Visionnage (CB) : Pour tenir compte de la tendance humaine à regarder le centre de l'image à 360 degrés lors du démarrage de la lecture, le modèle intègre un biais dynamique du centre de visionnage. Cela est réalisé en fusionnant la prédiction initiale ($S_{init}$) avec une carte de saillance moyenne précalculée de la première image (le CB). La fusion est régie par un facteur de pondération dépendant du temps ($w_t$) défini comme :
   $$S = w_t \cdot CB + (1 - w_t) \cdot S_{init}$$
   Le poids $w_t$ combine un paramètre statique ($\beta_i$) et une fonction de décroissance dynamique ($\delta(t) = e^{-\alpha_i(t/C)^2}$). Cela permet au modèle de balancer de manière adaptative entre le biais à court terme (fort au début de la vidéo) et le biais à long terme, les paramètres $\alpha_i$ et $\beta_i$ étant appris pendant l'entraînement pour chaque jeu de données spécifique.
4. Fonction de Perte : Le modèle est entraîné à l'aide d'une fonction de perte composite combinant quatre termes : le coefficient de corrélation linéaire de Pearson ($L_{CC}$), la divergence de Kullback-Leibler ($L_{KL}$), l'erreur quadratique moyenne sphérique ($L_{SMSE}$) et l'entropie croisée binaire ($L_{BCE}$). La $L_{SMSE}$ applique spécifiquement des poids sphériques pour pénaliser plus lourdement les erreurs près de l'équateur que près des pôles, traitant ainsi les distorsions de projection.

Contributions Clés

• Architecture Novatrice : Introduction de SalFormer360, un modèle basé sur les transformeurs qui exploite le backbone SegFormer pour l'estimation de la saillance à 360 degrés, démontrant que les architectures de segmentation peuvent être efficacement détournées pour les tâches de saillance.
• Modélisation du Biais de Visionnage : L'intégration d'un mécanisme de biais du centre de visionnage apprenable qui s'ajuste dynamiquement en fonction de l'indice de l'image et des caractéristiques du jeu de données, améliorant la précision de la prédiction en reflétant le comportement d'exploration humaine.
• Extension de Jeu de Données : Les auteurs ont étendu les jeux de données PVS-HM et VR-EyeTracking en générant des cartes de saillance de vérité terrain à partir de données d'orientation de la tête et en extrayant des images RGB, les rendant plus accessibles pour la recherche future.
• Efficacité : Le modèle est conçu pour être léger, utilisant seulement deux images pour le contexte temporel et évitant les convolutions sphériques complexes ou les calculs de flux optique.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur trois jeux de données de grande échelle : Sport360, PVS-HM et VR-EyeTracking. Le modèle a été comparé à un large éventail de méthodes de pointe, incluant des modèles vidéo 2D, des modèles d'images à 360 degrés et des modèles de vidéos à 360 degrés.

• Performance : SalFormer360 a surpassé les méthodes existantes sur les trois jeux de données. En termes de coefficient de corrélation de Pearson (CC), il a obtenu des améliorations de 8,4 % sur Sport360, 2,5 % sur PVS-HM et 18,6 % sur VR-EyeTracking par rapport aux meilleurs résultats précédemment rapportés.
• Efficacité : Le modèle est hautement efficace, ne contenant que 3,7 millions de paramètres et nécessitant 14,13 Mo de stockage. Il atteint un coût de calcul de 1,21 GFLOPs.
• Vitesse d'Inférence : Sur un GPU NVIDIA L40s, le modèle atteint un temps d'inférence moyen de 5,1 ms par image (environ 196 fps), confirmant son aptitude pour les applications en temps réel.
• Études d'Ablation : Les expériences ont confirmé que les composantes dynamique ($\delta$) et statique ($\beta$) du biais du centre de visionnage contribuent toutes deux à la performance, leur importance relative variant selon le jeu de données. La combinaison des quatre fonctions de perte a produit la meilleure performance globale.

Signification et Revendications
L'article affirme que SalFormer360 démontre le pouvoir de représentation des architectures de transformeurs pour l'estimation de la saillance vidéo à 360 degrés tout en maintenant une faible complexité de calcul. En adaptant avec succès un encodeur de segmentation 2D et en intégrant un biais de visionnage piloté par les données, le modèle atteint une précision de pointe sans la lourde charge de calcul des convolutions sphériques ou du traitement de séquences longues. Les auteurs soulignent que la nature légère du modèle le rend particulièrement adapté à un déploiement côté bord (edge-side) ou côté client, tel que directement sur les casques VR, permettant une estimation de la saillance en temps réel pour la prédiction du champ de vision et l'optimisation du contenu immersif. Ce travail suggère qu'une estimation précise et efficace de la saillance peut considérablement améliorer l'efficacité de la diffusion des vidéos à 360 degrés en permettant la transmission de haute qualité des zones saillantes tout en réduisant la qualité des zones périphériques.