Résumé Technique : ViASNet pour la Prédiction de la Saillance des Publicités Vidéo

Énoncé du Problème

Le paysage des médias numériques a évolué vers la publicité vidéo courte sur les plateformes de télévision, de réseaux sociaux et de commerce électronique. Bien que ces publicités puissent générer un fort engagement, leur omniprésence crée un « encombrement » significatif, rendant difficile pour les annonceurs la conception de contenus capables de capter l'attention des spectateurs. Les méthodes traditionnelles d'évaluation de l'efficacité publicitaire reposent sur des mesures neuro-physiologiques, en particulier le suivi oculaire, pour analyser la variabilité des fixations. Cependant, la collecte et le traitement des données de suivi oculaire sont coûteux et chronophages, entravant les tests rapides et à grande échelle des volumes élevés de publicités vidéo produits, notamment avec l'essor de l'intelligence artificielle générative.

Les modèles computationnels existants pour la prédiction de la saillance rencontrent plusieurs défis lorsqu'ils sont appliqués aux publicités vidéo :

1. Dynamiques Temporelles : Modéliser les dynamiques temporelles simultanées des trames vidéo et des mouvements oculaires est computationnellement difficile.
2. Cuts de Scène : Les publicités vidéo comportent des changements de scène rapides et intentionnels qui perturbent les schémas de mouvement oculaire, obligeant les modèles à prendre en compte des transitions abruptes.
3. Influence Sémantique et Audio : La saillance est pilotée non seulement par des caractéristiques visuelles de bas niveau (contraste, mouvement), mais aussi par des sémantiques de scène de haut niveau et des flux audio, qui peuvent renforcer certaines caractéristiques visuelles.
4. Limites des Modèles Actuels : Les modèles de saillance dynamique les plus avancés prédisent souvent la saillance uniquement pour la dernière trame d'un clip ou échouent à intégrer efficacement les récits de scène et l'audio.

Méthodologie : ViASNet

Les auteurs proposent ViASNet (Video Ad Saliency Network), une architecture d'apprentissage profond conçue spécifiquement pour la prédiction dynamique de la saillance de bout en bout dans les publicités vidéo courtes. Le modèle est construit sur une structure 3D U-Net et intègre des entrées multimodales pour prédire des cartes de saillance trame par trame.

Composants de l'Architecture

1. Prétraitement des Entrées :

   • Les publicités vidéo sont segmentées en scènes à l'aide de PySceneDetect.
   • Les trames visuelles sont redimensionnées à $224 \times 384$.
   • Les signaux audio bruts sont normalisés dans l'intervalle $[-1, 1]$ et alignés avec les trames visuelles, évitant la conversion dans le domaine fréquentiel pour réduire la subjectivité du prétraitement.
   • Les cartes de saillance de référence (ground-truth) sont générées à partir de données de suivi oculaire en utilisant un flou gaussien et une normalisation min-max.

2. Encodeurs :

   • Encodeur Visuel : Utilise un backbone S3D pré-entraîné (convolutions 3D factorisées) conçu pour la reconnaissance de mouvement. Il traite des lots de scènes pour extraire des caractéristiques spatiales et temporelles.
   • Encodeur Audio : Un CNN personnalisé de 7 couches avec une architecture de pyramide de caractéristiques (combinant des voies ascendantes et descendantes avec des connexions latérales) pour traiter les signaux audio bruts.
   • Encodeur de Sémantique de Scène : Utilise le Grand Modèle Multimodal Qwen3-VL-Plus pour générer des légendes de scène. Pour capturer la continuité narrative, la légende de la scène précédente est injectée dans l'invite (prompt) de la scène actuelle. Ces légendes sont ensuite encodées à l'aide d'un modèle BERT (BERT-base-uncased) finement ajusté.

3. Fusion Multimodale :

   • Les caractéristiques issues de la vision, de l'audio et de la sémantique sont concaténées et traitées par un Réseau d'Attention Unifié Multimodal (MUAN).
   • Ce bloc emploie l'auto-attention pour les dépendances intra-modales et la co-attention pour les dépendances inter-modales (par exemple, audio-vidéo, vidéo-sémantique), permettant au modèle de capturer des interactions complexes entre les modalités.

4. Décodeur et Lecture :

   • Le décodeur suit une structure U-Net avec des convolutions transposées pour le suréchantillonnage, utilisant des connexions résiduelles (skip connections) pour préserver les détails spatiaux de l'encodeur.
   • Un Réseau de Lecture (similaire à un bloc goulot d'étranglement ResNet) traite les caractéristiques combinées, réduisant la profondeur des canaux et capturant les motifs spatiaux avant de restaurer la profondeur d'origine.

5. Raffinement de la Sortie :

   • La sortie finale intègre un composant de Biais Central (modélisé via un noyau gaussien 2D entraînable) pour tenir compte de la tendance des spectateurs à fixer le centre de l'écran.
   • Un Flou Gaussien entraînable est appliqué à la sortie pour lisser la carte de saillance, suivi d'une activation softmax pour produire une distribution de probabilité.

Le modèle est entraîné de bout en bout en utilisant la divergence Kullback-Leibler (KL) entre les cartes de saillance prédites et de référence.

Contributions Clés

1. Architecture Nouvelle : Le développement de ViASNet, un réseau de saillance profond spécialisé intégrant les informations visuelles, audio et sémantiques de scène via un mécanisme d'attention unifié.
2. Intégration Multimodale : Modélisation explicite de l'influence des flux audio et des sémantiques de scène (via des légendes générées par LLM) sur la saillance visuelle, comblant une lacune des modèles de saillance dynamique précédents.
3. Outil de Diagnostic : L'introduction de l'entropie trame par trame calculée à partir des cartes de saillance prédites comme métrique pour diagnostiquer l'engagement des spectateurs. Une entropie élevée indique un faible engagement (attention dispersée), tandis qu'une entropie faible indique un fort engagement (attention focalisée).
4. Évaluation Complète : Tests étendus sur un ensemble de données de 151 publicités vidéo (136 pour l'entraînement, 15 pour le test) avec des données de suivi oculaire provenant d'environ 20 spectateurs par publicité.

Résultats

Le modèle a été évalué par rapport à quatre bases de référence : Itti-Koch (computationnel), BMS (computationnel), DeepGaze IIE (apprentissage profond, entraîné sur des images statiques) et ViNet-S (apprentissage profond, entraîné sur des dynamiques).

• Métriques de Performance : ViASNet a atteint des performances de pointe sur les six métriques d'évaluation (KL, CC, NSS, SIM, AUC, s-AUC) sur l'ensemble de test.
  • Il a surpassé DeepGaze IIE de plus de 20 % en AUC et de manière encore plus significative sur les autres métriques, mettant en évidence l'avantage de la modélisation dynamique par rapport à la prédiction statique trame par trame.
  • Il a dépassé ViNet-S sur la plupart des métriques, démontrant l'efficacité de son architecture spécifique pour les publicités vidéo.
• Études d'Ablation : La suppression de composants a confirmé l'importance du mécanisme d'Attention Unifiée (augmentation de 4,0 % de la KL lorsqu'il est supprimé) et du réseau de lecture (augmentation de 3,8 %). Bien que l'attention audio et celle des légendes aient eu des impacts individuels plus faibles, elles ont contribué de manière mesurable aux performances.
• Analyse de l'Entropie : L'étude a démontré que l'entropie prédite corrèle avec la variabilité des fixations de référence (corrélation de 0,51). La métrique d'entropie a permis d'identifier avec succès des scènes spécifiques et des publicités entières qui ont échoué à engager les spectateurs (par exemple, des scènes à haute entropie dues à des objets/textes dispersés) et celles qui ont maintenu l'attention (faible entropie, focalisée sur des visages/produits).

Signification et Revendications

Les auteurs positionnent ViASNet comme une solution pratique aux défis de l'extension des tests de publicités vidéo à l'ère d'une production à haut volume et à faible coût. L'article affirme que :

• Automatisation : ViASNet permet la prédiction automatisée de cartes de saillance dynamique pour des publicités vidéo inédites, réduisant la dépendance aux études de suivi oculaire coûteuses et lentes.
• Capacité de Diagnostic : En calculant l'entropie trame par trame, le système peut identifier des scènes ou des publicités spécifiques qui échouent à capter l'attention, permettant aux annonceurs de modifier ou de supprimer le contenu sous-performant avant sa diffusion.
• Humain dans la Boucle : Les auteurs suggèrent modestement que ViASNet ne devrait pas remplacer les tests publicitaires humains mais plutôt servir d'outil dans des contextes d'Humain dans la Boucle (HITL). Cette approche combine la rapidité des tests automatisés avec une supervision stratégique humaine pour guider la conception publicitaire, garantissant le maintien de l'authenticité et des considérations éthiques.

L'étude conclut que les modèles de saillance profonde comme ViASNet peuvent accélérer considérablement les cycles de conception et de test publicitaire, fournissant des diagnostics critiques pour optimiser l'engagement des spectateurs dans le paysage concurrentiel de la vidéo courte.