Riepilogo Tecnico: ViASNet per la Previsione della Saliency nei Video Pubblicitari

Enunciato del Problema

Il panorama dei media digitali si è spostato verso la pubblicità video in formato breve su piattaforme TV, social media ed e-commerce. Sebbene questi annunci possano raggiungere un elevato livello di coinvolgimento, la loro onnipresenza crea un significativo "clutter", rendendo difficile per gli inserzionisti progettare contenuti che catturino l'attenzione dello spettatore. I metodi tradizionali per valutare l'efficacia degli annunci si basano su misurazioni neuro-fisiologiche, in particolare il tracciamento oculare, per analizzare la variabilità delle fissazioni. Tuttavia, la raccolta e l'elaborazione dei dati di eye-tracking sono costose e dispendiose in termini di tempo, ostacolando test rapidi e su larga scala dei grandi volumi di video pubblicitari in produzione, specialmente con l'ascesa dell'intelligenza artificiale generativa.

I modelli computazionali esistenti per la previsione della saliency affrontano diverse sfide quando applicati ai video pubblicitari:

1. Dinamiche Temporali: Modellare le dinamiche temporali simultanee dei frame video e dei movimenti oculari è computazionalmente complesso.
2. Tagli di Scena: I video pubblicitari presentano cambiamenti di scena rapidi e intenzionali che interrompono i pattern di movimento oculare, richiedendo modelli che tengano conto di transizioni brusche.
3. Influenza Semantica e Audio: La saliency è guidata non solo da caratteristiche visive di basso livello (contrasto, movimento) ma anche da semantica di scena di alto livello e flussi audio, che possono potenziare specifiche caratteristiche visive.
4. Limitazioni dei Modelli Attuali: I modelli di saliency dinamica all'avanguardia spesso prevedono la saliency solo per l'ultimo frame di un clip o non riescono a incorporare efficacemente le narrazioni di scena e l'audio.

Metodologia: ViASNet

Gli autori propongono ViASNet (Video Ad Saliency Network), un'architettura di deep learning progettata specificamente per la previsione dinamica end-to-end della saliency nei video pubblicitari in formato breve. Il modello è basato su una struttura 3D U-Net e integra input multimodali per prevedere mappe di saliency frame per frame.

Componenti dell'Architettura

1. Preprocessing degli Input:

   • I video pubblicitari vengono segmentati in scene utilizzando PySceneDetect.
   • I frame visivi vengono ridimensionati a $224 \times 384$.
   • I segnali audio grezzi vengono normalizzati nell'intervallo $[-1, 1]$ e allineati con i frame visivi, evitando la conversione nel dominio della frequenza per ridurre la soggettività del preprocessing.
   • Le mappe di saliency ground-truth sono generate dai dati di eye-tracking mediante sfocatura gaussiana e normalizzazione min-max.

2. Encoder:

   • Vision Encoder: Utilizza un backbone pre-addestrato S3D (convoluzioni 3D fattorizzate) progettato per il riconoscimento del movimento. Elabora batch di scene per estrarre caratteristiche spaziali e temporali.
   • Audio Encoder: Una CNN personalizzata a 7 livelli con architettura a piramide di caratteristiche (che combina percorsi bottom-up e top-down con connessioni laterali) per elaborare i segnali audio grezzi.
   • Scene Semantics Encoder: Utilizza il Large Multimodal Model Qwen3-VL-Plus per generare didascalie delle scene. Per catturare la continuità narrativa, la didascalia della scena precedente viene iniettata nel prompt per la scena corrente. Queste didascalie vengono quindi codificate utilizzando un modello BERT (BERT-base-uncased) fine-tunato.

3. Fusione Multimodale:

   • Le caratteristiche provenienti da visione, audio e semantica vengono concatenate ed elaborate da una Multimodal Unified Attention Network (MUAN).
   • Questo blocco impiega l'self-attention per le dipendenze intra-modali e la co-attention per le dipendenze inter-modali (ad esempio, audio-video, video-semantica), permettendo al modello di catturare interazioni complesse tra le modalità.

4. Decoder e Readout:

   • Il decoder segue una struttura U-Net con convoluzioni trasposte per l'upsampling, utilizzando connessioni skip per preservare i dettagli spaziali dall'encoder.
   • Una Readout Network (simile a un blocco bottleneck ResNet) elabora le caratteristiche combinate, riducendo la profondità dei canali e catturando pattern spaziali prima di ripristinare la profondità originale.

5. Raffinamento dell'Output:

   • L'output finale incorpora un componente Center Bias (modellato tramite un kernel gaussiano 2D addestrabile) per tenere conto della tendenza degli spettatori a fissare il centro dello schermo.
   • Viene applicato uno sfocatura gaussiana addestrabile all'output per ammorbidire la mappa di saliency, seguita da un'attivazione softmax per produrre una distribuzione di probabilità.

Il modello viene addestrato end-to-end utilizzando la divergenza di Kullback-Leibler (KL) tra le mappe di saliency previste e quelle ground-truth.

Contributi Chiave

1. Architettura Innovativa: Lo sviluppo di ViASNet, una rete di saliency profonda specializzata che integra informazioni visive, audio e semantiche di scena tramite un meccanismo di attenzione unificato.
2. Integrazione Multimodale: Modellazione esplicita dell'influenza dei flussi audio e delle semantica di scena (tramite didascalie generate da LLM) sulla saliency visiva, colmando una lacuna nei precedenti modelli di saliency dinamica.
3. Strumento Diagnostico: L'introduzione dell'entropia frame per frame calcolata dalle mappe di saliency previste come metrica per diagnosticare il coinvolgimento dello spettatore. Un'entropia alta indica basso coinvolgimento (attenzione dispersa), mentre un'entropia bassa indica alto coinvolgimento (attenzione focalizzata).
4. Valutazione Completa: Test estensivi su un dataset di 151 video pubblicitari (136 per l'addestramento, 15 per il test) con dati di eye-tracking provenienti da circa 20 spettatori per annuncio.

Risultati

Il modello è stato valutato rispetto a quattro baseline: Itti-Koch (computazionale), BMS (computazionale), DeepGaze IIE (deep learning, addestrato staticamente) e ViNet-S (deep learning, addestrato dinamicamente).

• Metriche di Performance: ViASNet ha raggiunto prestazioni all'avanguardia su tutte e sei le metriche di valutazione (KL, CC, NSS, SIM, AUC, s-AUC) sul set di test.
  • Ha superato DeepGaze IIE di oltre il 20% in AUC e significativamente di più in altre metriche, evidenziando il beneficio della modellazione dinamica rispetto alla previsione statica frame per frame.
  • Ha superato ViNet-S nella maggior parte delle metriche, dimostrando l'efficacia della sua architettura specifica per i video pubblicitari.
• Studi di Ablazione: La rimozione dei componenti ha confermato l'importanza del meccanismo di Attenzione Unificata (aumento del 4,0% in KL quando rimosso) e della rete Readout (aumento del 3,8%). Sebbene l'attenzione audio e delle didascalie abbia avuto impatti individuali minori, hanno contribuito misurabilmente alle prestazioni.
• Analisi dell'Entropia: Lo studio ha dimostrato che l'entropia prevista correla con la variabilità delle fissazioni ground-truth (correlazione di 0,51). La metrica dell'entropia ha identificato con successo scene specifiche e intere pubblicità che non hanno coinvolto gli spettatori (ad esempio, scene con alta entropia a causa di oggetti/testi dispersi) e quelle che hanno mantenuto l'attenzione (bassa entropia, focalizzata su volti/prodotti).

Significato e Affermazioni

Gli autori posizionano ViASNet come una soluzione pratica alle sfide del ridimensionamento dei test per video pubblicitari in un'era di produzione ad alto volume e basso costo. Il paper afferma che:

• Automazione: ViASNet consente la previsione automatizzata di mappe di saliency dinamica per video pubblicitari non visti, riducendo la dipendenza da studi di eye-tracking costosi e lenti.
• Capacità Diagnostica: Calcolando l'entropia frame per frame, il sistema può identificare scene o annunci specifici che non catturano l'attenzione, permettendo agli inserzionisti di modificare o rimuovere contenuti sottoperformanti prima del rilascio.
• Human-in-the-Loop: Gli autori suggeriscono modestamente che ViASNet non dovrebbe sostituire i test pubblicitari umani ma piuttosto servire come strumento in contesti Human-in-the-Loop (HITL). Questo approccio combina la velocità dei test automatizzati con la supervisione strategica umana per guidare la progettazione degli annunci, garantendo che l'autenticità e le considerazioni etiche siano mantenute.

Lo studio conclude che i modelli di saliency profonda come ViASNet possono accelerare significativamente i cicli di progettazione e test degli annunci, fornendo diagnosi critiche per ottimizzare il coinvolgimento dello spettatore nel competitivo panorama dei video in formato breve.