Resumen Técnico: ViASNet para la Predicción de Saliencia en Anuncios de Video

Enunciado del Problema

El panorama de los medios digitales ha evolucionado hacia la publicidad en video de formato corto en plataformas de televisión, redes sociales y comercio electrónico. Aunque estos anuncios pueden lograr una alta participación, su omnipresencia genera un significativo "ruido" o saturación, lo que dificulta que los anunciantes diseñen contenidos que capturen la atención del espectador. Los métodos tradicionales para evaluar la eficacia de los anuncios dependen de mediciones neurofisiológicas, particularmente el seguimiento ocular, para analizar la variabilidad de las fijaciones. Sin embargo, la recolección y el procesamiento de datos de seguimiento ocular son costosos y consumen mucho tiempo, lo que obstaculiza las pruebas rápidas y a gran escala de los altos volúmenes de anuncios de video que se producen, especialmente con el auge de la inteligencia artificial generativa.

Los modelos computacionales existentes para la predicción de saliencia enfrentan varios desafíos al aplicarse a anuncios de video:

1. Dinámicas Temporales: Modelar las dinámicas temporales simultáneas de los fotogramas de video y los movimientos oculares es computacionalmente difícil.
2. Cortes de Escena: Los anuncios de video presentan cambios de escena rápidos y deliberados que interrumpen los patrones de movimiento ocular, lo que requiere que los modelos tengan en cuenta transiciones abruptas.
3. Influencia Semántica y Auditiva: La saliencia no solo está impulsada por características visuales de bajo nivel (contraste, movimiento), sino también por la semántica de alto nivel de la escena y las pistas de audio, las cuales pueden realzar características visuales específicas.
4. Limitaciones de los Modelos Actuales: Los modelos de saliencia dinámica más avanzados a menudo predicen la saliencia solo para el fotograma final de un clip o no logran incorporar eficazmente las narrativas de la escena y el audio.

Metodología: ViASNet

Los autores proponen ViASNet (Red de Saliencia para Anuncios de Video), una arquitectura de aprendizaje profundo diseñada específicamente para la predicción dinámica de saliencia de extremo a extremo en anuncios de video de formato corto. El modelo se basa en una estructura 3D U-Net e integra entradas multimodales para predecir mapas de saliencia fotograma a fotograma.

Componentes de la Arquitectura

1. Preprocesamiento de Entrada:

   • Los anuncios de video se segmentan en escenas utilizando PySceneDetect.
   • Los fotogramas visuales se redimensionan a $224 \times 384$.
   • Las señales de audio crudas se normalizan a $[-1, 1]$ y se alinean con los fotogramas visuales, evitando la conversión al dominio de la frecuencia para reducir la subjetividad en el preprocesamiento.
   • Los mapas de saliencia de referencia se generan a partir de datos de seguimiento ocular mediante desenfoque gaussiano y normalización min-max.

2. Codificadores:

   • Codificador de Visión: Utiliza una arquitectura base S3D preentrenada (convoluciones 3D factorizadas) diseñada para el reconocimiento de movimiento. Procesa lotes de escenas para extraer características espaciales y temporales.
   • Codificador de Audio: Una CNN personalizada de 7 capas con una arquitectura de pirámide de características (que combina vías ascendentes y descendentes con conexiones laterales) para procesar señales de audio crudas.
   • Codificador de Semántica de Escena: Utiliza el Modelo Multimodal Grande Qwen3-VL-Plus para generar descripciones de las escenas. Para capturar la continuidad narrativa, la descripción de la escena anterior se inyecta en el prompt de la escena actual. Estas descripciones se codifican luego utilizando un modelo BERT (BERT-base-uncased) ajustado finamente.

3. Fusión Multimodal:

   • Las características de visión, audio y semántica se concatenan y procesan mediante una Red de Atención Unificada Multimodal (MUAN).
   • Este bloque emplea autoatención para dependencias intra-modales y co-atención para dependencias inter-modales (por ejemplo, audio-video, video-semántica), permitiendo que el modelo capture interacciones complejas entre modalidades.

4. Decodificador y Lectura:

   • El decodificador sigue una estructura U-Net con convoluciones transpuestas para el aumento de muestreo, utilizando conexiones de salto para preservar los detalles espaciales del codificador.
   • Una Red de Lectura (similar a un bloque de cuello de botella de ResNet) procesa las características combinadas, reduciendo la profundidad de los canales y capturando patrones espaciales antes de restaurar la profundidad original.

5. Refinamiento de Salida:

   • La salida final incorpora un componente de Sesgo Central (modelado mediante un kernel gaussiano 2D entrenable) para tener en cuenta la tendencia de los espectadores a fijarse en el centro de la pantalla.
   • Se aplica un Desenfoque Gaussiano entrenable a la salida para suavizar el mapa de saliencia, seguido de una activación softmax para producir una distribución de probabilidad.

El modelo se entrena de extremo a extremo utilizando la divergencia Kullback-Leibler (KL) entre los mapas de saliencia predichos y los de referencia.

Contribuciones Clave

1. Arquitectura Novel: El desarrollo de ViASNet, una red de saliencia profunda especializada que integra información visual, auditiva y semántica de la escena mediante un mecanismo de atención unificado.
2. Integración Multimodal: Modelado explícito de la influencia de las pistas de audio y la semántica de la escena (mediante descripciones generadas por LLM) en la saliencia visual, abordando una brecha en los modelos de saliencia dinámica anteriores.
3. Herramienta de Diagnóstico: La introducción de la entropía fotograma a fotograma calculada a partir de los mapas de saliencia predichos como métrica para diagnosticar la participación del espectador. Una alta entropía indica baja participación (atención dispersa), mientras que una baja entropía indica alta participación (atención enfocada).
4. Evaluación Exhaustiva: Pruebas extensas en un conjunto de datos de 151 anuncios de video (136 para entrenamiento, 15 para prueba) con datos de seguimiento ocular de aproximadamente 20 espectadores por anuncio.

Resultados

El modelo se evaluó frente a cuatro líneas base: Itti-Koch (computacional), BMS (computacional), DeepGaze IIE (aprendizaje profundo, entrenado estáticamente) y ViNet-S (aprendizaje profundo, entrenado dinámicamente).

• Métricas de Rendimiento: ViASNet logró un rendimiento de vanguardia en las seis métricas de evaluación (KL, CC, NSS, SIM, AUC, s-AUC) en el conjunto de prueba.
  • Superó a DeepGaze IIE en más de un 20% en AUC y significativamente más en otras métricas, destacando el beneficio del modelado dinámico sobre la predicción estática por fotograma.
  • Superó a ViNet-S en la mayoría de las métricas, demostrando la eficacia de su arquitectura específica para anuncios de video.
• Estudios de Ablación: La eliminación de componentes confirmó la importancia del mecanismo de Atención Unificada (aumento del 4.0% en KL al eliminarlo) y de la red de Lectura (aumento del 3.8%). Aunque la atención al audio y a las descripciones tuvo impactos individuales menores, contribuyeron mediblemente al rendimiento.
• Análisis de Entropía: El estudio demostró que la entropía predicha se correlaciona con la variabilidad de las fijaciones de referencia (correlación de 0.51). La métrica de entropía identificó con éxito escenas específicas y anuncios completos que no lograron captar la atención (por ejemplo, escenas con alta entropía debido a objetos/textos dispersos) y aquellos que mantuvieron la atención (baja entropía, enfocados en rostros/productos).

Significado y Afirmaciones

Los autores posicionan a ViASNet como una solución práctica a los desafíos de escalar las pruebas de anuncios de video en una era de producción de alto volumen y bajo costo. El artículo afirma que:

• Automatización: ViASNet permite la predicción automatizada de mapas de saliencia dinámica para anuncios de video no vistos, reduciendo la dependencia de estudios de seguimiento ocular costosos y lentos.
• Capacidad de Diagnóstico: Al calcular la entropía fotograma a fotograma, el sistema puede identificar escenas o anuncios específicos que no logran captar la atención, permitiendo a los anunciantes modificar o eliminar contenidos de bajo rendimiento antes del lanzamiento.
• Humano en el Bucle: Los autores sugieren modestamente que ViASNet no debe reemplazar las pruebas de anuncios humanas, sino servir como una herramienta en entornos de Humano en el Bucle (HITL). Este enfoque combina la velocidad de las pruebas automatizadas con la supervisión estratégica humana para guiar el diseño de anuncios, asegurando que se mantengan la autenticidad y las consideraciones éticas.

El estudio concluye que los modelos de saliencia profunda como ViASNet pueden acelerar significativamente los ciclos de diseño y prueba de anuncios, proporcionando diagnósticos críticos para optimizar la participación del espectador en el competitivo panorama de los videos de formato corto.