Resumen Técnico: MoTIF – Modelo de Cuello de Botella de Conceptos Temporal para Clasificación de Video Interpretable

Enunciado del Problema

Mientras que los Modelos de Cuello de Botella de Conceptos (CBM) han permitido exitosamente la clasificación interpretable de imágenes al estructurar las predicciones en torno a conceptos comprensibles para humanos, extender este paradigma al video sigue siendo un desafío. A diferencia de las imágenes estáticas, los datos de video contienen un componente temporal donde los conceptos evolucionan con el tiempo, y muchas acciones no pueden inferirse a partir de un solo fotograma. Los enfoques existentes a menudo luchan con dos problemas principales:

1. Modelado Temporal vs. Interpretabilidad: Los transformadores estándar sobresalen en la captura de dependencias de largo alcance, pero emplean una mezcla densa de características temporales que oscurece las atribuciones a nivel de concepto, lo que los hace inadecuados para el modelado de CBM interpretable.
2. Extracción de Conceptos: Anotar manualmente los conceptos para video es intensivo en mano de obra. Aunque los Modelos Visión-Lenguaje (VLM) ofrecen una vía para el descubrimiento automático, extender esto para capturar conceptos fundamentados temporalmente y condicionados por la clase sin intervención manual es no trivial.

El desafío central es diseñar una arquitectura que maneje entradas de video de longitud variable y modele la dinámica temporal, preservando al mismo tiempo una estricta interpretabilidad a nivel de concepto y evitando la naturaleza de "caja negra" de los modelos estándar de aprendizaje profundo.

Metodología: MoTIF

Los autores introducen MoTIF (Marco Interpretable Temporal en Movimiento), un CBM basado en transformadores adaptado para la clasificación de video. El marco opera sobre secuencias de activaciones de conceptos a nivel de ventana y consta de tres componentes principales:

1. Pipeline de Descubrimiento de Conceptos Basado en VLM

En lugar de depender de vocabularios de conceptos predefinidos, MoTIF emplea una etapa de descubrimiento agnóstica a la tarea:

• Proceso: Se muestrea un pequeño subconjunto de videos de entrenamiento por clase. Un Modelo Visión-Lenguaje (VLM), condicionado a la etiqueta de clase, genera candidatos en lenguaje natural para objetos y acciones dentro de cada ventana temporal.
• Filtrado: Estos candidatos se incrustan utilizando modelos basados en CLIP. Los duplicados cercanos se eliminan mediante filtrado por similitud coseno (umbral > 0.9), resultando en un banco de conceptos global y diverso $C$.
• Activación: Para cada ventana de video, las incrustaciones visuales se comparan con el banco de conceptos para generar una matriz de activación de conceptos $X \in \mathbb{R}^{T \times K}$, donde $T$ es el número de ventanas y $K$ es el número de conceptos.

2. Autoatención Temporal por Canal (Atención Diagonal)

La innovación arquitectónica central es un módulo temporal que aísla el razonamiento para cada concepto:

• Estructura Diagonal: A diferencia de los transformadores estándar que mezclan canales mediante proyecciones lineales completas ($W_Q \in \mathbb{R}^{C \times C}$), MoTIF utiliza convoluciones 1$\times$1 profundas para generar proyecciones de Consulta, Clave y Valor para cada canal de concepto de forma independiente.
• Mecanismo: Cada canal de concepto $c$ calcula sus propias puntuaciones de atención $W_{c,t,u}$ sobre la secuencia temporal. Esto asegura que la evidencia de un concepto no pueda fluir hacia otro, preservando la atribución estricta de conceptos.
• Salida: La salida es una suma ponderada de valores para cada concepto, manteniendo la independencia de los canales de conceptos mientras se modela cuándo y cómo los conceptos se repiten a lo largo del tiempo.

3. Clasificación y Explicación

• Transformación Afín: Las activaciones experimentan una transformación afín no negativa ($\gamma_c X + \delta_c$) seguida de una no linealidad Softplus para garantizar activaciones no negativas y diferenciables.
• Agrupación (Pooling): Un mecanismo de agrupación Log-Sum-Exp (LSE) agrega los logits por paso de tiempo en una predicción a nivel de video. Esto sirve como una aproximación suave del agrupamiento máximo y proporciona un perfil de importancia temporal.
• Explicación en Tres Modos: MoTIF descompone las predicciones en:
  1. Conceptos Globales: Relevancia agregada sobre todo el video.
  2. Conceptos Locales: Relevancia dentro de ventanas temporales específicas de alto peso.
  3. Dependencias Temporales: Mapas de atención que muestran cómo un canal de concepto distribuye el enfoque a través del tiempo (por ejemplo, identificando anclas temporales o presencia persistente).

Contribuciones Clave

1. Arquitectura MoTIF: Un CBM de video que utiliza autoatención temporal por canal, modelando la dinámica temporal a nivel de concepto individual mientras preserva la independencia de los conceptos.
2. Explicación Multi-Granular: El marco proporciona tres modos de explicación complementarios (mapas de dependencia global, local y temporal) para rastrear la toma de decisiones a través del tiempo.
3. Descubrimiento Basado en VLM: Un pipeline que extrae conceptos textuales centrados en objetos y acciones directamente de los videos de entrenamiento utilizando supervisión débil de las etiquetas de clase, eliminando la necesidad de anotación manual y mejorando la cobertura de conceptos.

Resultados Experimentales

Los autores evaluaron MoTIF en cuatro puntos de referencia: Breakfast Actions, HMDB51, UCF101 y Something-Something V2 (SSv2).

• Rendimiento vs. CBM Global: MoTIF supera consistentemente a un CBM Global (que promedia las representaciones de ventanas antes de la clasificación). Por ejemplo, en Breakfast Actions, MoTIF mejoró la precisión entre 11 y 18 puntos porcentuales sobre el CBM Global, demostrando el valor del modelado de conceptos localizados temporalmente.
• Rendimiento vs. Modelos de Caja Negra: Aunque persiste una brecha con los modelos de caja negra más avanzados (por ejemplo, VideoMAE V2), MoTIF reduce significativamente esta brecha mientras mantiene la interpretabilidad. En SSv2, la variante espacio-temporal (MoTIF-ST) alcanzó una precisión del 41.9% en comparación con el 33.6% del CBM Global.
• Sensibilidad Temporal: Los estudios de ablación utilizando puntos de referencia sintéticos y mezcla de ventanas confirmaron que MoTIF depende del orden temporal en lugar de pistas de apariencia estática, particularmente en conjuntos de datos como SSv2 donde las etiquetas relacionales son críticas.
• Análisis de Intervención: Las intervenciones destructivas (poner a cero los conceptos principales) redujeron significativamente la superposición de predicciones, mientras que las intervenciones correctivas (editar conceptos) repararon con éxito las clasificaciones erróneas, validando el vínculo causal entre conceptos y predicciones.
• Compensaciones: Los autores notan una compensación controlable: imponer atención diagonal preserva la interpretabilidad pero puede reducir ligeramente la precisión en conjuntos de datos altamente complejos en comparación con variantes de atención completa. Sin embargo, la atención completa enreda los canales, reduciendo la interpretabilidad.

Significado y Afirmaciones

El artículo posiciona a MoTIF como un marco principista para aprender y explicar representaciones de conceptos temporales. Su significado radica en:

• Cerrando la Brecha: Demuestra que el razonamiento temporal puede integrarse en modelos de cuello de botella de conceptos sin descartar la estructura a nivel de concepto, ofreciendo una alternativa viable a los clasificadores de video de caja negra opacos.
• Interpretabilidad sin Sacrificio: Al aislar el razonamiento temporal por concepto, MoTIF permite a los usuarios rastrear los errores hasta conceptos temporales faltantes o ambiguos en lugar de interacciones de características opacas.
• Modularidad: El marco es compatible con diversas espaldas de incrustación (CLIP, SigLIP, Codificadores de Percepción) y métodos de descubrimiento de conceptos (textuales o visuales), sugiriendo que las mejoras en la calidad de los conceptos y la escalabilidad arquitectónica son caminos complementarios para un mejor rendimiento.

Los autores concluyen que, aunque el rendimiento depende en gran medida de la calidad de los conceptos, MoTIF proporciona una base robusta e interpretable para la comprensión de video que logra un rendimiento de vanguardia entre los CBM mientras se mantiene competitivo con las líneas base no interpretables.