Resumen Técnico: TRANSPORTER

1. Problema y Motivación

Los Modelos Visuales-Lingüísticos (VLMs) actuales poseen una gran capacidad para razonar sobre escenas complejas, objetos y dinámicas de acción. Sin embargo, comprender y controlar sus procesos internos sigue siendo un desafío abierto.

• Limitaciones de los métodos existentes: Las técnicas actuales de interpretabilidad (como prompts, sondas lineales o decodificación de embeddings ocultos) suelen generar descripciones basadas en texto que son sensibles a cambios, de longitud limitada o que no representan fielmente los procesos internos del modelo.
• La brecha: No existe un método robusto para visualizar directamente qué significan las predicciones de un VLM (sus logits) en términos visuales dinámicos.
• Objetivo: El artículo propone una nueva tarea llamada Logits-to-Video (L2V): generar videos que capturen visualmente los cambios en las distribuciones de probabilidad (logits) de un VLM, permitiendo una explicabilidad causal y visual de sus decisiones.

2. Metodología: TRANSPORTER

El autor presenta TRANSPORTER, un enfoque independiente del modelo que aprende a acoplar los espacios de embeddings semánticos de alto nivel de un VLM con los espacios visuales de alta fidelidad de un modelo generativo de video (Text-to-Video, T2V).

Componentes Clave del Método:

1. Acoplamiento de Manifiestos (Coupling Network $\Phi$):

   • El objetivo es mapear los embeddings latentes del generador de video ($z_\Xi \in \mathbb{R}^\Xi$) al espacio de embeddings del VLM ($\tilde{z}_\Omega \in \mathbb{R}^\Omega$).
   • Se utiliza una red de acoplamiento $\Phi$ compuesta por dos módulos:
     • $\Phi_{\Omega1}$: Proyecta los embeddings del video al espacio del VLM minimizando el error cuadrático medio (MSE) con los embeddings objetivo.
     • $\Phi_{\Omega2}$: Preserva la estructura relacional local entre tokens mediante una pérdida de matriz de Gram (similaridad estructural).
   • Optimal Transport (OT) Aprendible ($\rho$-OT): Para combinar las propiedades globales y locales, se introduce un módulo de transporte óptimo basado en entropía. Utiliza vectores de proyección aprendibles para encontrar un plan de transporte que alinee las distribuciones de tokens entre los dos espacios, minimizando el costo de transporte con regularización entrópica.

2. Banco de Conceptos Aprendible ($Q$):

   • Se crea un banco de vectores latentes $Q = \{q_o\}$ que codifican las direcciones de cambio entre pares de tokens semánticamente contrastantes (ej. "rojo" vs "azul", "caminar" vs "correr").
   • Estos vectores se entrenan supervisando la divergencia de los logits del VLM. Si el VLM cambia su predicción de $\omega^-$ a $\omega^+$, el modelo aprende a generar un vector latente $q_o$ que, al sumarse a la condición de generación, induzca ese cambio visual específico.

3. Proceso de Inferencia (L2V):

   • Dado un video base y una modificación deseada en los logits del VLM ($\Delta\omega$), el sistema suma el vector de concepto correspondiente ($\delta q_o$) a la condición de entrada del generador de video.
   • El generador (basado en Conditional Flow Matching) produce un nuevo video que refleja visualmente el cambio en los logits, manteniendo la coherencia de la escena (movimiento, iluminación) pero alterando el atributo objetivo.

3. Contribuciones Principales

1. Tarea L2V (Logits-to-Video): Definición de una nueva tarea generativa para la explicabilidad visual de VLMs, yendo más allá de las explicaciones textuales.
2. Modelo TRANSPORTER: Una arquitectura que aprende trayectorias de transporte óptimo entre espacios de embeddings geométricamente diversos (generador vs. VLM) para permitir la modulación controlada de videos.
3. Banco de Conceptos Latentes: Mecanismo para modular videos basándose en la divergencia de logits objetivo, permitiendo cambios finos en atributos, acciones y contexto.
4. Evaluación Empírica: Análisis exhaustivo que demuestra que L2V proporciona una dirección novedosa para la interpretabilidad con alta fidelidad visual y alineación semántica.

4. Resultados y Evaluación

El método se evaluó sobre tres VLMs diversos: VideoLLaMA 3, Gemma 3 y Phi 4 MM, utilizando Wan2.2 como generador base.

• Métricas de Calidad Visual:

  • FVD (Fréchet Video Distance): TRANSPORTER superó significativamente a los métodos basados en optimización de activación (AM) y baselines anteriores. Por ejemplo, en Gemma 3, el FVD se redujo de ~2400 (baselines) a 105, indicando una calidad de video mucho más cercana a la realidad.
  • LPIPSv: Reducción significativa en la distancia perceptual, confirmando que los videos generados son visualmente coherentes y detallados.

• Alineación Semántica:

  • CLIPv Score: Mejoras drásticas en la alineación entre el texto generado (o la condición) y el video. En VideoLLaMA 3, el score subió de ~16.74 a 35.44.
  • Similitud de Embeddings: Los videos generados por TRANSPORTER muestran una mayor similitud coseno y menor divergencia KL con los videos reales en comparación con los baselines, demostrando que el modelo captura la complejidad de la distribución de embeddings del VLM.

• Análisis Cualitativo:

  • El modelo puede visualizar cambios sutiles como la transición de "rojo" a "azul", cambios en la acción ("caminar" a "correr"), o detalles de escena ("letrero de Chicago" a "Nueva York").
  • Muestra capacidad para mantener la dinámica de la escena (cámara, movimiento de objetos) mientras solo modifica el atributo objetivo, algo que los métodos anteriores (como AM) no logran, produciendo a menudo formas abstractas o ruido.

5. Significado e Impacto

• Nueva Paradigma de Explicabilidad: TRANSPORTER cambia el enfoque de "¿por qué el modelo dijo esto?" (texto) a "¿qué ve el modelo cuando dice esto?" (video). Esto permite a los investigadores y usuarios visualizar directamente las representaciones internas de los VLMs.
• Validación de Representaciones: Permite verificar si las correlaciones aprendidas por un VLM entre objetos, atributos y acciones son consistentes con la realidad visual.
• Herramienta de Depuración: Al poder visualizar qué cambios en los logits producen qué cambios visuales, se facilita la detección de sesgos, alucinaciones o fallos en el razonamiento espacial/temporal de los modelos.
• Independencia del Modelo: Al ser un enfoque de acoplamiento de espacios, no requiere reentrenar el VLM, lo que lo hace aplicable a una amplia gama de arquitecturas existentes.

En conclusión, el trabajo establece un puente causal entre la lógica matemática de los modelos de lenguaje visual y la realidad visual, ofreciendo una herramienta poderosa para desbloquear la "caja negra" de los VLMs en el dominio del video.