🤖 AI

VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval

Este artículo presenta VidVec, un método que mejora la recuperación de video-texto al aprovechar las capas intermedias de los modelos MLLM y una estrategia de alineación basada en texto, logrando resultados de vanguardia sin necesidad de entrenamiento visual.

Autores originales: Issar Tzachor, Dvir Samuel, Rami Ben-Ari

Publicado 2026-02-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Issar Tzachor, Dvir Samuel, Rami Ben-Ari

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema: El "Traductor" que sabe mucho, pero no sabe buscar

Imagina que tienes un bibliotecario superdotado (esto es el MLLM, el Modelo de Lenguaje Multimodal). Este bibliotecario ha leído todos los libros del mundo y ha visto millones de videos. Si le preguntas: "¿Qué está pasando en este video?", te dará una respuesta brillante y detallada.

Sin embargo, hay un problema: no es bueno encontrando cosas. Si le das una lista de 1,000 videos y le dices: "Búscame el que trata de un gato jugando al ajedrez", el bibliotecario se queda paralizado. No sabe cómo convertir ese concepto en una "etiqueta" o un "código" que pueda comparar rápidamente con los videos. Actualmente, para que un modelo sea bueno buscando, necesita entrenarse con cantidades industriales de datos (como si tuviera que ver cada video del mundo un millón de veces), lo cual es carísimo y lento.

La Solución: VidVec (El "Detector de Esencia")

Los investigadores de este estudio descubrieron algo sorprendente: el bibliotecario ya tiene la respuesta dentro de su cabeza, solo que la tiene guardada en el lugar equivocado.

Para solucionar esto, crearon VidVec. Vamos a usar tres analogías para entender cómo funciona:

1. El "Ojo de Águila" en las capas intermedias (Análisis de capas)

Imagina que el cerebro del modelo es como un edificio de 30 pisos. Los investigadores se dieron cuenta de que, si esperas hasta el último piso (la respuesta final), el modelo se enfoca tanto en "hablar" que pierde los detalles técnicos para "buscar".
La analogía: Es como si estuvieras viendo una película. En el último segundo, te fijas en el diálogo, pero si miras un poco antes, captas mejor el movimiento y la acción. VidVec aprende a "mirar" en los pisos intermedios del modelo, donde la información visual y el texto están perfectamente mezclados.

2. El "Juez de Sí o No" (Re-ranking)

Una vez que el bibliotecario hace una primera búsqueda rápida y encuentra, digamos, 10 videos que "parecen" correctos, entra en juego el segundo paso.
La analogía: Es como un filtro de calidad. El modelo no solo dice "estos se parecen", sino que actúa como un juez estricto que mira cada pareja (video + texto) y se pregunta: "¿Es esto un SÍ o un NO rotundo?". Esto ayuda a poner los mejores resultados en el primer lugar de la lista.

3. El "Entrenamiento con Resúmenes" (Optimización In-Context)

Aquí está el truco de magia más grande. Normalmente, para enseñar a un modelo a buscar videos, necesitas mostrarle millones de videos. Los autores dijeron: "¿Y si solo usamos texto?".
La analogía: Imagina que quieres enseñarle a alguien a reconocer películas de acción sin que vea una sola escena. ¿Qué harías? Le darías una lista de descripciones larguísimas y aburridas (ej: "Un hombre con chaqueta de cuero corre por un callejón oscuro mientras suena música de tensión") y le pedirías que las convierta en títulos cortos y potentes (ej: "Persecución nocturna").
Al entrenar al modelo para que aprenda a "comprimir" descripciones largas en resúmenes cortos, el modelo aprende indirectamente la "esencia" de lo que ocurre en el video, ¡sin haber visto un solo segundo de imagen durante el entrenamiento!

¿Por qué es esto importante? (El resultado)

Gracias a este método, VidVec ha logrado superar a modelos gigantescos que fueron entrenados con muchísimos más datos y mucho más dinero.

En resumen: Han descubierto que no necesitamos construir robots nuevos y gigantes para buscar videos; solo necesitamos aprender a extraer la sabiduría que ya tienen los modelos actuales, usando trucos inteligentes de "lectura" y "resumen". Es como haber descubierto que tu biblioteca personal ya tiene un sistema de organización increíble, solo que necesitabas el manual de instrucciones correcto para usarlo.

Resumen Técnico: VidVec

1. El Problema

A pesar del éxito de los Modelos Multimodales de Lenguaje Grande (MLLMs) en tareas de comprensión visual, su rendimiento en la recuperación de video-texto (video-text retrieval) sigue siendo inferior al de los Modelos Fundacionales de Video (VFMs) especializados. Los VFMs actuales requieren un entrenamiento masivo con cientos de millones de pares video-texto para lograr alineación. Por otro lado, los intentos de convertir MLLMs en extractores de embeddings suelen centrarse en imágenes, tratando al video como una modalidad secundaria o utilizando métodos de entrenamiento que no aprovechan plenamente la capacidad de razonamiento de los modelos generativos.

2. Metodología

Los autores proponen VidVec, un enfoque que desbloquea las capacidades de recuperación de los MLLMs de video mediante tres estrategias complementarias:

Análisis por capas y Extracción de Embeddings (Zero-Shot): Mediante un análisis sistemático, descubrieron que las capas intermedias de los MLLMs contienen información de alineación más rica que la última capa. Utilizan un esquema de prompting de "Limitación Explícita de una Palabra" (EOL), donde se extrae el estado oculto inmediatamente anterior al token <emb> tras una instrucción de resumen.
Re-ranking con el Cabezal del MLLM Calibrado: Para mejorar la precisión, proponen una segunda etapa de re-clasificación. En lugar de usar solo similitud de coseno, utilizan el cabezal de lenguaje del modelo para calcular la probabilidad de que la respuesta a una pregunta de relevancia binaria (¿Coincide el video con la frase? Sí/No) sea "Sí".
Optimización In-Context (In-Context Optimization): Esta es la innovación clave. En lugar de realizar un ajuste fino (fine-tuning) con datos visuales costosos, proponen un entrenamiento ligero mediante LoRA utilizando únicamente texto. El modelo aprende a mapear descripciones de video densas (largas y detalladas) a resúmenes cortos. Este proceso de "texto-a-texto" actúa como un sustituto (proxy) de la supervisión visual, enseñando al modelo a comprimir la semántica temporal y visual en representaciones compactas.

3. Contribuciones Clave

Descubrimiento de la utilidad de las capas intermedias: Demuestran que los MLLMs de video ya poseen señales de recuperación potentes en sus capas ocultas sin necesidad de entrenamiento adicional.
Estrategia de Re-ranking de dos etapas: Introducen el uso del cabezal de probabilidad del modelo como un clasificador de relevancia calibrado.
Aprendizaje sin supervisión visual: Proponen un método de optimización basado en texto que utiliza solo ~60k pares de texto (descripción densa $\rightarrow$ resumen corto), evitando la necesidad de procesar videos durante el entrenamiento.
Eficiencia extrema: Logran resultados de vanguardia con una fracción del costo computacional y de datos de los modelos tradicionales.

4. Resultados

Los experimentos realizados en benchmarks estándar (MSR-VTT, MSVD, VATEX, DiDeMo) muestran resultados sobresalientes:

Rendimiento Zero-Shot (VidVec-ZS): Supera significativamente a otros extractores de embeddings de MLLM (como LamRA o VLM2Vec) sin haber sido entrenado para la tarea de recuperación.
Superación de VFMs: El modelo optimizado (VidVec-O) no solo supera a los MLLM actuales, sino que alcanza el estado del arte (SOTA), compitiendo y superando a modelos fundacionales de video (como InternVideo2 o VideoPrism) que han sido entrenados con cientos de millones de pares video-texto.
Eficacia del texto: El método demuestra que el mapeo de descripciones densas a resúmenes es un entrenamiento altamente efectivo para la alineación multimodal.

5. Significancia

La importancia de este trabajo radica en demostrar que la capacidad de recuperación de video no requiere necesariamente un entrenamiento masivo de video-texto. Al "desbloquear" las representaciones internas de los MLLMs mediante técnicas inteligentes de prompting y optimización basada en texto, VidVec ofrece una vía mucho más eficiente y escalable para el desarrollo de sistemas de búsqueda de video, permitiendo que modelos pre-entrenados para lenguaje y visión se conviertan en potentes motores de recuperación con un esfuerzo de entrenamiento mínimo.