💬 NLP

UEmbed: Unified Sparse and Dense Multimodal Embeddings

UEmbed introduce un modelo de incrustación multimodal unificado de solo decodificador que genera tanto representaciones léxicas dispersas como densas en una única pasada causal hacia adelante, logrando un rendimiento de vanguardia en evaluaciones de referencia multimodales al tiempo que permite aplicaciones agénticas eficientes.

Autores originales: Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

Publicado 2026-08-04

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar un libro específico en una biblioteca masiva y caótica. Durante mucho tiempo, los bibliotecarios usaron un truco sencillo: buscaban palabras exactas. Si preguntabas por "gato", solo encontraban libros que tuvieran la palabra "gato". Esto es rápido y fácil, pero es un poco tonto; se le pasan libros sobre "felinos" o "gatitos" que nunca usaron la palabra "gato". Para solucionar esto, los científicos inventaron motores de búsqueda "inteligentes" que entienden el significado. Estos motores convierten tu pregunta y los libros en largas listas de números (llamadas vectores densos). Es como darle a cada libro una huella dactilar única basada en su vibra y su historia. Esto es genial para entender, pero es pesado, lento y, a veces, difícil de explicar por qué se eligió un libro.

Ahora, imagina un nuevo tipo de bibliotecario que puede hacer ambos trabajos a la vez. Puede darte la "huella dactilar de la vibra" y una lista de las palabras clave más importantes, todo en un solo vistazo ultrarrápido. Este es el mundo de la recuperación de información, la ciencia de encontrar agujas en pajares digitales. La gran pregunta que los investigadores se han estado haciendo es: ¿Podemos construir un cerebro único y superinteligente que maneje tanto la búsqueda de "palabras exactas" como la búsqueda "basada en el significado" sin necesidad de dos sistemas diferentes y torpes? ¿Y puede este cerebro entender no solo texto, sino también imágenes, videos y documentos, todo al mismo tiempo? Aquí es donde comienza la historia de un nuevo invento llamado UEmbed.

La solución de un solo cerebro: UEmbed

Conoce a UEmbed (Unified Embedding, Incrustación Unificada), un nuevo tipo de cerebro informático diseñado por investigadores de Alibaba, la Academia China de Ciencias y Yale. Piensa en UEmbed como un superhéroe multitarea que se niega a elegir entre ser un "mago de las palabras" y un "maestro del significado". En el pasado, si querías un motor de búsqueda que entendiera significados profundos, tenías que usar un sistema pesado y lento. Si querías uno que fuera rápido y usara palabras clave, tenías que usar un sistema más simple y tonto. Por lo general, no podías tener ambos en un mismo paquete, especialmente cuando se trataba de imágenes y videos.

UEmbed cambia las reglas del juego utilizando una arquitectura de "solo decodificador" (decoder-only). Para usar una analogía simple, imagina que un motor de búsqueda estándar es como una persona leyendo un libro de principio a fin, mirando hacia atrás y hacia adelante para entender toda la historia (esto se llama "bidireccional"). UEmbed, sin embargo, es como un narrador que escucha toda la historia y luego, al final de todo, la resume instantáneamente de dos maneras: primero, dándote una "puntuación de vibra" (la parte densa), y segundo, gritando las 10 o 20 palabras más importantes que le vinieron a la mente (la parte dispersa). Hace todo esto en una sola pasada, como si moviera un interruptor.

Cómo funciona: La magia de los tokens especiales

Entonces, ¿cómo logra este cerebro gritar palabras clave mientras también entiende toda la historia? La salsa secreta es un truco ingenioso que involucra "tokens especiales".

Imagina que estás escribiendo una historia y, al final, adjuntas algunas notas adhesivas invisibles y mágicas. En el caso de UEmbed, los investigadores adjuntan 16 de estas notas especiales (llamadas tokens) al final de la entrada. Antes de que la computadora comience a leer, divide todo el diccionario de palabras (el vocabulario) en 16 grupos diferentes, como clasificar una caja gigante de piezas de LEGO en 16 cubos de diferentes colores.

A medida que la computadora lee tu imagen, video o texto, procesa la historia. Cuando llega a esas 16 notas adhesivas mágicas al final, cada nota tiene un trabajo específico: "Tú estás a cargo del cubo rojo de palabras", "Tú manejas el cubo azul", y así sucesivamente. Cada nota observa toda la historia que acaba de escuchar y decide: "Basado en lo que escuché, estas son las palabras más importantes de mi cubo de color".

Para cuando la computadora termina, tiene 16 pequeñas listas de palabras importantes. Las une todas para crear una lista de palabras clave masiva y superdetallada (el vector disperso o sparse vector). Al mismo tiempo, toma la "vibra" de toda la historia para crear la huella dactilar densa. Esta división inteligente resuelve un problema importante: usualmente, un cerebro de computadora solo puede usar un "token de resumen" para describir una historia completa, lo cual no es suficiente para contener todas las palabras clave. Al usar 16 tokens diferentes, UEmbed distribuye el trabajo, permitiéndole ser rico en palabras clave y rico en significado al mismo tiempo.

Lo que dicen los números

Los investigadores probaron UEmbed en algunos de los desafíos más difíciles del mundo de la búsqueda. No solo analizaron texto; le lanzaron imágenes, videos y documentos complejos.

La Gran Puntuación: En un benchmark masivo llamado MMEB-v2, que prueba qué tan bien los modelos entienden diferentes tipos de medios, la versión más grande de UEmbed (el modelo de 9B, que tiene 9 mil millones de parámetros) obtuvo 71.8 para su búsqueda de "vibra" y 71.0 para su búsqueda de "palabras clave".
La Comparación: Esto es algo enorme. Usualmente, la búsqueda basada en palabras clave se queda rezagada frente a la búsqueda de "vibra". Aquí, el modo de palabras clave de UEmbed es casi tan bueno como su modo de vibra, y supera a casi todos los demás modelos que fueron entrenados con datos públicos. Por ejemplo, superó a un modelo de 7 mil millones de parámetros llamado RzenEmbed-V2-7B (que obtuvo 71.1) y a un modelo de 2 mil millones de parámetros llamado Embed-RL-4B (que obtuvo 68.1).
La Eficiencia: Debido a que UEmbed está construido como un modelo de "solo decodificador" (el mismo tipo utilizado por los chatbots populares), se lleva bien con los servidores de alta velocidad. Puede generar estos resultados duales de forma increíblemente rápida, lo que lo hace práctico para el uso en el mundo real.

Por qué esto importa: La ventaja de los "Agentes"

El artículo sugiere que este enfoque de doble poder no es solo un truco ingenioso; es una necesidad práctica para el futuro de los "agentes" de IA —programas inteligentes que navegan por la web y realizan tareas por ti—.

Cuando un agente de IA intenta resolver un problema, a menudo hace preguntas cortas y cargadas de palabras clave como "mejor pizza cerca de mí" o "cómo arreglar una fuga". La búsqueda densa de "vibra" a veces falla en esto porque busca un significado profundo, mientras que la búsqueda de palabras clave es rápida pero tonta. UEmbed ofrece lo mejor de ambos mundos. En pruebas en un benchmark llamado BrowseComp-Plus, los investigadores encontraron que usar el modo de palabras clave de UEmbed ayudó al agente de IA a encontrar la información correcta con menos intentos de búsqueda, ahorrando tiempo y potencia de cómputo.

Los límites y el futuro

Los autores tienen cuidado de señalar que UEmbed aún no es perfecto. Notaron que el modelo a veces se confunde con idiomas que no sean el inglés y el chino, probablemente porque fue entrenado principalmente en esos dos. También observaron que, a veces, las "notas adhesivas mágicas" podrían gritar palabras extrañas y no estandarizadas (como "_alt" o "_perm"), que son artefactos del diccionario interno de la computadora.

Sin embargo, la idea central es sólida: UEmbed demuestra que no tienes que elegir entre velocidad e inteligencia, o entre palabras y significado. Al unificar estos dos mundos en un solo modelo de solo decodificador, abre la puerta a motores de búsqueda que son más rápidos, más inteligentes y capaces de entender todo el mundo digital —desde una sola frase hasta un video de larga duración— de un solo golpe. Es un nuevo paradigma donde el motor de búsqueda no solo busca palabras o solo siente la vibra; hace ambas cosas, instantáneamente.

Resumen Técnico: UEmbed

Planteamiento del Problema

Los sistemas modernos de recuperación de información dependen cada vez más de la Recuperación Dispersa Aprendida (LSR, por sus siglas en inglés) para ir más allá de la coincidencia léxica exacta hacia una comprensión semántica más rica. Sin embargo, los métodos de LSR existentes enfrentan tres limitaciones críticas:

Restricciones Arquitectónicas: Los modelos de LSR actuales están construidos predominantemente sobre arquitecturas de codificador bidireccional (ej. BERT). No pueden aprovechar de forma nativa los mecanismos de atención causal de los Modelos de Lenguaje de Gran Escala (LLMs) y de Modelos de Lenguaje Multimodales (MLLMs) basados únicamente en decodificadores sin convertir el núcleo a un comportamiento bidireccional o adoptar currículos de entrenamiento complejos, lo que aumenta los costos y rompe la compatibilidad con marcos de servicio optimizados como vLLM.
Modalidad Limitada: La mayoría de los enfoques de LSR son exclusivamente de texto. Las extensiones multimodales suelen depender de módulos transmodales auxiliares en lugar de derivar representaciones dispersas directamente de un núcleo multimodal unificado, lo que dificulta su extensión a nuevas modalidades.
Utilidad Inexplorada: Las ventajas prácticas de la recuperación dispersa (ej. eficiencia, interpretabilidad, utilidad de búsqueda agéntica) siguen siendo poco examinadas más allá de los estándares de benchmarks de precisión.

Un desafío técnico específico al adaptar la recuperación dispersa a modelos causales es el cuello de botella de información: confiar en un solo token (ej. EOS) para proyectar en un espacio de vocabulario masivo limita severamente la capacidad de representación.

Metodología: UEmbed

Los autores proponen UEmbed (Unified Embedding), un modelo de incrustación (embedding) multimodal basado únicamente en decodificador que produce de forma nativa representaciones tanto léxicas dispersas como densas en una única pasada hacia adelante (forward pass) causal.

Arquitectura Central

UEmbed modifica un MLLM estándar basado únicamente en decodificador añadiendo $N$ tokens especiales aprendibles ( $\langle s_1 \rangle, \dots, \langle s_N \rangle$ ) a la secuencia de entrada.

Partición del Vocabulario: El vocabulario $V$ se particiona en $N$ subconjuntos disjuntos ( $V_1, \dots, V_N$ ) mediante agrupamiento k-means. Esto fomenta que cada token especial actúe como un "especialista temático suave" para un subespacio semántico distinto.
Cabezales Dispersos Particionados: Cada token especial $\langle s_k \rangle$ resume la entrada precedente mediante atención causal y predice pesos dispersos sobre su subconjunto de vocabulario asignado $V_k$ utilizando una proyección lineal:
$w^{(k)}_t = \log(1 + \text{ReLU}(W^{(k)\top}_t h_{s_k} + b^{(k)}_t))$
El vector disperso final es la concatenación de todos los vectores de los subconjuntos.
Representación Densa: La incrustación densa se deriva del estado oculto del token EOS inmediatamente anterior a los tokens especiales. Si solo se requiere recuperación densa, los tokens especiales pueden omitirse, lo que no incurre en computación adicional.

Estrategia de Entrenamiento

Datos: Entrenado en una mezcla de 3.94 millones de muestras públicas que cubren texto, imágenes, videos y documentos visualmente ricos (fuentes incluyen Echo-embedding, MLDR y MMEB).
Minería de Negativos Difíciles: Para datos multimodales que carecen de negativos, se utiliza un modelo profesor (Qwen3-VL-Embedding-8B) para minar negativos difíciles.
Objetivo Unificado: El modelo se entrena con una pérdida combinada:
$L = L^{\text{dense}}_{\text{InfoNCE}} + \lambda L^{\text{sparse}}_{\text{InfoNCE}} + \alpha_q L^q_{\text{FLOPS}} + \alpha_d L^d_{\text{FLOPS}}$
Los regularizadores de FLOPS fomentan la dispersión penalizando el peso del término de la media al cuadrado.

Contribuciones Clave

Recuperación Unificada Basada Únicamente en Decodificador: UEmbed es el primer modelo que produce representaciones de recuperación tanto densas como dispersas desde un único núcleo basado únicamente en decodificador, eliminando la necesidad de codificadores bidireccionales o módulos transmodales auxiliares.
Recuperación Multimodal Dispersa de Vanguardia: Según los autores, UEmbed es el primer modelo disperso evaluado en MMEB-v2, estableciendo un nuevo estado del arte en la recuperación multimodal dispersa.
Demostración de Utilidad Práctica: El artículo demuestra que el modo disperso de UEmbed mejora la eficiencia (compatibilidad nativa con índices invertidos), la efectividad (mediante puntuación híbrida) y la utilidad en la búsqueda agéntica (reduciendo los costos de llamada a herramientas).

Resultados Experimentales

UEmbed fue evaluado en escalas de 2B, 4B y 9B parámetros.

Benchmarks Multimodales (MMEB-v2):
- UEmbed-9B logra 71.8 (denso) y 71.0 (disperso), liderando todos los modelos entrenados con datos públicos.
- La brecha entre el rendimiento denso y el disperso es mínima (dentro de 1.0 punto en todas las escalas), demostrando que las incrustaciones dispersas son una alternativa viable en el dominio multimodal.
- UEmbed-4B (disperso, 69.7) supera al Ops-MM-Embed-7B (67.1) en modo denso.
Benchmarks de Texto (BEIR):
- UEmbed-9B logra un promedio de nDCG@10 de 56.3 en modo denso y 55.2 en modo disperso.
- En modo disperso, UEmbed-9B iguala el rendimiento del modelo especialista Echo-Mistral-SPLINE (55.2) mientras soporta simultáneamente recuperación densa y entradas multimodales.
Búsqueda Agéntica (BrowseComp-Plus):
- El modo disperso requiere consistentemente menos rondas de búsqueda (llamadas a herramientas) que su contraparte densa, manteniendo un recall comparable o superior, validando su rentabilidad para el razonamiento iterativo.

Significado y Reivindicaciones

El artículo posiciona a UEmbed como un cambio de paradigma que unifica las incrustaciones densas y dispersas dentro de un solo modelo, extendiendo la recuperación dispersa para unificar entradas de texto y multimodales.

Eficiencia Arquitectónica: Al operar nativamente bajo atención causal, UEmbed mantiene la compatibilidad con pilas de servicio de alto rendimiento (ej. vLLM) y búsqueda de índice invertido estándar, ofreciendo ventajas de despliegue sobre los modelos de LSR bidireccionales.
Efectividad: El modelo demuestra que la recuperación dispersa puede alcanzar la paridad de rendimiento con la recuperación densa en entornos multimodales, desafiando la suposición de que los vectores densos son estrictamente superiores para modalidades complejas.
Interpretabilidad: El modo disperso proporciona interpretabilidad inherente al exponer los términos del vocabulario activados, lo que ayuda en la auditoría de sesgos y la comprensión de las decisiones del modelo.

Los autores reconocen limitaciones, incluyendo el sesgo lingüístico (predominantemente inglés/chino), la generación ocasional de tokens anómalos debido a los grandes tamaños de vocabulario, y una brecha de rendimiento ligeramente mayor en la recuperación de video en comparación con documentos estáticos. Sin embargo, concluyen que UEmbed transforma con éxito la recuperación dispersa de un módulo independiente legado a un subproducto nativo de los MLLMs.