💻 computer science

Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini

El artículo presenta Gemini Embedding 2, un modelo de incrustación multimodal nativo que unifica video, audio, imagen y texto en un único espacio de representación, logrando un rendimiento de vanguardia en diversas tareas de recuperación unimodales, cruzadas entre modalidades y multimodales, al tiempo que demuestra capacidades robustas de cero disparos en dominios especializados.

Autores originales: Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Sam

Publicado 2026-05-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Samari, Kevin Poulet, Daniel Cer, Kaifeng Chen, Paul Suganathan, Hui Hui, Jovan Andonov, Philippe Schlattner, Jay Han, Iftekhar Naim, Wing Lowe, Vladimir Pchelin, Albert Yang, Yi-Ting Chen, Zhongli Ding, Grace Zhang, Georg Heigold, Yichang Chen, Antoine Reveillon, Brendan Mccloskey, Wenlei Zhou, Dahun Kim, Rui Meng, Emma Wang, Jack Zheng, Halley Fede, Zhen Yang, Keegan Mosley, Brian Potetz, Sahil Dua, Henrique Schechter Vera, Shen Gao, Hesen Zhang, Andreas Hess, Hengxuan Ying, Alberto Montes, Karan Gill, Min Choi, Sebastian Russo, Anja Hauth, Jinhyuk Lee, Michael Boratko, Megan Barnes, Vikram Rao, Claudiu Musat, Cyril Allauzen, Ehsan Variani, Shankar Kumar, Tom Bagby, Junyi Jiao, Yang Gu, Tengxin Li, Ayush Agrawal, Roberto Santana, Dev Nath, Stephen Karukas, Shuoxuan Han, Lucia Loher, Alice Twu, Nidhi Vyas, Siddharth Bhai, Frank Palma Gomez, Wangyuan Zhang, Chaoren Liu, Jizheng Yang, Steve Qiu, Shijie Zhang, Sujay Kulkarni, Sascha Rothe, Sean Nakamoto, Raphael Hoffmann, Zach Gleicher, Yunhsuan Sung, Qin Yin, Tom Duerig, Mojtaba Seyedhosseini

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva que contiene libros, películas, grabaciones de música y fotografías. En este momento, si quieres encontrar una canción específica que suene como una escena de película, o una receta que coincida con una foto de un plato, generalmente tienes que traducir todo a texto primero. Tendrías que escribir una descripción de la foto, transcribir el audio a palabras y luego buscar. Es como intentar encontrar un color específico mirando solo una lista de nombres de pinturas; pierdes la verdadera "sensación" del color.

Gemini Embedding 2 es la nueva herramienta de Google que cambia las reglas del juego. En lugar de forzar todo a texto, crea un único "idioma" universal donde imágenes, sonidos, videos y palabras hablan todos el mismo dialecto.

Aquí tienes un desglose de cómo funciona y por qué es importante, usando analogías sencillas:

1. El Traductor Universal (La Idea Central)

Piensa en la antigua forma de hacer las cosas como tener diccionarios diferentes para idiomas distintos. Si querías comparar un libro en francés con una película en alemán, tenías que traducir ambos al inglés primero, lo cual a menudo perdía los matices.

Gemini Embedding 2 es como un traductor universal que habla "Significado".

Toma un video, una canción, una foto o un párrafo de texto y los convierte todos en un único tipo de "tarjeta de identificación" (un vector matemático).
Como todos están en el mismo "idioma", el modelo puede ver instantáneamente que un video de un perro ladrando y un texto que dice "un perro ruidoso" están relacionados, aunque uno sea sonido y el otro palabras. No necesita convertir el sonido en palabras primero; entiende el sonido directamente.

2. El Chef "Todo en Uno"

Los modelos anteriores eran como chefs que solo podían cocinar bien un tipo de comida. Un chef era genial con el texto, otro con las imágenes y otro con el video. Si querías una comida con los tres, tenías que contratar a tres chefs diferentes y esperar que coincidieran en el sabor.

Gemini Embedding 2 es un chef maestro que puede manejar cualquier ingrediente.

Fue entrenado con una mezcla masiva de tareas: leer código, entender películas, escuchar audio y analizar documentos.
Como aprendió de esta enorme variedad, no se confunde cuando mezclas ingredientes. Puedes pedirle que encuentre un clip de video usando una mezcla de una foto y una oración, y entiende la combinación perfectamente.

3. El Superpoder "Zero-Shot"

Por lo general, si quieres que una computadora entienda un tema muy específico (como la astronomía o la cocina), tienes que enseñarle específicamente para ese tema. Es como contratar a un tutor para enseñarle a un estudiante solo sobre el sistema solar.

Gemini Embedding 2 es como un estudiante que ya es experto en todo.

El documento muestra que este modelo funciona increíblemente bien en temas especializados como microscopía (biología), astronomía, bellas artes y cocina sin necesidad de entrenamiento adicional.
Está listo "fuera de la caja". Si le muestras una foto de un mapa estelar o una receta compleja, entiende el contexto inmediatamente mejor que los modelos especializados que solo fueron entrenados en una de esas cosas.

4. El Avance en Audio (Sin Transcripción)

Uno de los mayores problemas al buscar en audio es que las computadoras usualmente tienen que "leer" el audio primero (transcribiendo el habla a texto) antes de poder buscarlo. Esto es como intentar encontrar una canción leyendo la letra, pero si el cantante murmura o el acento es fuerte, la computadora se equivoca con la letra y nunca encuentras la canción.

Gemini Embedding 2 salta al intermediario.

Escucha el sonido crudo directamente. Entiende el tono, el pitch y la emoción de la voz, no solo las palabras.
El documento encontró que buscar con audio crudo es mucho más preciso que buscar con texto transcrito. Es como reconocer la voz de un amigo en una multitud sin necesidad de escuchar lo que dicen.

5. Cómo se Construyó (La Receta de Entrenamiento)

Para construir este "traductor universal", el equipo no le enseñó una cosa a la vez. Usaron un proceso de cocina de tres pasos:

Ajuste Fino Previa: Le dieron al modelo una pila enorme y desordenada de datos (texto, código, imágenes) para acostumbrarlo a la idea de "codificar" información.
Ajuste Fino: Le dieron ejemplos muy específicos y de alta calidad de cómo emparejar cosas (como emparejar una pregunta con una respuesta, o un video con una descripción).
Sopa de Modelos: Este es un truco inteligente donde tomaron varias versiones diferentes del modelo entrenado y las "mezclaron" juntas, como mezclar diferentes lotes de sopa para obtener el sabor perfecto. Esto hizo que el modelo final fuera más estable y mejor para manejar diferentes tipos de tareas a la vez.

La Conclusión

Gemini Embedding 2 es un nuevo motor poderoso que permite a las computadoras entender el mundo de la manera en que lo hacen los humanos: viendo, escuchando y leyendo todo como un todo conectado. Ya sea que estés buscando un momento específico en un video usando una descripción de texto, encontrando una canción basada en un silbido, o buscando un documento que contenga gráficos y texto, este modelo lo hace todo en un espacio unificado, a menudo mejor que herramientas especializadas diseñadas solo para uno de esos trabajos.

Resumen Técnico: Gemini Embedding 2: Un Modelo de Incrustación Multimodal Nativo de Gemini

1. Enunciado del Problema

Los modelos de incrustación multimodal existentes, como CLIP, ALIGN y SigLIP 2, suelen depender de enfoques de "fusión tardía". Estos modelos utilizan datos apareados de modalidades cruzadas para entrenar codificadores específicos de modalidad (por ejemplo, codificadores de imagen y texto separados) que se mapean en un espacio vectorial unificado. Aunque son efectivos para tareas unimodales y de modalidades cruzadas simples, esta arquitectura tiene una limitación crítica: lucha por manejar entradas de modalidad mixta (por ejemplo, secuencias entrelazadas de texto, imágenes y video) y no logra aprovechar plenamente las ricas interacciones semánticas entre las modalidades. Además, las pipelines tradicionales para audio a menudo requieren una transcripción intermedia (ASR) antes de la incrustación, lo que introduce propagación de errores y pierde matices acústicos como la prosodia y la entonación.

El artículo postula que, con la llegada de los Modelos de Lenguaje Multimodal Grandes (MLLM), ahora es posible crear incrustaciones multimodales nativas que fusionen profundamente las interacciones de modalidades cruzadas, permitiendo que un único modelo procese combinaciones arbitrarias de texto, imagen, audio y video en un espacio de representación unificado y coherente.

2. Metodología

Arquitectura del Modelo

Gemini Embedding 2 se construye sobre el modelo base Gemini, aprovechando sus capacidades multimodales nativas.

Procesamiento de Entrada: A diferencia de los modelos anteriores que requieren codificadores separados, Gemini Embedding 2 utiliza las capacidades internas de Gemini para convertir entradas crudas (imágenes, video, audio, texto) directamente en secuencias de tokens. Esto permite que el modelo acepte nativamente entradas heterogéneas sin modalidades intermedias (como ASR para audio).
Codificador: El modelo emplea un transformador con atención bidireccional (inicializado desde Gemini) para procesar la secuencia de tokens $T$ de longitud $L$ . Esto supera los límites de atención unidireccional de los LLM causales, permitiendo un razonamiento consciente del contexto a través de toda la secuencia de entrada.
Agrupación y Proyección: Las incrustaciones de tokens se agregan utilizando promedio de agrupación (mean pooling) a lo largo del eje de la secuencia. Una capa de proyección lineal luego escala el resultado a la dimensión objetivo. El modelo genera vectores de 3.072 dimensiones, con soporte para Pérdida de Multi-Resolución (MRL) para optimizar también las dimensiones de 768 y 1.536.

Objetivo de Entrenamiento

El modelo se entrena utilizando un enfoque multitarea y multietapa para aprender un espacio de incrustación unificado:

Función de Pérdida: El objetivo principal es la Estimación de Contraste con Ruido (NCE) con negativos dentro del lote. La función de pérdida maximiza la similitud entre una consulta $q_i$ y un objetivo positivo $p^+_i$ , mientras minimiza la similitud con negativos difíciles $p^-_i$ y otros elementos del lote.
Cadenas de Tarea: Para tareas de solo texto, se incluyen cadenas de tarea prescritas (por ejemplo, "verificación de hechos"), pero se eliminan aleatoriamente durante el entrenamiento para garantizar la robustez en modalidades donde tales cadenas están ausentes.
MRL: Para soportar dimensiones de incrustación flexibles, la pérdida se adapta utilizando Pérdida de Multi-Resolución (MRL) a través de subdimensiones superpuestas.

Receta de Entrenamiento

El proceso de entrenamiento consta de tres etapas distintas:

Pre-Ajuste Fino (PFT): Adapta el modelo de la generación auto-regresiva a la codificación. Esta etapa utiliza tamaños de lote grandes y una configuración multitarea con tareas de imagen, texto y código para estabilizar los gradientes frente a entradas ruidosas.
Ajuste Fino (FT): Una etapa integral que involucra tareas de texto, código, documento, imagen, audio y video. Esta etapa utiliza triplets de consulta-objetivo-negativo difícil y muestras de tareas individuales para construir lotes, equilibrando cuidadosamente las tasas de muestreo para optimizar el rendimiento en todas las modalidades.
Sopa de Modelos: Para mejorar la generalización, el modelo final se crea promediando los parámetros de los puntos de control de ajuste fino individuales (incluyendo diferentes ejecuciones de entrenamiento y promedios ponderados).

3. Contribuciones Clave

Incrustación Multimodal Nativa: Introduce el primer modelo capaz de incrustar combinaciones arbitrarias de texto, imagen, audio y video entrelazados en un único espacio vectorial, superando las limitaciones de las arquitecturas de fusión tardía.
Comprensión de Audio Superior: Demuestra que el procesamiento nativo de audio (codificando directamente el audio crudo) supera significativamente a las pipelines tradicionales que dependen de la transcripción ASR, preservando las señales acústicas y reduciendo la propagación de errores.
Marco de Entrenamiento Unificado: Unifica con éxito el entrenamiento de texto, código, imagen, video y audio en un único modelo, logrando un rendimiento de vanguardia en diversas pruebas sin sacrificar el rendimiento en ninguna modalidad individual.
Generalización Robusta Zero-Shot: Muestra un rendimiento sólido en dominios especializados (astronomía, biosciencia, artes culinarias, bellas artes) sin ajuste fino específico del dominio, estableciendo al modelo como una representación confiable "lista para usar".

4. Resultados Experimentales

Pruebas de Recuperación Multimodal

Gemini Embedding 2 logra un rendimiento de vanguardia (SOTA) en una amplia gama de tareas de recuperación:

Recuperación Imagen-Texto: Logra 62.9 R@1 en MSCOCO y 89.1 R@1 en Flickr30k (Imagen a Texto), superando modelos como Voyage-3.5-multimodal y Amazon Nova MME.
Recuperación Texto-Video: Obtiene 68.8 NDCG@10 en Vatex y 68.0 NDCG@10 en MSR-VTT.
Recuperación de Documentos: Logra 64.9 NDCG@10 en ViDoRe V2, demostrando una fuerte capacidad para comprender estructuras visuales y diseños a nivel de página.
General: El modelo lidera de manera decisiva en tareas de recuperación de imágenes unimodales, texto a imagen, imagen a texto y texto a video.

Incrustación de Texto y Código (MMTEB)

Rendimiento Multilingüe: Logra 69.9 en la prueba multilingüe MTEB, superando a los modelos anteriores de incrustación de texto solo de Gemini y a otros competidores multimodales.
Recuperación de Código: Establece un nuevo SOTA en MTEB Code v1 con una puntuación de 84.0, superando significativamente a modelos específicos de dominio como voyage-code-3.

Dominios Especializados (Zero-Shot)

En evaluaciones zero-shot en campos especializados, Gemini Embedding 2 supera consistentemente a las líneas base:

Microscopía (MicroVQA): 79.3 R@5 (vs. 44.4 para CLIP-Large).
Astronomía (AstroLLaVA): 64.4 R@5 (vs. 31.6 para CLIP-Large).
Artes Culinarias (Recipe1M): 90.2 R@5 para ingredientes y 92.1 R@5 para instrucciones.
Bellas Artes (ArtCap): 67.7 R@5.

Recuperación de Audio (MSEB)

En la Prueba de Incrustación de Sonido Masivo (MSEB), el modelo con entrada de audio nativa logra un mrr@10 promedio de 73.99, en comparación con 70.40 para la línea base basada en ASR.

Intralenguaje: Mejora de +2.0 puntos.
Interlenguaje: Mejora de +5.01 puntos, validando que el modelo alinea características semánticas entre idiomas sin depender de los límites fonéticos de un transcriptor intermedio.

5. Significado y Afirmaciones

El artículo afirma que Gemini Embedding 2 representa un paso transformador en el aprendizaje de representaciones de propósito general. Su importancia radica en:

Eliminación de Barreras de Modalidad: Al procesar nativamente entradas entrelazadas, habilita paradigmas de recuperación complejos (por ejemplo, encontrar eventos temporales específicos en un video utilizando indicaciones visuales y textuales combinadas) que anteriormente eran difíciles o imposibles.
Eficiencia y Robustez: Elimina la necesidad de conversiones intermedias costosas y propensas a errores (como ASR) y de ingeniería de indicaciones manual, ofreciendo un espacio latente unificado y robusto que funciona bien en configuraciones zero-shot.
Preparación Empresarial: El modelo se posiciona como un candidato altamente confiable para casos de uso empresarial posteriores, incluida la Generación Aumentada por Recuperación (RAG), recomendaciones de video y búsqueda, capaz de manejar los datos heterogéneos ricos en aplicaciones modernas.
Consistencia Transversal de Dominios: A diferencia de los modelos especializados que fluctúan en rendimiento entre dominios, Gemini Embedding 2 mantiene una alineación consistente y de propósito general, lo que lo hace adecuado para diversos campos que van desde la biosciencia hasta las artes culinarias.

Los autores concluyen que este enfoque unificado facilita la construcción de sistemas agentes de próxima generación, proporcionando la infraestructura esencial para la recuperación sofisticada de datos cruzados sin las restricciones de arquitecturas específicas de modalidad.