🤖 AI

Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval

Este estudio demuestra que los LLM de vanguardia como GPT-4.1 y Claude Sonnet 4.6 logran un rendimiento de recuperación a la par con el modelo multimodal nativo de Google, Gemini Embedding 2, en Flickr30k, aunque este último sigue siendo superior para aplicaciones de baja latencia debido a la capacidad de precomputar los embeddings.

Autores originales: Archan Dutta, Vyanktesh Kanungo

Publicado 2026-08-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Archan Dutta, Vyanktesh Kanungo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de encontrar una aguja específica en un pajar enorme y caótico. Pero aquí está el giro: la aguja no es solo un trozo de metal; es una imagen, y tú la estás describiendo usando palabras. Este es el mundo de la recuperación multimodal, una rama de la informática donde las máquinas aprenden a conectar lo que ven (imágenes) con lo que leen (texto). Durante años, la forma estándar de hacer esto era construir dos "cerebros" separados: uno que lee texto y lo convierte en un código secreto, y otro que mira imágenes y las convierte en un código secreto diferente. La computadora luego intenta emparejar estos dos códigos, como intentar encajar una pieza cuadrada en un agujero redondo entrecerrando los ojos con mucha fuerza.

Recientemente, dos nuevas súper-herramientas han entrado en la arena. Primero, existen los Modelos de Lenguaje Extensos (LLMs) de Frontera. Piensa en ellos como bibliotecarios increíblemente inteligentes y omniscientes que pueden mirar un montón de 25 fotos y una sola oración, luego leer instantáneamente cada foto, compararlas entre sí y elegir la mejor coincidencia. Segundo, existen los Embeddings Multimodales Nativos. Estos son como un traductor universal que habla tanto "Imagen" como "Texto" con fluidez desde el principio, convirtiendo todo en un único y unificado código secreto sin necesidad de que dos cerebros separados se comuniquen entre sí. La gran pregunta que todos se hacen es: ¿Necesitamos al bibliotecario súper inteligente para leer cada foto y compararlas, o el traductor universal es lo suficientemente rápido y preciso como para hacer el trabajo por sí solo? Esto importa porque si el bibliotecario es demasiado lento, no podrás usarlo para aplicaciones en tiempo real como buscar en tu galería de fotos mientras caminas por la calle.

Este artículo establece una carrera de alto riesgo entre estos dos enfoques utilizando un conjunto de datos llamado Flickr30k, que contiene 31,000 imágenes con descripciones escritas por humanos. Para que la carrera sea verdaderamente justa y difícil, los investigadores no solo lanzaron fotos aleatorias a los modelos. Crearon "negativos difíciles" —fotos que se ven muy similares a la respuesta correcta pero que no son del todo acertadas, diseñadas para engañar incluso a los sistemas más inteligentes. Probaron cuatro pesos pesados: Gemini Embedding 2 y Amazon Nova 2 (los traductores universales) contra GPT-4.1 y Claude Sonnet 4.6 (los bibliotecarios súper inteligentes).

Los resultados fueron una sorpresa para los velocistas pero un alivio para los entusiastas de la precisión. Cuando se trató de obtener la respuesta correcta, los traductores universales y los bibliotecarios súper inteligentes estuvieron codo a codo. El estudio encontró que Gemini Embedding 2, GPT-4.1 y Claude Sonnet 4.6 se desempeñaron estadísticamente igual. Estaban tan cerca que no podías distinguirlos basándote solo en la precisión; todos lograron elegir la imagen correcta aproximadamente el 80% de las veces en estos escenarios complicados. El artículo descarta explícitamente la idea de que los bibliotecarios sean vastamente superiores en precisión, demostrando que los nuevos modelos de embedding son igual de agudos para encontrar la aguja correcta en el pajar. Sin embargo, un modelo, Amazon Nova 2, se quedó atrás, obteniendo la respuesta correcta un 13 por ciento menos de las veces, probablemente porque fue configurado para tareas generales en lugar de este tipo específico de búsqueda de imágenes.

Pero la verdadera historia no es solo quién gana la carrera de precisión; es sobre quién termina el maratón. Aquí es donde los dos enfoques divergen drásticamente. Los bibliotecarios súper inteligentes (LLMs) tienen que mirar cada una de las fotos del grupo para cada una de las preguntas. El artículo midió esto y encontró que clasificar 1,000 consultas tomó a los bibliotecarios más de 6,100 segundos (para GPT-4.1) y 9,415 segundos (para Claude Sonnet 4.6). Eso son horas de espera. En contraste, los traductores universales (modelos de embedding) trabajan de manera diferente. Pueden pre-calcular los códigos secretos para todas las fotos una vez, como si estuvieran sellando cada libro de una biblioteca con un código de barras antes de que siquiera entres. Una vez que se realiza esa "pre-computación", encontrar la foto correcta para 1,000 consultas le tomó a los modelos de embedding menos de 2 segundos.

Los autores concluyen que, si bien los bibliotecarios súper inteligentes son brillantes en razonar y comparar imágenes lado a lado, los traductores universales son los claros ganadores para cualquier cosa que necesite suceder instantáneamente. Si estás construyendo una aplicación donde un usuario necesita buscar en una gran colección de imágenes en un abrir y cerrar de ojos, los modelos de embedding son la mejor opción. Los bibliotecarios siguen siendo útiles si tu colección de fotos cambia cada segundo o es muy pequeña, haciendo que el paso de pre-computación sea inútil, pero para velocidad y escala, los nuevos modelos de embedding han demostrado que pueden igualar la precisión de los gigantes mientras corren mil veces más rápido.

Resumen Técnico: LLMs de Frontera frente a Embeddings Multimodales Nativos para la Recuperación de Texto-a-Imagen con Negativos Difíciles

Planteamiento del Problema

La recuperación de texto-a-imagen, la tarea de clasificar imágenes por relevancia respecto a una consulta en lenguaje natural, ha dependido tradicionalmente de modelos de doble codificador (por ejemplo, CLIP) que alinean representaciones visuales y textuales mediante aprendizaje contrastivo. Dos desarrollos recientes desafían este paradigma:

Modelos de Lenguaje de Gran Escala (LLMs) de Frontera: Modelos como GPT-4.1 y Claude Sonnet 4.6 poseen capacidades visuales sólidas, lo que permite un nuevo paradigma de recuperación donde todas las imágenes candidatas y la consulta se presentan en un único prompt para un ranking directo zero-shot.
Embeddings Multimodales Nativos: Modelos como Gemini Embedding 2 (GE2) de Google y Amazon Nova 2 proyectan texto, imagen, video y audio en un único espacio de embedding compartido, yendo más allá de la arquitectura de doble codificador.

Aunque ambos enfoques muestran potencial, su rendimiento relativo en cuanto a precisión de recuperación y latencia de clasificación —específicamente bajo condiciones desafiantes— permanece sin caracterizar en la literatura. Este estudio aborda esta brecha comparando los embeddings multimodales nativos contra los LLMs de frontera como clasificadores visuales directos zero-shot.

Metodología

Conjunto de Datos y Construcción de Candidatos

El estudio utiliza Flickr30k (Young et al., 2014), un conjunto de datos de 31,000 imágenes con cinco subtítulos independientes cada una. Para crear una tarea de evaluación no trivial, los autores construyeron conjuntos de candidatos con negativos difíciles:

Pool: Se muestrearon 5,000 imágenes, cada una con cinco subtítulos.
Selección de Consultas: Se seleccionaron aleatoriamente 1,000 subtítulos como consultas.
Negativos Difíciles: Para cada consulta, se formó un conjunto de candidatos de 25 imágenes: la imagen de referencia (ground-truth) más 24 "negativos difíciles".
Lógica de Selección: Los negativos difíciles se seleccionaron basados en la similitud en el espacio de subtítulos en lugar de la similitud en el espacio de imágenes. Utilizando sentence-transformers/all-mpplay-base-v2, se identificaron los 24 subtítulos semánticamente más similares al subtítulo de la consulta (excluyendo la propia consulta). Las imágenes correspondientes a estos subtítulos formaron el conjunto negativo. Este enfoque aumenta la ambigüedad, ya que las imágenes son difíciles de distinguir dada la consulta.

Sistemas Evaluados

Se evaluaron cuatro sistemas sobre los mismos 1,000 queries y conjuntos de candidatos idénticos:

Gemini Embedding 2 (GE2): Un modelo de embedding multimodal nativo. Las consultas y las imágenes se embebedon por separado utilizando tipos de tarea específicos (RETRIEVAL_QUERY y RETRIEVAL_DOCUMENT), y los candidatos se clasificaron por similitud de coseno.
Amazon Nova 2: Un modelo de embedding multimodal. Similar a GE2, pero utilizó GENERIC_INDEX para fines de embedding.
GPT-4.1: Un LLM de frontera. El subtítulo de la consulta y las 25 imágenes candidatas se presentaron en un único prompt zero-shot. Se instruyó al modelo para que devolviera una lista clasificada de IDs de imagen.
Claude Sonnet 4.6: Un LLM de frontera. Evaluado utilizando el mismo prompt y procedimiento que GPT-4.1.

Para mitigar el sesgo de posición en los LLMs, el orden de las imágenes en el prompt se aleatorizó para cada consulta.

Métricas de Evaluación

El rendimiento se midió mediante:

Recall@1 (R@1): Fracción de consultas donde la imagen de referencia es clasificada en primer lugar.
Recall@3 (R@3): Fracción de consultas donde la imagen de referencia está en los tres primeros puestos.
Mean Reciprocal Rank (MRR): Media del rango recíproco de la imagen de referencia.
Latencia: Tiempo de ejecución de la clasificación de 1,000 consultas, distinguiendo entre procesamiento de extremo a extremo y escenarios con embeddings precomputados.

La significancia estadística se evaluó mediante la prueba de McNemar para R@1 y la prueba de Wilcoxon de rangos con signo para MRR, con corrección de Bonferroni.

Resultados Clave

Precisión de Recuperación

Mejores Desempeños: Gemini Embedding 2, GPT-4.1 y Claude Sonnet 4.6 lograron un rendimiento estadísticamente indistinguible en las tres métricas (R@1, R@3, MRR).
- Puntuaciones R@1: GE2 (0.804), Claude Sonnet 4.6 (0.796), GPT-4.1 (0.789).
- Significancia: Las pruebas por pares no mostraron diferencias significativas entre estos tres sistemas (todos $p > 0.09$ ).
Bajo Desempeño: Amazon Nova 2 quedó rezagado significativamente, logrando un R@1 de 0.673. Las pruebas estadísticas confirmaron que su rendimiento era significativamente diferente de todos los demás sistemas ( $p < 0.0001$ ). Los autores atribuyen esta brecha al uso de GENERIC_INDEX para fines de embedding, el cual está optimizado para la creación de bases de datos vectoriales generales en lugar de un emparejamiento específico de texto-imagen.

Latencia y Eficiencia

Ventaja de la Precomputación: Los modelos de embedding (GE2 y Nova 2) permiten la precomputación de los embeddings de las imágenes. Una vez precomputados, la clasificación de 1,000 consultas con 25 candidatos cada una tomó menos de 2 segundos (0.66s para GE2, 1.16s para Nova 2).
Latencia de LLM: Los LLMs procesan las consultas de extremo a extremo sin precomputación. La clasificación de la misma carga de trabajo tomó 6,100 segundos para GPT-4.1 y 9,415 segundos para Claude Sonnet 4.6.
Conclusión: Los modelos de embedding ofrecen una aceleración de aproximadamente cuatro órdenes de magnitud para aplicaciones de baja latencia que involucran galerías de imágenes fijas.

Contribuciones y Significado

El artículo reclama las siguientes contribuciones:

Primera Comparación Directa: Proporciona la primera comparación directa de los embeddings multimodales nativos contra los LLMs de frontera como clasificadores visuales directos zero-shot en un conjunto de negativos difíciles (Flickr30k), sin ajuste fino específico de la tarea o generación de subtítulos intermedios.
Paridad de Precisión: El estudio demuestra empíricamente que los modelos de embedding multimodales dedicados (específicamente GE2) y los LLMs de frontera (GPT-4.1, Claude Sonnet 4.6) logran una precisión de recuperación estadísticamente indistinguible en candidatos de negativos difíciles. Esto sugiere que los LLMs pueden servir eficazmente como clasificadores zero-shot, igualando el rendimiento de espacios de embedding especializados.
Compromisos de Latencia: El artículo destaca una distinción práctica crítica: aunque la precisión es comparable, los modelos de embedding son vastamente superiores para aplicaciones de baja latencia debido a sus capacidades de precomputación. Por el contrario, los LLMs pueden ser preferibles para galerías que se actualizan con frecuencia o conjuntos pequeños donde la precomputación no es práctica.

Limitaciones

Los autores reconocen las siguientes limitaciones:

Verdad de Referencia Ambigua: En los conjuntos de negativos difíciles, un subtítulo de una imagen puede describir plausiblemente a otra, creando ambigüedad. Sin embargo, esto afecta a todos los sistemas por igual.
Dureza en el Espacio de Subtítulos: Los negativos difíciles se definieron en el espacio de subtítulos, lo que puede favorecer inherentemente a los métodos basados en embeddings optimizados para representaciones de vectores densos.
Condiciones de Inferencia: Los LLMs se benefician del razonamiento entre candidatos (ver las 25 imágenes a la vez), mientras que los modelos de embedding califican las imágenes de forma independiente.
Acceso Propietario: Todos los sistemas se acceden a través de APIs de pago, y los pesos de los modelos pueden cambiar entre experimentos e intentos de replicación.
Alcance: La evaluación utiliza conjuntos de candidatos de 25 imágenes, midiendo el rendimiento de la clasificación en lugar de la recuperación en una galería a gran escala, lo que puede no generalizarse a entornos masivos.

Conclusión

El estudio concluye que los LLMs de frontera pueden igualar la precisión de recuperación de los modelos de embedding multimodales nativos en tareas de recuperación de texto-a-imagen con negativos difíciles. No obstante, la elección del sistema depende de las restricciones de la aplicación: los modelos de embedding son la opción superior para la recuperación a gran escala y de baja latencia con galerías fijas, mientras que los LLM ofrecen una alternativa zero-shot viable para escenarios dinámicos o de menor escala donde la precomputación no es factible.