💬 NLP

Giga-Embeddings: Mixture-of-Experts Encoders for High-Throughput Text Embeddings

El artículo presenta Giga-Embeddings, una familia de modelos de incrustación de texto que cuenta con un codificador de Mezcla de Expertos disperso de 10 mil millones de parámetros que logra una calidad de recuperación de vanguardia y un alto rendimiento en múltiples idiomas, junto con variantes densas y destiladas más pequeñas optimizadas para entornos con recursos limitados.

Autores originales: Egor Kolodin, Egor Krasnoperov, Evgeniy Kosarev, Fyodor Minkin

Publicado 2026-08-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Egor Kolodin, Egor Krasnoperov, Evgeniy Kosarev, Fyodor Minkin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo digital, las computadoras no entienden las palabras de la misma manera que los humanos. Para una máquina, una oración es solo una larga cadena de símbolos. Para dar sentido al texto, los investigadores han desarrollado un método para convertir las palabras en listas de números, conocidos como embeddings. Piense en estas listas como una dirección única para cada fragmento de texto, ubicándolo en un vasto espacio multidimensional donde las ideas similares se sientan cerca y las diferentes se sientan lejos. Este sistema impulsa las herramientas que usamos todos los días, desde motores de búsqueda que encuentran el documento adecuado hasta inteligencia artificial que responde preguntas basadas en una biblioteca de textos. Sin embargo, existe una tensión constante en este campo: cuanto más complejo es el sistema, mejor entiende el lenguaje, pero más potencia de cómputo y memoria requiere para funcionar. Hacer que estos sistemas sean más rápidos y económicos sin perder su inteligencia ha sido un desafío importante para los científicos.

Un equipo de investigadores ha presentado una nueva familia de modelos de embeddings de texto llamada Giga-Embeddings, diseñada para resolver este problema equilibrando la alta calidad con la alta velocidad. Su creación más ambiciosa es un modelo masivo que contiene diez mil millones de parámetros, que es una medida de su complejidad interna. En lugar de usar los diez mil millones de parámetros para procesar cada palabra, este modelo utiliza una técnica llamada mezcla de expertos. Imagine una gran biblioteca donde, por cada libro que un cliente solicita, solo se llama a un equipo pequeño y específico de bibliotecarios para ayudar, mientras el resto del personal permanece en espera. En este modelo de computadora, solo se activan unos 1.800 millones de parámetros para cada palabra, mientras que los diez mil millones completos permanecen disponibles en la memoria. Esto permite que el sistema posea el conocimiento de un cerebro enorme mientras solo realiza el trabajo de uno más pequeño en cualquier momento dado.

Los investigadores probaron este modelo grande contra varios otros, incluyendo un modelo denso estándar de tres mil millones de parámetros y una versión destilada más pequeña de 480 millones de parámetros. Evaluaron los sistemas en una amplia gama de tareas que involucran inglés, ruso, texto multilingüe y código de programación. Los resultados mostraron que el modelo grande y disperso logró el mayor rendimiento general en todas estas categorías. No solo entendía mejor el texto que los modelos más pequeños, sino que también procesaba la información más rápido. Al medir cuántas palabras podía manejar el sistema por segundo, el modelo de diez mil millones de parámetros fue un 25 por ciento más rápido que el modelo de tres mil millones de parámetros y significativamente más rápido que otros sistemas avanzados probados en el mismo entorno. Esto demuestra que es posible construir un sistema que sea increíblemente grande en su capacidad y altamente eficiente en su operación.

Para hacer estas poderosas herramientas accesibles a dispositivos con menos potencia de cómputo, el equipo también creó una versión mucho más pequeña del modelo. Utilizaron un método llamado destilación de distribución de similitud para enseñar a este modelo compacto. En lugar de intentar copiar los números internos exactos del gran modelo maestro, el modelo pequeño aprendió a imitar los juicios finales del modelo grande sobre qué tan similares eran diferentes piezas de texto entre sí. Esto permitió que el modelo pequeño, que tiene solo 480 millones de parámetros, rindiera casi tan bien como el modelo mucho más grande de tres mil millones de parámetros. En pruebas sobre texto en ruso, el modelo pequeño obtuvo una puntuación ligeramente superior a la de un competidor bien conocido que es casi el doble de su tamaño, demostrando que un sistema más pequeño puede ser altamente efectivo si se le enseña de la manera correcta.

El equipo lanzó las tres versiones de sus modelos al público, permitiendo que otros las utilicen para diversas aplicaciones. Encontraron que el modelo grande y disperso era particularmente efectivo para manejar textos largos, manteniendo su velocidad incluso cuando la entrada crecía. Mientras que los modelos más pequeños requerían menos memoria para almacenarse, el modelo grande ofrecía la mejor combinación de velocidad y precisión para tareas pesadas. Los investigadores señalaron que sus mediciones fueron tomadas en un entorno de prueba específico, por lo que el rendimiento en el mundo real podría variar ligeramente dependiendo del hardware utilizado. No obstante, el trabajo demuestra un camino claro a seguir: mediante el uso de elecciones arquitectónicas inteligentes y métodos de enseñanza cuidadosos, es posible crear sistemas de comprensión de texto que sean lo suficientemente potentes para manejar tareas complejas y lo suficientemente eficientes para ejecutarse rápidamente en computadoras modernas.

Resumen Técnico: Giga-Embeddings

Planteamiento del Problema

Los modelos de incrustación (embedding) de texto son críticos para la búsqueda semántica, la generación aumentada por recuperación (RAG) y la agrupación (clustering). Si bien el escalado de los modelos base generalmente mejora la calidad de la representación, los codificadores de mil millones de parámetros enfrentan desafíos significativos en costos de almacenamiento y servicio. Los enfoques existentes suelen depender de la destilación de conocimiento para crear modelos más pequeños, pero estos métodos frecuentemente requieren que las dimensiones ocultas o las arquitecturas coincidan entre el profesor y el estudiante. Además, aunque los modelos de Mezcla de Expertos (MoE) ofrecen una alta capacidad con activación dispersa, su aplicación a codificadores de incrustación de texto bidireccionales para inferencia de alto rendimiento sigue siendo poco explorada.

Metodología

Los autores presentan Giga-Embeddings, una familia de modelos de incrustación de texto que comprende tres checkpoints distintos: un modelo denso de 480M, un modelo denso de 3B y un modelo MoE disperso de 10B.

Arquitecturas de los Modelos

Adaptación de Base: Todos los modelos adaptan modelos de lenguaje solo-decodificador (específicamente las familias Qwen3 y DeepSeekMoE) en codificadores bidireccionales mediante la sustitución de máscaras de atención causal por máscaras bidireccionales totalmente visibles. El pooling de media agrega los estados de los tokens en vectores de dimensión fija.
Giga-Embeddings-10B-A1.8B: Un codificador MoE disperso con 10 mil millones de parámetros totales. Utiliza 64 expertos enrutados, un experto compartido y enrutamiento top-4, activando aproximadamente 1.8 mil millones de parámetros por token. Produce incrustaciones de 1536 dimensiones.
Giga-Embeddings-3B: Un codificador bidireccional denso Qwen3 con 3 mil millones de parámetros y salidas de 2048 dimensiones.
Giga-Embeddings-480M: Un codificador bidireccional denso Qwen3 con 480 millones de parámetros y salidas de 1024 dimensiones.

Pipeline de Entrenamiento

Los modelos pasan por un proceso de entrenamiento contrastivo de tres etapas:

Pre-entrenamiento Contrastivo: Utiliza pérdida InfoNCE in-batch con términos contrastivos de consulta-consulta y documento-documento.
Ajuste Fino de Recuperación (Retrieval Fine-tuning): Entrena con negativos difíciles (hard negatives) extraídos de un rango de clasificación de recuperación predefinido.
Ajuste Fino Multitarea: Optimiza para tareas de recuperación, clasificación, agrupación y similitud semántica.

Destilación de Distribución de Similitud:
Una contribución metodológica clave se aplica exclusivamente al modelo estudiante de 480M. A diferencia de la destilación tradicional que alinea los vectores de incrustación (requiriendo dimensiones iguales), este método alinea las distribuciones de similitud sobre conjuntos de candidatos.

El profesor (denso de 3B o MoE de 10B) y el estudiante generan similitudes de coseno para un conjunto de candidatos.
Se calcula una pérdida de divergencia KL ( $L_{KD}$ ) entre las distribuciones de probabilidad de estas similitudes del profesor y el estudiante.
La pérdida total combina este término de destilación con la pérdida contrastiva InfoNCE estándar ( $L_{NCE}$ ): $L = \lambda L_{KD} + (1-\lambda)L_{NCE}$ .
Este enfoque es agnóstico a la arquitectura y a la dimensión, lo que permite que un estudiante denso aprenda de un profesor disperso o de dimensiones diferentes sin proyectar sus estados internos.

Resultados Clave

Rendimiento en Benchmarks MTEB

Evaluado a través de las suites de inglés, ruso, multilingüe y código (MTEB y MMTEB):

10B-A1.8B: Logra los puntajes agregados más altos dentro de la familia en las cuatro suites. Lidera las comparaciones externas en el benchmark MTEB de ruso.
Modelo 3B: Sirve como la línea base densa, superando al modelo de 480M por márgenes que oscilan entre 2.41 y 6.92 puntos dependiendo de la suite.
Modelo Destilado de 480M: Obtiene 70.98 en el MTEB de ruso, superando al modelo FRIDA de 823M (70.95) utilizando un 42% menos de parámetros. Se mantiene dentro de un rango de 2.41–6.92 puntos respecto al modelo de 3B.

Rendimiento (Throughput) y Eficiencia

Throughput de MoE: El modelo 10B-A1.8B logra el mayor throughput medido entre los sistemas comparados. Con una longitud de entrada de 1024 tokens, su throughput es un 25% mayor que el del modelo denso de 3B y de 1.56–2.65× que el de los sistemas externos evaluados (por ejemplo, Qwen3-Embedding 4B, F2LLM-v2-8B).
Almacenamiento: El modelo de 480M requiere aproximadamente 0.96 GB de almacenamiento de pesos (fp16), lo que representa aproximadamente el 4.8% del almacenamiento requerido por el modelo MoE de 10B.

Estudios de Ablación

La ablación de destilación en el modelo de 480M muestra que la destilación de distribución de similitud proporciona ganancias consistentes de 0.09 a 0.22 puntos en las suites de inglés, ruso y código en comparación con una versión no destilada de la misma arquitectura.

Significado y Reivindicaciones

El artículo afirma presentar el primer codificador de incustación de texto de propósito general construido alrededor de una arquitectura de Mezcla de Expertos dispersa. Su principal significancia radica en demostrar que:

MoE para Incrustaciones: Los modelos MoE de codificador pueden mejorar significativamente el throughput de inferencia sin sacrificar la calidad de la incrustación, ofreciendo una vía viable para sistemas de recuperación de alta capacidad y alto rendimiento.
Destilación Agnóstica a la Dimensión: El método de destilación de distribución de similitud propuesto transfiere eficazmente el conocimiento de grandes profesores a estudiantes compactos sin requerir alineación arquitectónica o dimensional, permitiendo una compresión eficiente.
Código Abierto: Los autores liberan los tres checkpoints de los modelos (480M, 3B y 10B-A1.8B) para facilitar la investigación y el despliegue posteriores.

Los autores señalan limitaciones, incluyendo que los resultados de los benchmarks representan ejecuciones únicas sin estimaciones de incertidumbre, las mediciones de throughput son específicas para un único entorno de servicio (vLLM) y la mezcla de entrenamiento incluye datos no públicos, lo que limita la reproducibilidad total.