💬 NLP

Giga-Embeddings: Mixture-of-Experts Encoders for High-Throughput Text Embeddings

Il documento presenta Giga-Embeddings, una famiglia di modelli di embedding testuale caratterizzata da un encoder Mixture-of-Experts sparso da 10 miliardi di parametri che raggiunge una qualità di recupero allo stato dell'arte e un elevato throughput in più lingue, insieme a varianti dense e distillate più piccole ottimizzate per ambienti con risorse limitate.

Autori originali: Egor Kolodin, Egor Krasnoperov, Evgeniy Kosarev, Fyodor Minkin

Pubblicato 2026-08-26

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Egor Kolodin, Egor Krasnoperov, Evgeniy Kosarev, Fyodor Minkin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo digitale, i computer non comprendono le parole come gli esseri umani. Per una macchina, una frase è solo una lunga sequenza di simboli. Per dare senso al testo, i ricercatori hanno sviluppato un metodo per trasformare le parole in liste di numeri, note come embedding. Pensate a queste liste come a un indirizzo unico per ogni pezzo di testo, che lo posiziona in un vasto spazio multidimensionale dove idee simili siedono vicine e idee diverse siedono lontane. Questo sistema alimenta gli strumenti che usiamo ogni giorno, dai motori di ricerca che trovano il documento giusto all'intelligenza artificiale che risponde alle domande basandosi su una biblioteca di testi. Tuttavia, esiste una tensione costante in questo campo: più complesso è il sistema, meglio comprende solitamente il linguaggio, ma maggiore è la potenza di calcolo e la memoria necessarie per farlo funzionare. Rendere questi sistemi più veloci ed economici senza perdere la loro intelligenza è stata una sfida importante per gli scienziati.

Un team di ricercatori ha introdotto una nuova famiglia di modelli di embedding testuale chiamata Giga-Embeddings, progettata per risolvere questo problema bilanciando alta qualità e alta velocità. La loro creazione più ambiziosa è un modello massiccio contenente dieci miliardi di parametri, che è una misura della sua complessità interna. Invece di usare tutti i dieci miliardi di parametri per elaborare ogni singola parola, questo modello utilizza una tecnica chiamata "mixture of experts" (miscela di esperti). Immaginate una grande biblioteca dove, per ogni libro richiesto da un utente, viene chiamata solo una specifica e piccola squadra di bibliotecari, mentre il resto del personale rimane in attesa. In questo modello informatico, solo circa 1,8 miliardi di parametri vengono attivati per ogni parola, mentre i dieci miliardi completi rimangono disponibili in memoria. Ciò consente al sistema di possedere la conoscenza di un cervello enorme pur compiendo il lavoro di uno più piccolo in ogni dato momento.

I ricercatori hanno testato questo grande modello contro diversi altri, inclusi un modello denso standard da tre miliardi di parametri e una versione distillata più piccola da 480 milioni di parametri. Hanno valutato i sistemi in un'ampia gamma di compiti che coinvolgevano l'inglese, il russo, il testo multilingue e il codice informatico. I risultati hanno mostrato che il grande modello sparso ha ottenuto le prestazioni complessive più elevate in tutte queste categorie. Non solo comprendeva il testo meglio dei modelli più piccoli, ma elaborava le informazioni anche più velocemente. Misurando quante parole il sistema potesse gestire al secondo, il modello da dieci miliardi di parametri è stato il 25 percento più veloce del modello da tre miliardi e significativamente più veloce di altri sistemi avanzati testati nello stesso ambiente. Ciò dimostra che è possibile costruire un sistema che sia sia incredibilmente grande nella sua capacità che altamente efficiente nella sua operatività.

Per rendere questi strumenti potenti accessibili a dispositivi con minore potenza di calcolo, il team ha creato anche una versione molto più piccola del modello. Hanno utilizzato un metodo chiamato "similarity-distribution distillation" per istruire questo modello compatto. Invece di cercare di copiare esattamente i numeri interni del grande modello insegnante, il piccolo modello ha imparato a imitare i giudizi finali del grande modello su quanto diversi fossero tra loro diversi pezzi di testo. Questo ha permesso al piccolo modello, che ha solo 480 milioni di parametri, di performare quasi altrettanto bene del modello molto più grande da tre miliardi di parametri. Nei test sul testo russo, il piccolo modello ha ottenuto un punteggio leggermente superiore rispetto a un noto concorrente che è quasi il doppio delle sue dimensioni, dimostrando che un sistema più piccolo può essere altamente efficace se viene istruito nel modo giusto.

Il team ha rilasciato tutte e tre le versioni dei loro modelli al pubblico, permettendo ad altri di usarli per varie applicazioni. Hanno scoperto che il grande modello sparso era particolarmente efficace nel gestire testi lunghi, mantenendo la sua velocità anche quando l'input cresceva. Mentre i modelli più piccoli richiedevano meno memoria per l'archiviazione, il modello grande offriva la migliore combinazione di velocità e precisione per compiti pesanti. I ricercatori hanno osservato che le loro misurazioni sono state effettuate in un ambiente di test specifico, quindi le prestazioni nel mondo reale potrebbero variare leggermente a seconda dell'hardware utilizzato. Ciononostante, il lavoro dimostra una chiara strada da seguire: utilizzando scelte architettoniche intelligenti e metodi di insegnamento accurati, è possibile creare sistemi di comprensione del testo che siano sia abbastanza potenti da gestire compiti complessi sia abbastanza efficienti da girare rapidamente sui moderni computer.

Riepilogo Tecnico: Giga-Embeddings

Definizione del Problema

I modelli di embedding testuali sono critici per la ricerca semantica, il retrieval-augmented generation e il clustering. Sebbene la scalabilità dei modelli backbone generalmente migliori la qualità della rappresentazione, gli encoder con miliardi di parametri affrontano sfide significative in termini di costi di archiviazione e serving. Gli approcci esistenti spesso si affidano alla distillazione della conoscenza per creare modelli più piccoli, ma questi metodi richiedono frequentemente l'allineamento delle dimensioni nascoste o delle architetture tra insegnante (teacher) e studente (student). Inoltre, sebbene i modelli Mixture-of-Experts (MoE) offrano un'alta capacità con attivazione sparsa, la loro applicazione agli encoder bidirezionali per l'embedding di testo per l'inferenza ad alto throughput rimane poco esplorata.

Metodologia

Gli autori introducono Giga-Embeddings, una famiglia di modelli di embedding testuale composta da tre checkpoint distinti: un modello denso da 480M, un modello denso da 3B e un modello MoE sparso da 10B.

Architetture dei Modelli

Adattamento della Base: Tutti i modelli adattano modelli linguistici decoder-only (specificamente le famiglie Qwen3 e DeepSeekMoE) in encoder bidirezionali, sostituendo le maschere di attenzione causale con maschere bidirezionali completamente visibili. Il mean pooling aggrega gli stati dei token in vettori a dimensionalità fissa.
Giga-Embeddings-10B-A1.8B: Un encoder MoE sparso con 10 miliardi di parametri totali. Utilizza 64 esperti instradati (routed experts), un esperto condiviso e un routing top-4, attivando circa 1,8 miliardi di parametri per token. Produce embedding a 1536 dimensioni.
Giga-Embeddings-3B: Un encoder Qwen3 bidirezionale denso con 3 miliardi di parametri e output a 2048 dimensioni.
Giga-Embeddings-480M: Un encoder Qwen3 bidirezionale denso con 480 milioni di parametri e output a 1024 dimensioni.

Pipeline di Addestramento

I modelli seguono un processo di addestramento contrastivo in tre fasi:

Pre-addestramento Contrastivo: Utilizza una perdita InfoNCE in-batch con termini contrastivi query-query e document-document.
Fine-tuning di Retrieval: Si addestra con hard negatives estratti da un intervallo di ranking di retrieval predefinito.
Fine-tuning Multitask: Ottimizza per compiti di retrieval, classificazione, clustering e similarità semantica.

Distillazione della Distribuzione di Similarità (Similarity-Distribution Distillation):
Un contributo metodologico chiave è applicato esclusivamente al modello studente da 480M durante le fasi di fine-tuning e multitask. A differenza della distillazione tradizionale che allinea i vettori di embedding (richiedendo dimensioni uguali), questo metodo allinea le distribuzioni di similarità su set di candidati.

Il teacher (denso 3B o MoE 10B) e lo student generano similarità del coseno per un set di candidati.
Una perdita di divergenza KL ( $L_{KD}$ ) viene calcolata tra le distribuzioni di probabilità di queste similarità del teacher e dello student.
La perdita totale combina questo termine di distillazione con la standard perdita contrastiva InfoNCE ( $L_{NCE}$ ): $L = \lambda L_{KD} + (1-\lambda)L_{NCE}$ .
Questo approccio è agnostico rispetto all'architettura e alle dimensioni, consentendo a uno studente denso di apprendere da un teacher sparso o con dimensioni differenti senza proiettare gli stati interni.

Risultati Chiave

Performance sui Benchmark MTEB

Valutati attraverso le suite English, Russian, Multilingual e Code (MTEB e MMTEB):

10B-A1.8B: Raggiunge i punteggi aggregati più alti all'interno della famiglia in tutte e quattro le suite. Guida i confronti esterni sul benchmark Russian MTEB.
Modello 3B: Funge da baseline densa, superando il modello da 480M con margini compresi tra 2,41 e 6,92 punti a seconda della suite.
Modello Distillato 480M: Ottiene 70,98 su Russian MTEB, superando il modello FRIDA da 823M (70,95) pur utilizzando il 42% in meno di parametri. Rimane entro 2,41–6,92 punti dal modello 3B.

Throughput ed Efficienza

Throughput MoE: Il modello 10B-A1.8B raggiunge il throughput misurato più elevato tra i sistemi confrontati. Con un input di 1024 token, il suo throughput è superiore del 25% rispetto al modello denso 3B e da 1,56 a 2,65 volte superiore rispetto ai sistemi esterni valutati (ad es. Qwen3-Embedding 4B, F2LLM-v2-8B).
Storage: Il modello 480M richiede circa 0,96 GB di storage dei pesi (fp16), ovvero circa il 4,8% dello storage richiesto dal modello MoE 10B.

Studi di Ablazione

L'ablazione della distillazione sul modello 480M mostra che la distillazione della distribuzione di similarità fornisce guadagni consistenti da 0,09 a 0,22 punti nelle suite English, Russian e Code rispetto a una versione non distillata della stessa architettura.

Significato e Rivendicazioni

Il paper sostiene di presentare il primo encoder di embedding testuale general-purpose costruito attorno a un'architettura sparse Mixture-of-Experts. La sua importanza primaria risiede nel dimostrare che:

MoE per gli Embedding: I modelli MoE per encoder possono migliorare significativamente il throughput di inferenza senza sacrificare la qualità dell'embedding, offrendo una via percorribile per sistemi di retrieval ad alta capacità e alto throughput.
Distillazione Agnostica rispetto alle Dimensioni: Il metodo proposto di distillazione della distribuzione di similarità trasferisce efficacementamente la conoscenza da grandi teacher a studenti compatti senza richiedere l'allineamento architettonico o dimensionale, consentendo una compressione efficiente.
Open Source: Gli autori rilasciano tutti e tre i checkpoint dei modelli (480M, 3B e 10B-A1.8B) per facilitare ulteriore ricerca e deployment.

Gli autori segnalano limitazioni, tra cui il fatto che i risultati dei benchmark rappresentano singole esecuzioni senza stime di incertezza, le misurazioni del throughput sono specifiche per un singolo ambiente di serving (vLLM) e il mix di addestramento include dati non pubblici, limitando la piena riproducibilità.