💬 NLP

Giga-Embeddings: Mixture-of-Experts Encoders for High-Throughput Text Embeddings

O artigo apresenta o Giga-Embeddings, uma família de modelos de embedding de texto que apresenta um codificador de Mistura de Especialistas (Mixture-of-Experts) esparso de 10 bilhões de parâmetros que alcança qualidade de recuperação de estado da arte e alto rendimento em múltiplos idiomas, juntamente com variantes densas e destiladas menores otimizadas para ambientes com recursos limitados.

Autores originais: Egor Kolodin, Egor Krasnoperov, Evgeniy Kosarev, Fyodor Minkin

Publicado 2026-08-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Egor Kolodin, Egor Krasnoperov, Evgeniy Kosarev, Fyodor Minkin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo digital, os computadores não entendem palavras da mesma forma que os humanos. Para uma máquina, uma frase é apenas uma longa sequência de símbolos. Para dar sentido ao texto, pesquisadores desenvolveram um método de transformar palavras em listas de números, conhecidas como embeddings. Pense nessas listas como um endereço único para cada pedaço de texto, posicionando-o em um vasto espaço multidimensional onde ideias semelhantes ficam próximas e ideias diferentes ficam distantes. Esse sistema impulsiona as ferramentas que usamos todos os dias, desde mecanismos de busca que encontram o documento certo até inteligências artificiais que respondem perguntas baseadas em uma biblioteca de textos. No entanto, existe uma tensão constante neste campo: quanto mais complexo o sistema, melhor ele geralmente entende a linguagem, mas mais potência de computação e memória ele exige para funcionar. Tornar esses sistemas mais rápidos e baratos sem perder sua inteligência tem sido um grande desafio para os cientistas.

Uma equipe de pesquisadores introduziu uma nova família de modelos de embedding de texto chamada Giga-Embeddings, projetada para resolver esse problema equilibrando alta qualidade com alta velocidade. Sua criação mais ambiciosa é um modelo massivo contendo dez bilhões de parâmetros, que é uma medida de sua complexidade interna. Em vez de usar todos os dez bilhões de parâmetros para processar cada palavra individualmente, este modelo utiliza uma técnica chamada mistura de especialistas (mixture of experts). Imagine uma grande biblioteca onde, para cada livro que um usuário solicita, apenas uma equipe pequena e específica de bibliotecários é convocada para ajudar, enquanto o restante do pessoal permanece de prontidão. Neste modelo de computador, apenas cerca de 1,8 bilhão de parâmetros são ativados para cada palavra, enquanto os dez bilhões totais permanecem disponíveis na memória. Isso permite que o sistema carregue o conhecimento de um cérebro enorme, enquanto realiza apenas o trabalho de um cérebro menor em qualquer dado momento.

Os pesquisadores testaram este modelo grande contra vários outros, incluindo um modelo denso padrão com três bilhões de parâmetros e uma versão destilada menor com 480 milhões de parâmetros. Eles avaliaram os sistemas em uma ampla gama de tarefas envolvendo inglês, russo, texto multilíngue e código de programação. Os resultados mostraram que o modelo grande e esparso alcançou o maior desempenho geral em todas essas categorias. Ele não apenas entendeu o texto melhor do que os modelos menores, mas também processou as informações de forma mais rápida. Ao medir quantas palavras o sistema conseguia lidar por segundo, o modelo de dez bilhões de parâmetros foi 25 por cento mais rápido que o modelo de três bilhões de parâmetros e significativamente mais rápido do que outros sistemas avançados testados no mesmo ambiente. Isso prova que é possível construir um sistema que seja tanto incrivelmente grande em sua capacidade quanto altamente eficiente em sua operação.

Para tornar essas ferramentas poderosas acessíveis a dispositivos com menos poder de computação, a equipe também criou uma versão muito menor do modelo. Eles usaram um método chamado destilação de distribuição de similaridade para ensinar este modelo compacto. Em vez de tentar copiar os números internos exatos do grande modelo professor, o modelo pequeno aprendeu a imitar os julgamentos finais do grande modelo sobre o quão semelhantes diferentes partes de texto eram umas às outras. Isso permitiu que o modelo pequeno, que possui apenas 480 milhões de parâmetros, desempenhasse quase tão bem quanto o modelo muito maior de três bilhões de parâmetros. Em testes de texto em russo, o modelo pequeno pontuou ligeiramente acima de um concorrente bem conhecido que é quase o dobro do seu tamanho, demonstrando que um sistema menor pode ser altamente eficaz se for ensinado da maneira correta.

A equipe lançou todas as três versões de seus modelos ao público, permitindo que outros os utilizem para diversas aplicações. Eles descobriram que o modelo grande e esparso era particularmente eficaz ao lidar com textos longos, mantendo sua velocidade mesmo quando a entrada aumentava. Embora os modelos menores exigissem menos memória para armazenamento, o modelo grande ofereceu a melhor combinação de velocidade e precisão para tarefas pesadas. Os pesquisadores observaram que suas medições foram feitas em um ambiente de teste específico, portanto, o desempenho no mundo real pode variar ligeiramente dependendo do hardware utilizado. No entanto, o trabalho demonstra um caminho claro a seguir: ao utilizar escolhas arquitetônicas inteligentes e métodos de ensino cuidadosos, é possível criar sistemas de compreensão de texto que sejam tanto poderosos o suficiente para lidar com tarefas complexas quanto eficientes o suficiente para rodar rapidamente em computadores modernos.

Resumo Técnico: Giga-Embeddings

Declaração do Problema

Modelos de embedding de texto são críticos para busca semântica, geração aumentada por recuperação (RAG) e agrupamento (clustering). Embora o escalonamento de modelos de backbone geralmente melhore a qualidade da representação, codificadores de bilhões de parâmetros enfrentam desafios significativos em custos de armazenamento e serviço. As abordagens existentes frequentemente dependem de destilação de conhecimento para criar modelos menores, mas esses métodos frequentemente exigem que as dimensões ocultas ou arquiteturas entre professor e aluno sejam compatíveis. Além disso, embora os modelos Mixture-of-Experts (MoE) ofereçam alta capacidade com ativação esparsa, sua aplicação para codificadores de embedding de texto bidirecionais para inferência de alto rendimento permanece pouco explorada.

Metodologia

Os autores apresentam o Giga-Embeddings, uma família de modelos de embedding de texto composta por três checkpoints distintos: um modelo denso de 480M, um modelo denso de 3B e um modelo MoE esparso de 10B.

Arquiteturas dos Modelos

Adaptação de Base: Todos os modelos adaptam modelos de linguagem apenas-decodificador (especificamente as famílias Qwen3 e DeepSeekMoE) em codificadores bidirecionais, substituindo máscaras de atenção causais por máscaras bidirecionais totalmente visíveis. O pooling médio agrega os estados dos tokens em vetores de dimensão fixa.
Giga-Embeddings-10B-A1.8B: Um codificador MoE esparso com 10 bilhões de parâmetros totais. Ele utiliza 64 especialistas roteados, um especialista compartilhado e roteamento top-4, ativando aproximadamente 1,8 bilhão de parâmetros por token. Ele produz embeddings de 1536 dimensões.
Giga-Embeddings-3B: Um codificador bidirecional denso Qwen3 com 3 bilhões de parâmetros e saídas de 2048 dimensões.
Giga-Embeddings-480M: Um codificador bidirecional denso Qwen3 com 480 milhões de parâmetros e saídas de 1024 dimensões.

Pipeline de Treinamento

Os modelos passam por um processo de treinamento contrastivo de três estágios:

Pré-treinamento Contrastivo: Utiliza perda InfoNCE in-batch com termos contrastivos de query-query e documento-documento.
Fine-tuning de Recuperação: Treina com negativos difíceis (hard negatives) minerados de um intervalo de ranking de recuperação predefinido.
Fine-tuning Multitarefa: Otimiza para tarefas de recuperação, classificação, agrupamento e similaridade semântica.

Destilação de Distribuição de Similaridade:
Uma contribuição metodológica chave é aplicada exclusivamente ao modelo aluno de 480M durante as fases de fine-tuning e multitarefa. Ao contrário da destilação tradicional que alinha vetores de embedding (exigindo dimensões iguais), este método alinha as distribuições de similaridade sobre conjuntos de candidatos.

O professor (denso 3B ou MoE 10B) e o aluno geram similaridades de cosseno para um conjunto de candidatos.
Uma perda de divergência KL ( $L_{KD}$ ) é calculada entre as distribuições de probabilidade dessas similaridades do professor e do aluno.
A perda total combina este termo de destilação com a perda contrastiva InfoNCE padrão ( $L_{NCE}$ ): $L = \lambda L_{KD} + (1-\lambda)L_{NCE}$ .
Esta abordagem é agnóstica à arquitetura e à dimensão, permitindo que um aluno denso aprenda com um professor esparso ou de dimensões diferentes sem projetar seus estados internos.

Resultados Principais

Desempenho nos Benchmarks MTEB

Avaliado em suítes de Inglês, Russo, Multilíngue e Código (MTEB e MMTEB):

10B-A1.8B: Alcança os maiores scores agregados dentro da família em todas as quatro suítes. Lidera as comparações externas no benchmark Russian MTEB.
Modelo 3B: Serve como a linha de base densa, superando o modelo de 480M por margens variando de 2,41 a 6,92 pontos, dependendo da suíte.
Modelo 480M Destilado: Pontua 70,98 no Russian MTEB, superando o modelo FRIDA de 823M (70,95) enquanto utiliza 42% menos parâmetros. Permanece dentro de 2,41–6,92 pontos do modelo 3B.

Throughput e Eficiência

Throughput de MoE: O modelo 10B-A1.8B alcança o maior throughput medido entre os sistemas comparados. Em um comprimento de entrada de 1024 tokens, seu throughput é 25% maior que o do modelo denso 3B e 1,56–2,65× maior que o dos sistemas externos avaliados (ex: Qwen3-Embedding 4B, F2LLM-v2-8B).
Armazenamento: O modelo 480M requer aproximadamente 0,96 GB de armazenamento de pesos (fp16), cerca de 4,8% do armazenamento necessário pelo modelo 10B MoE.

Estudos de Ablação

A ablação de destilação no modelo 480M mostra que a destilação de distribuição de similaridade fornece ganhos consistentes de 0,09 a 0,22 pontos nas suítes de Inglês, Russo e Código em comparação com uma versão não destilada da mesma arquitetura.

Significância e Alegações

O artigo afirma apresentar o primeiro codificador de embedding de texto de uso geral construído em torno de uma arquitetura esparsa de Mixture-of-Experts. Sua principal significância reside em demonstrar que:

MoE para Embeddings: Modelos de codificador MoE podem melhorar significativamente o throughput de inferência sem sacrificar a qualidade do embedding, oferecendo um caminho viável para sistemas de recuperação de alta capacidade e alto rendimento.
Destilação Agnóstica à Dimensão: O método de destilação de distribuição de similaridade proposto transfere efetivamente o conhecimento de grandes professores para alunos compactos sem exigir alinhamento arquitetônico ou dimensional, permitindo uma compressão eficiente.
Código Aberto: Os autores liberam todos os três checkpoints de modelos (480M, 3B e 10B-A1.8B) para facilitar a pesquisa e o deployment adicionais.

Os autores observam limitações, incluindo que os resultados dos benchmarks representam execuções únicas sem estimativas de incerteza, as medições de throughput são específicas para um único ambiente de serviço (vLLM) e a mistura de treinamento inclui dados não públicos, limitando a reprodutibilidade total.