💬 NLP

UEmbed: Unified Sparse and Dense Multimodal Embeddings

O UEmbed introduz um modelo de incorporação multimodal unificado do tipo decoder-only que gera representações tanto esparsas lexicais quanto densas em uma única passagem causal de forward, alcançando desempenho de estado da arte em benchmarks multimodais ao mesmo tempo em que possibilita aplicações agênticas eficientes.

Autores originais: Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

Publicado 2026-08-04

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encontrar um livro específico em uma biblioteca enorme e caótica. Por muito tempo, os bibliotecários usaram um truque simples: procuravam por palavras exatas. Se você pedisse por "gato", eles só encontravam livros que tivessem a palavra "gato" neles. Isso é rápido e fácil, mas é um pouco burro; perde livros sobre "felinos" ou "gatinhos" que nunca usaram a palavra "gato". Para corrigir isso, cientistas inventaram mecanismos de busca "inteligentes" que entendem o significado. Esses mecanismos transformam sua pergunta e os livros em longas listas de números (chamadas de "vetores densos"). É como dar a cada livro uma impressão digital única baseada em sua vibe e história. Isso é ótimo para entender, mas é pesado, lento e às vezes difícil de explicar por que um livro foi escolhido.

Agora, imagine um novo tipo de bibliotecário que pode fazer os dois trabalhos ao mesmo tempo. Ele pode te dar a "impressão digital da vibe" e uma lista das palavras-chave mais importantes, tudo em um único olhar ultrarrápido. Este é o mundo da recuperação de informação, a ciência de encontrar agulhas em palheiros digitais. A grande questão que os pesquisadores têm feito é: Podemos construir um cérebro único e superinteligente que lide tanto com a busca de "palavra exata" quanto com a busca baseada em "significado" sem precisar de dois sistemas diferentes e desajeitados? E esse cérebro consegue entender não apenas texto, mas também imagens, vídeos e documentos de uma só vez? É aqui que começa a história de uma nova invenção chamada UEmbed.

A Solução de Um Único Cérebro: UEmbed

Conheça o UEmbed (Unified Embedding), um novo tipo de cérebro de computador projetado por pesquisadores da Alibaba, da Academia Chinesa de Ciências e de Yale. Pense no UEmbed como um super-herói multitarefa que se recusa a escolher entre ser um "mestre das palavras" ou um "mestre dos significados". No passado, se você quisesse um mecanismo de busca que entendesse significados profundos, tinha que usar um sistema pesado e lento. Se quisesse um que fosse rápido e usasse palavras-chave, tinha que usar um sistema mais simples e menos inteligente. Geralmente, você não podia ter ambos no mesmo pacote, especialmente ao lidar com imagens e vídeos.

O UEmbed muda o jogo usando uma arquitetura "apenas decodificadora" (decoder-only). Para usar uma analogia simples, imagine que um mecanismo de busca padrão é como uma pessoa lendo um livro do início ao fim, olhando para trás e para frente para entender toda a história (isso é chamado de "bidirecional"). O UEmbed, porém, é como um contador de histórias que ouve a história inteira e depois, ao final, resume instantaneamente de duas maneiras: primeiro, dando a você uma "pontuação de vibe" (a parte densa) e, segundo, gritando as 10 ou 20 palavras mais importantes que surgiram em sua mente (a parte esparsa). Ele faz tudo isso em uma única passagem, como se estivesse acionando um interruptor.

Como Funciona: A Magia dos Tokens Especiais

Então, como esse cérebro consegue gritar palavras-chave enquanto também entende a história inteira? O ingrediente secreto é um truque inteligente envolvendo "tokens especiais".

Imagine que você está escrevendo uma história e, ao final, anexa alguns post-its mágicos e invisíveis. No caso do UEmbed, os pesquisadores anexam 16 desses post-its especiais (chamados de tokens) ao final da entrada. Antes de o computador começar a ler, ele divide todo o dicionário de palavras (o vocabulário) em 16 grupos diferentes, como separar uma caixa gigante de peças de LEGO em 16 cestos de cores diferentes.

Enquanto o computador lê sua imagem, vídeo ou texto, ele processa a história. Quando chega àqueles 16 post-its mágicos no final, cada nota recebe um trabalho específico: "Você está encarregado do cesto vermelho de palavras", "Você cuida do cesto azul", e assim por diante. Cada nota olha para toda a história que acabou de ouvir e decide: "Com base no que ouvi, estas são as palavras mais importantes do meu cesto de cor".

Quando o computador termina, ele tem 16 pequenas listas de palavras importantes. Ele as costura para criar uma lista de palavras-chave massiva e superdetalhada (o vetor esparso). Ao mesmo tempo, ele pega a "vibe" de toda a história para criar a impressão digital densa. Essa partição inteligente resolve um problema importante: geralmente, um cérebro de computador só pode usar um "token de resumo" para descrever uma história inteira, o que não é suficiente para conter todas as palavras-chave. Ao usar 16 tokens diferentes, o UEmbed distribui o trabalho, permitindo que seja rico em palavras-chave e rico em significados ao mesmo tempo.

O Que os Números Dizem

Os pesquisadores testaram o UEmbed em alguns dos desafios mais difíceis do mundo da busca. Eles não olharam apenas para texto; lançaram imagens, vídeos e documentos complexos contra ele.

A Pontuação Gigante: Em um benchmark massivo chamado MMEB-v2, que testa o quão bem os modelos entendem diferentes tipos de mídia, a maior versão do UEmbed (o modelo de 9B, que possui 9 bilhões de parâmetros) obteve uma pontuação de 71.8 para sua busca de "vibe" e 71.0 para sua busca de "palavras-chave".
A Comparação: Isso é um grande feito. Normalmente, a busca baseada em palavras-chave fica atrás da busca de "vibe". Aqui, o modo de palavras-chave do UEmbed é quase tão bom quanto seu modo de vibe, e ele supera quase todos os outros modelos treinados em dados públicos. Por exemplo, ele superou um modelo de 7 bilhões de parâmetros chamado RzenEmbed-V2-7B (que marcou 71.1) e um modelo de 2 bilhões de parâmetros chamado Embed-RL-4B (que marcou 68.1).
A Eficiência: Como o UEmbed é construído como um modelo "apenas decodificador" (o mesmo tipo usado por chatbots populares), ele funciona bem com servidores de alta velocidade. Ele pode gerar esses resultados duplos de forma incrivelmente rápida, tornando-o prático para uso no mundo real.

Por Que Isso Importa: A Vantagem do "Agente"

O artigo sugere que essa abordagem de duplo poder não é apenas um truque legal; é uma necessidade prática para o futuro dos "agentes" de IA — programas inteligentes que navegam na web e realizam tarefas para você.

Quando um agente de IA está tentando resolver um problema, ele frequentemente faz perguntas curtas e ricas em palavras-chave como "melhor pizza perto de mim" ou "como consertar um vazamento". A busca densa de "vibe" às vezes perde essas buscas porque procura um significado profundo, enquanto a busca por palavras-chave é rápida, mas limitada. O UEmbed oferece o melhor dos dois mundos. Em testes em um benchmark chamado BrowseComp-Plus, os pesquisadores descobriram que o uso do modo de palavras-chave do UEmbed ajudou o agente de IA a encontrar a informação correta com menos tentativas de busca, economizando tempo e poder computacional.

Os Limites e o Futuro

Os autores são cuidadosos ao apontar que o UEmbed ainda não é perfeito. Eles notaram que o modelo às vezes fica um pouco confuso com idiomas que não sejam inglês e chinês, provavelmente porque foi treinado principalmente nesses dois. Eles também observaram que, às vezes, os "post-its mágicos" podem gritar palavras estranhas e não padronizadas (como "_alt" ou "_perm"), que são artefatos do dicionário interno do computador.

No entanto, a ideia central é sólida: o UEmbed prova que você não precisa escolher entre velocidade e inteligência, ou entre palavras e significado. Ao unificar esses dois mundos em um único modelo apenas decodificador, ele abre as portas para mecanismos de busca que são mais rápidos, mais inteligentes e capazes de entender todo o mundo digital — de uma única frase a um vídeo de longa duração — de uma só vez. É um novo paradigma onde o mecanismo de busca não apenas procura palavras ou apenas sente a vibe; ele faz ambos, instantaneamente.

Resumo Técnico: UEmbed

Declaração do Problema

Os sistemas modernos de recuperação de informação dependem cada vez mais da Recuperação Esparsa Aprendida (LSR - Learned Sparse Retrieval) para ir além da correspondência lexical exata em direção a uma compreensão semântica mais rica. No entanto, os métodos de LSR existentes enfrentam três limitações críticas:

Restrições Arquiteturais: Os modelos de LSR atuais são predominantemente construídos sobre arquiteturas de codificador bidirecional (ex: BERT). Eles não podem aproveitar nativamente os mecanismos de atenção causal de Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem Multimodais (MLLMs) baseados apenas em decodificador sem converter o backbone para comportamento bidirecional ou adotar currículos de treinamento complexos, o que aumenta os custos e quebra a compatibilidade com frameworks de serviço otimizados como o vLLM.
Modalidade Limitada: A maioria das abordagens de LSR é exclusivamente de texto. Extensões multimodais tipicamente dependem de módulos cross-modais auxiliares em vez de derivar representações esparsas diretamente de um backbone multimodal unificado, o que as torna difíceis de estender para novas modalidades.
Utilidade Inexplorada: As vantagens práticas da recuperação esparsa (ex: eficiência, interpretabilidade, utilidade de busca agêntica) permanecem subexaminadas além dos benchmarks de acurácia padrão.

Um desafio técnico específico ao adaptar a recuperação esparsa para modelos causais é o gargalo de informação: confiar em um único token (ex: EOS) para projetar em um espaço de vocabulário massivo limita severamente a capacidade representacional.

Metodologia: UEmbed

Os autores propõem o UEmbed (Unified Embedding), um modelo de embedding multimodal baseado apenas em decodificador que produz nativamente representações densas e esparsas lexicais em uma única passagem causal (forward pass).

Arquitetura Central

O UEmbed modifica um MLLM padrão baseado apenas em decodificador anexando $N$ tokens especiais aprendíveis ( $\langle s_1 \rangle, \dots, \langle s_N \rangle$ ) à sequência de entrada.

Particionamento de Vocabulário: O vocabulário $V$ é particionado em $N$ subconjuntos disjuntos ( $V_1, \dots, V_N$ ) usando agrupamento k-means. Isso incentiva cada token especial a agir como um "especialista tópico suave" para um subespaço semântico distinto.
Cabeças Esparsas Particionadas: Cada token especial $\langle s_k \rangle$ resume a entrada precedente via atenção causal e prevê pesos esparsos sobre seu subconjunto de vocabulário atribuído $V_k$ usando uma projeção linear:
$w^{(k)}_t = \log(1 + \text{ReLU}(W^{(k)\top}_t h_{s_k} + b^{(k)}_t))$
O vetor esparso final é a concatenação de todos os vetores de subconjuntos.
Representação Densa: O embedding denso é derivado do estado oculto do token EOS imediatamente anterior aos tokens especiais. Se apenas a recuperação densa for necessária, os tokens especiais podem ser omitidos, não incorrendo em computação extra.

Estratégia de Treinamento

Dados: Treinado em uma mistura de 3,94 milhões de amostras públicas cobrindo texto, imagens, vídeos e documentos visualmente ricos (fontes incluem Echo-embedding, MLDR e MMEB).
Mineração de Negativos Difíceis (Hard Negative Mining): Para dados multimodais que carecem de negativos, um modelo professor (Qwen3-VL-Embedding-8B) é usado para minerar negativos difíceis.
Objetivo Unificado: O modelo é treinado com uma perda combinada:
$L = L^{\text{dense}}_{\text{InfoNCE}} + \lambda L^{\text{sparse}}_{\text{InfoNCE}} + \alpha_q L^q_{\text{FLOPS}} + \alpha_d L^d_{\text{FLOPS}}$
Os regularizadores de FLOPS incentivam a esparsidade ao penalizar o peso do termo da média ao quadrado.

Principais Contribuições

Recuperação Unificada Baseada em Decodificador Único: O UEmbed é o primeiro modelo a produzir representações de recuperação densas e esparsas a partir de um único backbone de decodificador, eliminando a necessidade de codificadores bidirecionais ou módulos cross-modais auxiliares.
Estado da Arte em Recuperação Multimodal Esparsa: Tanto quanto os autores sabem, o UEmbed é o primeiro modelo esparso avaliado no MMEB-v2, estabelecendo um novo estado da arte na recuperação multimodal esparsa.
Demonstração de Utilidade Prática: O artigo demonstra que o modo esparso do UEmbed melhora a eficiência (compatibilidade nativa com índice invertido), a eficácia (via pontuação híbrida) e a utilidade na busca agêntica (reduzindo custos de chamadas de ferramenta).

Resultados Experimentais

O UEmbed foi avaliado em escalas de 2B, 4B e 9B de parâmetros.

Benchmarks Multimodais (MMEB-v2):
- UEmbed-9B alcança 71.8 (denso) e 71.0 (esparso), liderando todos os modelos treinados em dados públicos.
- A lacuna entre o desempenho denso e esparso é mínima (dentro de 1.0 ponto em todas as escalas), provando que embeddings esparsos são uma alternativa viável no domínio multimodal.
- O UEmbbed-4B (esparso, 69.7) supera o Ops-MM-Embed-7B denso (67.1).
Benchmarks de Texto (BEIR):
- O UEmbed-9B alcança uma média de nDCG@10 de 56.3 no modo denso e 55.2 no modo esparso.
- No modo esparso, o UEmbed-9B iguala o desempenho do modelo especialista Echo-Mistral-SPLAVE (55.2) enquanto simultaneamente suporta recuperação densa e entradas multimodais.
Busca Agêntica (BrowseComp-Plus):
- O modo esparso consistentemente requer menos rodadas de busca (chamadas de ferramenta) do que o contraparte denso, mantendo recall comparável ou superior, validando sua relação custo-benefício para raciocínio iterativo.

Significância e Alegações

O artigo posiciona o UEmbed como uma mudança de paradigma que unifica embeddings densos e esparsos dentro de um único modelo, estendendo a recuperação esparsa para unificar entradas de texto e multimodais.

Eficiência Arquitetural: Ao operar nativamente sob atenção causal, o UEmbed mantém a compatibilidade com stacks de serviço de alto rendimento (ex: vLLM) e busca por índice invertido padrão, oferecendo vantagens de implantação sobre modelos de LSR bidirecionais.
Eficácia: O modelo demonstra que a recuperação esparsa pode alcançar paridade de desempenho com a recuperação densa em configurações multimodais, desafiando a suposição de que vetores densos são estritamente superiores para modalidades complexas.
Interpretabilidade: O modo esparso fornece interpretabilidade inerente ao evidenciar termos de vocabulário ativados, o que auxilia na auditoria de viés e na compreensão das decisões do modelo.

Os autores reconhecem limitações, incluindo o viés linguístico (predominantemente Inglês/Chinês), a geração ocasional de tokens anômalos devido aos grandes tamanhos de vocabulário e uma lacuna de desempenho ligeiramente maior na recuperação de vídeo em comparação com documentos estáticos. No entanto, eles concluem que o UEmbed transforma com sucesso a recuperação esparsa de um módulo isolado legado em um subproduto nativo de MLLMs.