Enhancing Lexicon-Based Text Embeddings with Large Language Models

O artigo apresenta o LENS, um método inovador de incorporação de texto baseado em léxico que utiliza modelos de linguagem grandes para agrupar vocabulários e reduzir redundância, alcançando desempenho competitivo e compacto em benchmarks como MTEB, além de permitir a combinação com incorporações densas para atingir o estado da arte em tarefas de recuperação.

O essencial

Imagine que você tem uma biblioteca gigante (um Modelo de Linguagem Grande ou LLM) que sabe ler e entender qualquer coisa. O problema é que, para essa biblioteca funcionar, ela precisa transformar cada palavra em uma lista de números (um "vetor" ou "embedding") para que o computador possa processar.

Até agora, a maioria das pesquisas focou em criar listas de números densas e compactas, como um resumo muito curto de um livro. Mas os autores deste paper, o LENS, decidiram tentar algo diferente: criar listas baseadas no dicionário (lexicon-based), onde cada número representa uma palavra específica do dicionário.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: A Biblioteca Bagunçada

Imagine que você tem um dicionário onde a palavra "educação" aparece de várias formas confusas: "edu", "cação", "Educação", "educação", "edu cation".

• O que acontecia antes: Quando o computador tentava entender o texto, ele ficava confuso. Ele tratava "edu" e "educação" como coisas totalmente diferentes, ou pior, como se fossem a mesma coisa com pesos diferentes, gerando "ruído" (barulho) na informação.
• A analogia: É como se você estivesse procurando um livro na biblioteca, mas o sistema de catalogação tivesse erros de digitação e repetições infinitas. Você perde tempo e não acha o que precisa.

2. A Solução do LENS: O "Agrupador Inteligente"

Os autores criaram o LENS para resolver essa bagunça. Eles usaram uma técnica chamada agrupamento (clustering).

• Como funciona: Em vez de tratar cada variação da palavra como algo único, o LENS pega todas as variações (como "edu", "Educação", "educação") e as joga em um mesmo "cesto" ou "grupo".
• A analogia: Imagine que você tem centenas de moedas espalhadas no chão (algumas de 1 real, outras de 10 centavos, algumas sujas, outras limpas). O LENS é como um robô que pega todas as moedas de 1 real, junta-as em um saquinho e diz: "Este saquinho vale 1 real". Isso reduz o tamanho do problema e limpa a confusão. Agora, em vez de ter 32.000 palavras diferentes, o sistema trabalha com 4.000 ou 8.000 "grupos de significado".

3. A Mágica da "Visão Bidirecional"

Os modelos de linguagem modernos (como o Mistral) geralmente leem apenas da esquerda para a direita, como se alguém lesse um livro sem poder voltar para o início da frase para entender o contexto.

• O que o LENS faz: Eles modificaram o modelo para que ele pudesse olhar para o passado e o futuro ao mesmo tempo (atenção bidirecional).
• A analogia: Imagine que você está tentando adivinhar a palavra que falta em uma frase. Se você só olhar para o que veio antes, pode errar. Mas se puder olhar para o que vem depois também, a resposta fica óbvia. O LENS permite que a palavra "banco" entenda se ela é um "banco de sentar" ou um "banco de dinheiro" olhando para as palavras ao redor, não apenas para as que vieram antes.

4. Os Resultados: Por que isso é legal?

O LENS não é apenas "mais do mesmo". Ele traz vantagens incríveis:

• Transparência (O "Raio-X"): Como cada número na lista representa um grupo de palavras, você pode olhar para o resultado e ver exatamente quais palavras o computador achou importantes.
  • Exemplo: Se você perguntar sobre "carros baratos", o sistema mostra que os grupos "barato", "econômico" e "carro" foram ativados. É como ter uma lista de compras visível, em vez de um código secreto.
• Eficiência (O "Poda Natural"): O LENS é tão bem organizado que você pode simplesmente "cortar" as partes menos importantes da lista de números (como cortar as pontas de um bolo) sem precisar re-treinar o modelo do zero. Ele continua funcionando muito bem, mesmo com menos dados.
• O Super-Híbrido: Quando eles misturaram o LENS (o dicionário organizado) com os modelos tradicionais densos (o resumo compacto), o resultado foi o melhor do mundo em tarefas de busca (retrieval).
  • Analogia: É como ter um detetive que tem um mapa detalhado da cidade (LENS) e, ao mesmo tempo, um GPS rápido (modelo denso). Juntos, eles encontram o destino mais rápido e com mais precisão do que qualquer um sozinho.

Resumo em uma frase

O LENS é como um organizador de biblioteca que pega um dicionário gigante e bagunçado, agrupa palavras parecidas em "cestos" inteligentes, permite que o computador leia o texto de trás para frente e para frente para entender o contexto, e cria um sistema de busca que é transparente, eficiente e extremamente inteligente.

Eles provaram que, às vezes, voltar a olhar para as palavras individuais (com organização) é tão poderoso quanto criar resumos abstratos, especialmente quando combinado com a inteligência dos modelos modernos.

Resumo técnico

1. Problema e Motivação

O artigo aborda o desafio de aplicar embeddings baseados em léxico (onde cada dimensão do vetor corresponde a um token específico do vocabulário) utilizando Grandes Modelos de Linguagem (LLMs) modernos. Embora embeddings densos (baixa dimensionalidade, espaço latente contínuo) dominem a pesquisa atual, embeddings baseados em léxico oferecem vantagens como transparência e alinhamento natural com objetivos de pré-treinamento de modelos de linguagem.

No entanto, a aplicação direta de LLMs a embeddings léxicos enfrenta dois obstáculos principais, ilustrados na Figura 1 do artigo:

1. Redundância e Ruído no Tokenizador: Os tokenizadores modernos (baseados em subpalavras) fragmentam o vocabulário. Palavras semanticamente equivalentes podem aparecer em múltiplas formas (ex: "what", "What", " what", "edu", "cation"), criando inconsistências e dificultando a correspondência léxica. Isso infla o vocabulário e introduz ruído.
2. Atenção Unidirecional: A maioria dos LLMs (modelos causais) utiliza atenção unidirecional durante o pré-treinamento (cada token vê apenas os anteriores). Isso impede que os tokens aproveitem o contexto completo, o que é crucial para embeddings léxicos que dependem das saídas de todos os tokens.

Métodos anteriores, como PromptReps e Mistral-SPLADE, tentaram contornar isso apenas com engenharia de prompts, resultando em desempenho inferior aos embeddings densos.

2. Metodologia: O Framework LENS

Os autores propõem o LENS (Lexicon-based Embeddings from LLMs), um framework que resolve os problemas acima através de três pilares principais:

A. Agrupamento de Embeddings de Tokens (Token Embedding Clustering)

Para lidar com a redundância do tokenizador:

• Em vez de usar o vocabulário original (que pode ter dezenas de milhares de tokens), o LENS aplica o algoritmo K-Means para agrupar os embeddings dos tokens do cabeçalho de modelagem de linguagem (LM Head).
• Tokens semanticamente similares (ex: variações de maiúsculas/minúsculas ou subpalavras da mesma raiz) são agrupados em clusters.
• O centroide de cada cluster substitui os embeddings originais dos tokens.
• Resultado: O espaço de vocabulário é consolidado. Um modelo que originalmente geraria embeddings de 32.000 dimensões (vocabulário original) pode gerar embeddings de 4.000 ou 8.000 dimensões (tamanho comparável a embeddings densos), mantendo a natureza léxica.

B. Atenção Bidirecional (Bidirectional Attention)

Para superar a limitação da atenção unidirecional:

• Diferente de métodos que usam prompts complexos, o LENS modifica diretamente a arquitetura durante o fine-tuning para permitir atenção bidirecional.
• Isso permite que cada token acesse o contexto completo (esquerda e direita), melhorando significativamente a qualidade da representação léxica.

C. Geração de Representação e Treinamento

• Pooling: Após a geração dos logits (probabilidades sobre os clusters), aplica-se uma transformação de saturação logarítmica e max-pooling ao longo da sequência para obter o vetor final.
• Treinamento: O modelo é treinado usando apenas dados públicos (mistura de tarefas de recuperação, classificação, etc.) e a função de perda InfoNCE (contrastiva), seguindo o mesmo protocolo do modelo denso de referência BGE-en-ICL. Não há uso de hard-negative mining complexo ou dados sintéticos, garantindo uma comparação justa.

3. Contribuições Chave

1. Primeiro Embedding Léxico com LLMs Competitivo: O LENS é o primeiro método a demonstrar que embeddings baseados em léxico podem competir e superar embeddings densos em tarefas gerais, não apenas em recuperação.
2. Consolidação de Vocabulário via Clustering: Introduz uma técnica simples e eficaz para reduzir a dimensionalidade e o ruído dos tokenizadores de LLMs, tornando os embeddings léxicos viáveis para frameworks existentes (como FAISS) e tarefas não baseadas em índice invertido (ex: clustering, classificação).
3. Descoberta sobre Arquitetura: Demonstra que, ao contrário do que se acreditava para embeddings densos (onde a arquitetura original unidirecional é ótima), a atenção bidirecional é crítica para o sucesso de embeddings léxicos em LLMs.
4. Esparsidade Natural e Eficiência: O LENS suporta pruning (poda) de dimensões de forma natural. Como cada dimensão representa um cluster léxico distinto, é possível reter apenas as top-K dimensões ativas durante a inferência sem necessidade de treinamento especial (como Matryoshka Representation Learning), mantendo alta performance.
5. Combinação Híbrida: Mostra que a concatenação de embeddings léxicos (LENS) e densos (BGE-en-ICL) atinge o estado da arte (SOTA) em recuperação.

4. Resultados Experimentais

Os experimentos foram conduzidos no MTEB (Massive Text Embedding Benchmark) e no AIR-Bench.

• Desempenho Geral (MTEB):
  • O modelo LENS-8000 (8.000 clusters) alcançou a melhor média geral entre todos os modelos treinados exclusivamente com dados públicos, superando o BGE-en-ICL (seu equivalente denso) e competindo com modelos que usam dados privados ou pipelines de treinamento complexos (como NV-Embed-v2).
  • O LENS superou embeddings densos em 6 das 7 categorias de tarefas do MTEB.
• Recuperação (BEIR/AIR-Bench):
  • No subset de recuperação do MTEB (BEIR), o LENS-8000 superou o NV-Embed-v2.
  • A combinação LENS + BGE-en-ICL atingiu o desempenho SOTA no subset de recuperação (63.00 de média), superando todos os modelos individuais.
• Eficiência e Poda:
  • Ao aplicar Top-K pruning (reduzindo 4.000 dimensões para 256), o LENS manteve um desempenho robusto com degradação mínima, superando modelos densos que foram explicitamente treinados para suportar múltiplos tamanhos (como o Gecko).
• Análise Qualitativa:
  • Exemplos mostram que o LENS agrupa corretamente sinônimos, formas morfológicas e variações de caixa (ex: "review", "Review", "reviews" no mesmo cluster).
  • As representações capturam significado profundo (ex: associar "hipoxia" a "oxigênio"), indo além da correspondência superficial de tokens.

5. Significância e Conclusão

O trabalho LENS é significativo porque redefine o potencial dos embeddings baseados em léxico na era dos LLMs. Ele prova que:

1. A transparência e a interpretabilidade dos embeddings léxicos não precisam ser sacrificadas em favor da performance dos embeddings densos.
2. A combinação de agrupamento de vocabulário e atenção bidirecional é a chave para desbloquear o potencial de LLMs para tarefas de representação de texto.
3. A fusão de abordagens léxicas e densas oferece uma rota para o estado da arte em recuperação de informação.

Limitações: O trabalho focou apenas em inglês e no modelo Mistral-7B. O uso de LLMs como backbone aumenta o custo computacional em comparação com modelos menores como o BERT usado no SPLADE original.

Em resumo, o LENS oferece uma alternativa robusta, transparente e eficiente aos embeddings densos, estabelecendo um novo patamar para representações de texto baseadas em léxico.