Anisotropy Decides Cosine vs. Rank Metrics for Text Embeddings

Resumo Técnico: A Anisotropia Decide entre Métricas de Cosseno vs. Rank para Embeddings de Texto

Declaração do Problema

O método padrão para comparar embeddings de texto é a similaridade de cosseno. No entanto, a literatura dispersa sugere que métricas alternativas (ex: distância euclidiana, coeficiente de Tanimoto, medidas baseadas em rank) podem superar o cosseno em configurações específicas. Esses estudos falharam em estabelecer uma condição geométrica clara que determine quando uma métrica não-cosseno é superior ou por que a diferença ocorre. A questão central abordada é: para um determinado codificador e tarefa, existe alguma métrica simples e livre de parâmetros que possa vencer o cosseno, e qual propriedade do codificador controla esse resultado?

Metodologia

Os autores conduziram um estudo empírico abrangente envolvendo:

• Codificadores: Dezenove codificadores distintos, variando de sentence transformers compactos (ex: MiniLM, MPNet) a grandes modelos de linguagem (até 7B parâmetros, incluindo Qwen, Mistral e GPT-2). O conjunto inclui tanto modelos ajustados via objetivos contrastivos (projetados para recuperação) quanto modelos de linguagem base utilizados sem ajuste fino.
• Métricas: Dezenove métricas de similaridade livres de parâmetros extraídas da literatura existente, categorizadas em:
  • Angular/Produto interno (Cosseno, Produto escalar, Tanimoto, Dice, etc.)
  • Minkowski/Distância (L1, L2, L∞, Lp fracionário, Canberra, Bray-Curtis)
  • Geometria da informação (Jensen-Shannon, Hellinger, Bhattacharyya)
  • Baseadas em rank (Correlação de rank de Spearman)
• Datasets: Sete datasets através de três tipos de tarefas: Similaridade Semântica (STS-B, SICK-R, STS16), Detecção de Paráfrase (Quora, PAWS) e Inferência (SNLI, MultiNLI).
• Avaliação: O desempenho foi medido usando correlação de rank de Spearman para tarefas de ranking e ROC-AUC/PR-AUC para tarefas binárias. A calibração também foi avaliada.
• Análise Geométrica: O estudo mediu a "forma" do espaço de embedding usando métricas como IsoScore, razão de participação e, especificamente, a dominância da dimensão rogue (a fração da variância total detida pela única dimensão mais dominante).
• Teste Causal: Para verificar se a anisotropia é a causa em vez de um correlato, os autores realizaram um "teste de remoção" projetando para fora as principais direções principais (o truque "all-but-the-top") e reavaliando o desempenho.

Principais Descobertas

O estudo revela uma divisão clara no desempenho baseada nas propriedades geométricas do espaço de embedding, especificamente a anisotropia (a concentração de variância em poucas direções dominantes).

1. Codificadores Bem-Espalhados (Isotrópicos):

   • Em codificadores onde a variância é distribuída uniformemente (tipicamente sentence transformers ajustados como BGE, E5 e MPNet), a similaridade de cosseno é a melhor escolha livre de parâmetros.
   • Métricas alternativas não oferecem margem utilizável (ganho médio de ~0,001 na correlação de Spearman).
   • Muitas "alternativas" propostas (ex: similaridade angular, similaridade de correlação) são matematicamente equivalentes ao cosseno quando os vetores são normalizados, apenas reescalonando o mesmo ranking.

2. Codificadores Aglomerados (Anisotrópicos):

   • Em codificadores onde a variância se concentra em poucas direções dominantes (tipicamente modelos de linguagem base como GPT-2, RoBERTa e Qwen usados sem ajuste fino contrastivo), a similaridade de cosseno performa mal.
   • Métricas baseadas em rank e do tipo L1 (Manhattan, Canberra, Bray-Curtis) superam o cosseno por uma margem clara (ganho médio de ~0,055 na correlação de Spearman).
   • Isso representa uma melhoria relativa de aproximadamente 20% em média, e até 59% para casos extremos como o GPT-2, porque o cosseno parte de uma linha de base baixa nesses modelos.

3. O Fator Decisivo:

   • O resultado é determinado pela geometria do espaço de embedding, não pelo objetivo de treinamento em si.
   • A dominância da dimensão rogue (a fração de variância da maior dimensão individual) prevê o ganho de desempenho das métricas alternativas com uma correlação de rank de 0,86 e uma correlação linear de 0,95.
   • Embora os objetivos de treinamento (contrastivo vs. comum) frequentemente correlacionem com a geometria, eles não são a causa direta. Por exemplo, o E5-Mistral (treinado com um objetivo de cosseno) permanece anisotrópico e se beneficia de métricas alternativas, enquanto o Multilingual BERT (um modelo comum) é bem-espalhado e não apresenta essa necessidade.

4. Mecanismo:

   • A similaridade de cosseno é um produto interno L2-normalizado. Quando uma única direção detém uma parcela massiva da variância, ela domina o produto interno, fazendo com que vetores não relacionados pareçam similares (os ângulos encolhem em direção a zero).
   • Métricas baseadas em rank ignoram a magnitude das coordenadas, focando apenas na ordem, enquanto métricas do tipo L1 somam diferenças absolutas, impedindo que uma única coordenada grande domine o cálculo da distância.

Validação e Evidência Causal

Para confirmar que a anisotropia é a causa, os autores removeram as principais direções principais dos embeddings:

• Em Codificadores Aglomerados: Remover as top 10 direções fez o desempenho do cosseno recuperar-se significativamente (de uma média de Spearman 0,32 para 0,42), e a vantagem das métricas alternativas quase desapareceu.
• Em Codificadores Bem-Espalhados: A mesma remoção degradou levemente o desempenho do cosseno (pois aquelas direções detinham sinal) e não alterou a vantagem da métrica (que permaneceu próxima de zero).
• Controle: Remover direções aleatórias em vez das principais não produziu a mesma recuperação, confirmando que o efeito é específico para as direções dominantes.

Significância e Alegações

A principal contribuição do artigo é uma regra diagnóstica, em vez de uma nova métrica ou modelo.

• Orientação Prática: Para a vasta maioria dos sistemas implantados utilizando embedders ajustados (que são tipicamente bem-espalhados), a similaridade de cosseno continua sendo a escolha correta livre de parâmetros. Mudar as métricas nesses cenários gera ganhos insignificantes.
• Identificação de Risco: Para usuários empregando embeddings de modelos de linguagem brutos ou ajustados por instrução sem ajuste fino (comum em pipelines de recuperação ou agrupamento onde o ajuste fino é pulado), o cosseno pode ser pouco confiável.
• Verificação Acionável: Profissionais podem calcular um único número (dominância da dimensão rogue) para determinar se seu codificador é anisotrópico. Se o valor for alto, eles devem usar uma métrica baseada em rank/L1 ou remover as dimensões dominantes para restaurar a eficácia do cosseno.
• Unificação: O estudo resolve as divergências da literatura anterior mostrando que ambas as afirmações (cosseno é o melhor; alternativas são melhores) estão corretas, dependendo do estado geométrico do codificador específico utilizado.

Os autores enfatizam a modéstia em relação aos ganhos absolutos (aprox. 0,05 de Spearman), observando que, embora significativos em relação à baixa linha de base de modelos anisotrópicos, isso não eleva o desempenho dos embeddings de LLMs ao nível de embedders bem-espalhados e ajustados. O trabalho separa o papel da geometria do espaço de embedding do papel da métrica de comparação.