Anisotropy Decides Cosine vs. Rank Metrics for Text Embeddings

Resumen Técnico: La anisotropía decide entre métricas de Coseno vs. Rango para embeddings de texto

Planteamiento del problema

El método estándar para comparar embeddings de texto es la similitud de coseno. Sin embargo, la literatura dispersa sugiere que métricas alternativas (p. ej., distancia euclidiana, coeficiente de Tanimoto, medidas basadas en rangos) pueden superar al coseno en configuraciones específicas. Estos estudios no han logrado establecer una condición geométrica clara que determine cuándo una métrica distinta al coseno es superior o por qué ocurre la diferencia. La pregunta central abordada es: Para un codificador y una tarea dados, ¿puede cualquier métrica simple y libre de parámetros superar al coseno, y qué propiedad del codificador controla este resultado?

Metodología

Los autores llevaron a cabo un estudio empírico exhaustivo que involucró:

• Codificadores: Diecinueve codificadores distintos, que van desde sentence transformers compactos (p. ej., MiniLM, MPNet) hasta grandes modelos de lenguaje (hasta 7B de parámetros, incluyendo Qwen, Mistral y GPT-2). El conjunto incluye tanto modelos ajustados mediante objetivos de contraste (diseñados para recuperación) como modelos de lenguaje base utilizados sin ajuste fino.
• Métricas: Diecinueve métricas de similitud libres de parámetros extraídas de la literatura existente, categorizadas en:
  • Angular/Producto interno (Coseno, Producto punto, Tanimoto, Dice, etc.)
  • Minkowski/Distancia (L1, L2, L∞, Lp fraccional, Canberra, Bray-Curtis)
  • Geometría de la información (Jensen-Shannon, Hellinger, Bhattacharyya)
  • Basadas en rangos (Correlación de rango de Spearman)
• Conjuntos de datos: Siete conjuntos de datos a través de tres tipos de tareas: Similitud Semántica (STS-B, SICK-R, STS16), Detección de Paráfrasis (Quora, PAWS) e Inferencia (SNLI, MultiNLI).
• Evaluación: El rendimiento se midió mediante la correlación de rango de Spearman para tareas de clasificación y ROC-AUC/PR-AUC para tareas binarias. También se evaluó la calibración.
• Análisis geométrico: El estudio midió la "forma" del espacio de embeddings utilizando métricas como el IsoScore, la razón de participación y, específicamente, la dominancia de la dimensión errante (la fracción de la varianza total que posee la dimensión más dominante).
• Prueba causal: Para verificar si la anisotropía es la causa y no un correlato, los autores realizaron una "prueba de eliminación" proyectando fuera las principales direcciones principales (el truco "all-but-the-top") y reevaluando el rendimiento.

Hallazgos clave

El estudio revela una división clara en el rendimiento basada en las propiedades geométricas del espacio de embeddings, específicamente la anisotropía (la concentración de la varianza en unas pocas direcciones dominantes).

1. Codificadores bien distribuidos (Isotrópicos):

   • En codificadores donde la varianza se distribuye uniformemente (típicamente sentence transformers ajustados como BGE, E5 y MPNet), la similitud de coseno es la mejor opción libre de parámetros.
   • Las métricas alternativas no proporcionan una ventaja utilizable (ganancia promedio de ~0.001 en la correlación de Spearman).
   • Muchas de las "alternativas" propuestas (p. ej., similitud angular, similitud de correlación) son matemáticamente equivalentes al coseno cuando los vectores están normalizados, simplemente reescalando el mismo ranking.

2. Codificadores congestionados (Anisotrópicos):

   • En codificadores donde la varianza se concentra en unas pocas direcciones dominantes (típicamente modelos de lenguaje base como GPT-2, RoBERTa y Qwen utilizados sin ajuste de contraste), la similitud de coseno funciona mal.
   • Las métricas basadas en rangos y de tipo L1 (Manhattan, Canberra, Bray-Curtis) superan al coseno por un margen claro (ganancia promedio de ~0.055 en la correlación de Spearman).
   • Esto representa una mejora relativa de aproximadamente un 20% en promedio, y de hasta un 59% en casos extremos como GPT-2, debido a que el coseno parte de una base baja en estos modelos.

3. El factor decisivo:

   • El resultado está determinado por la geometría del espacio de embeddings, no por el objetivo de entrenamiento en sí.
   • La dominancia de la dimensión errante (la fracción de varianza de la dimensión más grande) predice la ganancia de rendimiento de las métricas alternativas con una correlación de rango de 0.86 y una correlación lineal de 0.95.
   • Aunque los objetivos de entrenamiento (contraste vs. plano) suelen correlacionarse con la geometría, no son la causa directa. Por ejemplo, E5-Mistral (entrenado con un objetivo de coseno) sigue siendo anisotrópico y se beneficia de métricas alternativas, mientras que Multilingual BERT (un modelo plano) está bien distribuido y no lo es.

4. Mecanismo:

   • La similitud de coseno es un producto interno L2-normalizado. Cuando una sola dirección posee una parte masiva de la varianza, esta domina el producto interno, haciendo que vectores no relacionados parezcan similares (los ángulos se reducen hacia cero).
   • Las métricas basadas en rangos ignoran la magnitud de las coordenadas, centrándose solo en el orden, mientras que las métricas de tipo L1 suman las diferencias absolutas, evitando que una sola coordenada grande domine el cálculo de la distancia.

Validación y evidencia causal

Para confirmar que la anisotropía es la causa, los autores eliminaron las principales direcciones principales de los embeddings:

• En codificadores congestionados: Eliminar las 10 direcciones superiores causó que el rendimiento del coseno se recuperara significamente (de un Spearman medio de 0.32 a 0.42), y la ventaja de las métricas alternativas casi desapareció.
• En codificadores bien distribuidos: La misma eliminación degradó ligeramente el rendimiento del coseno (ya que esas direcciones contenían señal) y no cambió la ventaja de la métrica (que permaneció cerca de cero).
• Control: Eliminar direcciones aleatorias en lugar de las principales no produjo la misma recuperación, confirmando que el efecto es específico de las direcciones dominantes.

Significado y afirmaciones

La contribución principal del artículo es una regla diagnóstica más que una nueva métrica o modelo.

• Guía práctica: Para la gran mayoría de los sistemas desplegados que utilizan codificadores ajustados (que suelen estar bien distribuidos), la similitud de coseno sigue siendo la elección correcta libre de parámetros. Cambiar de métricas en estos escenarios produce ganancias insignificantes.
• Identificación de riesgos: Para usuarios que emplean embeddings de modelos de lenguaje base o ajustados por instrucciones sin ajuste fino (común en tuberías de recuperación o clustering donde se omite el ajuste fino), el coseno puede no ser fiable.
• Verificación accionable: Los profesionales pueden calcular un solo número (dominancia de la dimensión errante) para determinar si su codificador es anisotrópico. Si el valor es alto, deberían usar una métrica basada en rangos/L1 o eliminar las dimensiones dominantes para restaurar la efectividad del coseno.
• Unificación: El estudio resuelve las discrepancias de la literatura previa demostrando que ambas afirmaciones (el coseno es el mejor; las alternativas son mejores) son correctas dependiendo del estado geométrico del codificador específico utilizado.

Los autores enfatizan la modestia respecto a las ganancias absolutas (aprox. 0.05 de Spearman), señalando que, aunque son significativas en relación con la baja base de los modelos anisotrópicos, no elevan el rendimiento de los embeddings de los LLM al nivel de los codificadores ajustados y bien distribuidos. El trabajo separa el papel de la geometría del espacio de embeddings del papel de la métrica de comparación.