Anisotropy Decides Cosine vs. Rank Metrics for Text Embeddings

Sintesi Tecnica: L'anisotropia decide tra metriche Cosine e Rank per gli embedding testuali

Definizione del Problema

Il metodo standard per confrontare gli embedding testuali è la similarità del coseno. Tuttavia, una letteratura sparsa suggerisce che metriche alternative (ad es. distanza euclidea, coefficiente di Tanimoto, misure basate sul rango) possano superare il coseno in scenari specifici. Questi studi non sono riusciti a stabilire una chiara condizione geometrica che determini quando una metrica non-cosine sia superiore o perché avvenga la differenza. La domanda centrale affrontata è: per un dato encoder e un dato compito, esiste una metrica semplice e priva di parametri che possa battere il coseno, e quale proprietà dell'encoder controlla questo esito?

Metodologia

Gli autori hanno condotto uno studio empirico esaustivo che coinvolge:

• Encoder: Diciannove encoder distinti, che spaziano da compatti sentence transformer (es. MiniLM, MPNet) a grandi modelli linguistici (fino a 7 miliardi di parametri, inclusi Qwen, Mistral e GPT-2). Il set include sia modelli sottoposti a fine-tuning con obiettivi contrastivi (progettati per il retrieval) sia modelli linguistici base utilizzati senza fine-tuning.
• Metriche: Diciannove metriche di similarità prive di parametri tratte dalla letteratura esistente, categorizzate in:
  • Angolari/Prodotto interno (Coseno, Prodotto scalare, Tanimoto, Dice, ecc.)
  • Minkowski/Distanza (L1, L2, L∞, Lp frazionario, Canberra, Bray-Curtis)
  • Geometria dell'informazione (Jensen-Shannon, Hellinger, Bhattacharyya)
  • Basate sul rango (Correlazione di rango di Spearman)
• Dataset: Sette dataset attraverso tre tipologie di task: Similarità Semantica (STS-B, SICK-R, STS16), Rilevamento di Parafrasi (Quora, PAWS) e Inferenza (SNLI, MultiNLI).
• Valutazione: Le prestazioni sono state misurate tramite la correlazione di rango di Spearman per i task di ranking e ROC-AUC/PR-AUC per i task binari. Anche la calibrazione è stata valutata.
• Analisi Geometrica: Lo studio ha misurato la "forma" dello spazio di embedding utilizzando metriche come l'IsoScore, il rapporto di partecipazione e, specificamente, la dominanza della dimensione rogue (la frazione della varianza totale detenuta dalla singola dimensione più dominante).
• Test Causale: Per verificare se l'anisotropia fosse la causa piuttosto che una correlazione, gli autori hanno eseguito un "test di rimozione" proiettando fuori le principali direzioni principali (il trucco "all-but-the-top") e rivalutando le prestazioni.

Risultati Chiave

Lo studio rivela una netta divisione nelle prestazioni basata sulle proprietà geometriche dello spazio di embedding, specificamente l'anisotropia (la concentrazione della varianza in poche direzioni dominanti).

1. Encoder Ben Distribuiti (Isotropi):

   • Sugli encoder in cui la varianza è distribuita uniformemente (tipicamente sentence transformer sottoposti a fine-tuning come BGE, E5 e MPNet), la similarità del coseno è la migliore scelta priva di parametri.
   • Le metriche alternative non forniscono alcun margine utilizzabile (guadagno medio di ~0,001 nella correlazione di Spearman).
   • Molte delle "alternative" proposte (ad es. similarità angolare, similarità di correlazione) sono matematicamente equivalenti al coseno quando i vettori sono normalizzati, limitandosi a riscalare lo stesso ranking.

2. Encoder Affollati (Anisotropi):

   • Negli encoder in cui la varianza si concentra in alcune direzioni dominanti (tipicamente modelli linguistici base come GPT-2, RoBERTa e Qwen utilizzati senza fine-tuning contrastivo), la similarità del coseno performa scarsamente.
   • Le metriche basate sul rango e di tipo L1 (Manhattan, Canberra, Bray-Curtis) superano il coseno con un margine netto (guadagno medio di ~0,055 nella correlazione di Spearman).
   • Ciò rappresenta un miglioramento relativo di circa il 20% in media, e fino al 59% per casi estremi come GPT-2, poiché il coseno parte da una base bassa su questi modelli.

3. Il Fattore Decisivo:

   • L'esito è determinato dalla geometria dello spazio di embedding, non dall'obiettivo di addestramento stesso.
   • La dominanza della dimensione rogue (la frazione di varianza della dimensione più grande) predice il guadagno di performance delle metriche alternative con una correlazione di rango di 0,86 e una correlazione lineare di 0,95.
   • Sebbene gli obiettivi di addestramento (contrastivi vs plain) spesso correlino con la geometria, essi non sono la causa diretta. Ad esempio, E5-Mistral (addestrato con un obiettivo del coseno) rimane anisotropo e beneficia di metriche alternative, mentre Multilingual BERT (un modello plain) è ben distribuito e non ne beneficia.

4. Meccanismo:

   • La similarità del coseno è un prodotto interno L2-normalizzato. Quando una singola direzione detiene una quota massiccia della varianza, essa domina il prodotto interno, facendo apparire vettori non correlati simili (gli angoli si restringono verso lo zero).
   • Le metriche basate sul rango ignorano l'ampiezza delle coordinate, concentrandosi solo sull'ordine, mentre le metriche di tipo L1 sommano le differenze assolute, impedendo a una singola coordinata elevata di dominare il calcolo della distanza.

Validazione ed Evidenza Causale

Per confermare che l'anisotropia sia la causa, gli autori hanno rimosso le principali direzioni principali dagli embedding:

• Sugli Encoder Affollati: Rimuovere le prime 10 direzioni ha causato un recupero significativo delle prestazioni del coseno (da una media Spearman di 0,32 a 0,42) e il vantaggio delle metriche alternative è quasi svanito.
• Sugli Encoder Ben Distribuiti: La stessa rimozione ha leggermente degradato le prestazioni del coseno (poiché quelle direzioni contenevano segnale) e non ha cambiato il vantaggio della metrica (che è rimasto vicino allo zero).
• Controllo: Rimuovere direzioni casuali invece di quelle principali non ha prodotto lo stesso recupero, confermando che l'effetto è specifico per le direzioni dominanti.

Significato e Claim

Il contributo primario del paper è una regola diagnostica piuttosto che una nuova metrica o un nuovo modello.

• Guida Pratica: Per la stragrande maggioranza dei sistemi implementati utilizzando embedder sottoposti a fine-tuning (che sono tipicamente ben distribuiti), la similarità del coseno rimane la scelta corretta priva di parametri. Cambiare metriche in questi scenari produce guadagni trascurabili.
• Identificazione del Rischio: Per gli utenti che impiegano embedding di modelli linguistici grezzi o istruiti (instruction-tuned) senza fine-tuning (comune in pipeline di retrieval o clustering dove il fine-tuning viene saltato), il coseno potrebbe essere inaffidabile.
• Verifica Azionabile: I professionisti possono calcolare un singolo numero (dominanza della dimensione rogue) per determinare se il loro encoder è anisotropo. Se il valore è alto, dovrebbero utilizzare una metrica basata sul rango/L1 oppure rimuovere le dimensioni dominanti per ripristinare l'efficacia del coseno.
• Unificazione: Lo studio risolve le discrepanze della letteratura precedente mostrando che entrambe le affermazioni (il coseno è il migliore; le alternative sono migliori) sono corrette a seconda dello stato geometrico dello specifico encoder utilizzato.

Gli autori sottolineano la modestia riguardo ai guadagni assoluti (circa 0,05 di Spearman), notando che, sebbene significativi rispetto alla bassa base degli modelli anisotropi, non elevano le prestazioni degli embedding dei modelli LLM al livello di quelli ben distribuiti e sottoposti a fine-tuning. Il lavoro separa il ruolo della geometria dello spazio di embedding dal ruolo della metrica di confronto.