Semantic Recall for Vector Search

Titolo: Semantic Recall for Vector Search

Autori: Leonardo Kuffo, Ioanna Tsakalidou, Roberta De Viti, Albert Angel, Jiří Iša, Rastislav Lenhardt.
Conferenza: SIGIR '26 (Melbourne, 2026).

1. Il Problema

Negli ultimi anni, l'Information Retrieval (IR) basato su embedding vettoriali è diventato dominante. I sistemi moderni trasformano query e documenti in vettori ad alta dimensionalità e utilizzano algoritmi di Ricerca del Vicino Più Vicino Approssimata (ANNS) per trovare risultati simili.

Tuttavia, la metrica standard per valutare la qualità di questi algoritmi è il Recall Tradizionale, definito come la proporzione di vicini del ground truth (ottenuti tramite ricerca esatta) che vengono recuperati dall'algoritmo approssimato. Il paper identifica tre limiti critici di questo approccio:

1. Penalizzazione del "Rumore Matematico": Il recall tradizionale penalizza l'algoritmo se non recupera un vicino che è matematicamente più vicino alla query ma semanticamente irrilevante. Poiché gli spazi vettoriali contengono spesso molti punti irrilevanti con distanze quasi identiche (rumore), gli algoritmi ANNS vengono penalizzati per non averli recuperati, anche se l'utente non li desidera.
2. Limiti del Modello di Embedding: Se un modello di embedding non riesce a posizionare un oggetto semanticamente rilevante vicino alla query (un errore del modello), la ricerca esatta non lo troverà. Di conseguenza, il recall tradizionale non può premiare un sistema che, pur trovando un oggetto rilevante "migliore" (ma non nel ground truth matematico), viene penalizzato perché non corrisponde al ground truth imperfetto.
3. Scarsa Correlazione con l'Esperienza Utente: Un basso recall tradizionale non sempre indica una bassa qualità percepita dall'utente, specialmente quando le query hanno pochi risultati rilevanti tra i vicini matematici più prossimi.

2. Metodologia e Proposte

Gli autori introducono due nuove metriche per superare i limiti del recall tradizionale:

A. Semantic Recall (Ricordo Semantico)

Questa metrica valuta la qualità della ricerca considerando solo gli oggetti semanticamente rilevanti che sono teoricamente recuperabili tramite una ricerca esatta (ground truth).

• Definizione: Dati un insieme di vicini del ground truth ($G$) e un insieme di vicini recuperati ($R$), si identifica un sottoinsieme di $G$ chiamato "Vicini Semantici" ($SN$), ovvero quelli rilevanti per la query secondo un giudice esterno.
• Formula: $srecall = \frac{|R \cap SN|}{|SN|}$.
• Vantaggio: Non penalizza l'algoritmo per la mancata estrazione di vicini matematicamente vicini ma semanticamente irrilevanti. Si concentra esclusivamente sul recupero dei risultati che contano per l'utente.
• Identificazione dei Vicini Semantici: Viene utilizzato un processo a due passi: calcolo del ground truth esatto e classificazione di ciascun elemento come "Rilevante" o "Non Rilevante" tramite giudici umani o Modelli Linguistici di Grande Dimensione (LLM).

B. Tolerant Recall (Ricordo Tollerante)

Questa è una metrica "proxy" utilizzata quando non è possibile identificare i vicini semantici (es. si hanno solo gli embedding e non i dati grezzi).

• Concetto: Permette di sostituire un vero vicino del ground truth con un risultato recuperato se i loro punteggi di similarità sono sufficientemente vicini (entro una soglia di tolleranza $x\%$).
• Logica: Se un oggetto recuperato ha un punteggio simile a quello di un vero vicino, è considerato un successo, anche se non è lo stesso oggetto esatto. Questo rende la metrica robusta alle piccole perturbazioni nei punteggi (es. dovute alla quantizzazione) che potrebbero cambiare l'ordine dei vicini irrilevanti.

3. Contributi Chiave

1. Definizione del Semantic Recall: Una nuova metrica che allinea la valutazione degli algoritmi ANNS con l'obiettivo reale della ricerca semantica (trovare risposte rilevanti, non solo vicini matematici).
2. Metodologia di Identificazione: Un approccio efficiente per identificare i vicini semantici utilizzando LLM per giudicare solo il sottoinsieme del ground truth (top-$k$), evitando la costosa annotazione di interi dataset.
3. Introduzione del Tolerant Recall: Una metrica pratica che approssima il semantic recall senza richiedere dati grezzi, robusta agli aggiornamenti dei dataset e alla quantizzazione.
4. Analisi Empirica: Dimostrazione che le query con pochi risultati rilevanti sono comuni nei dataset di embedding e che il recall tradizionale è fuorviante in questi scenari.
5. Ottimizzazione Costo-Qualità: Evidenza che ottimizzare gli algoritmi per semantic/tolerant recall porta a trade-off costo-qualità migliori rispetto all'ottimizzazione per il recall tradizionale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come MSMARCO (testo) e MIRACL (tedesco/thailandese), utilizzando modelli come Gemini Embedding e ScaNN.

• Distribuzione dei Risultati: L'analisi mostra una distribuzione bimodale: molte query hanno pochi vicini semantici (0-15) tra i top-100 risultati esatti. In questi casi, il recall tradizionale è basso (es. 0.762) perché l'algoritmo fallisce nel recuperare vicini irrilevanti che sono matematicamente vicini, mentre il semantic recall è alto (es. 0.903), riflettendo che gli utenti hanno comunque ottenuto le risposte corrette.
• Robustezza alla Quantizzazione: Il recall tradizionale è sensibile agli errori di quantizzazione (es. 8-bit) che possono riordinare vicini irrilevanti con punteggi quasi identici, penalizzando ingiustamente l'algoritmo. Il tolerant recall mitiga questo effetto.
• Confronto con R-Precision: A differenza della R-Precision, che assume che il ranking del ground truth sia perfettamente allineato alla rilevanza semantica, il semantic recall permette ai documenti rilevanti di apparire ovunque nei top-$k$, evitando penalità ingiuste per errori del modello di embedding.
• Ottimizzazione dei Costi:
  • Ottimizzando ScaNN per un target di 98% di Recall Tradizionale, si ottiene un certo costo computazionale.
  • Ottimizzando per 98.69% di Tolerant Recall (che corrisponde al livello di qualità reale), si riduce il costo del 5%.
  • Ottimizzando per 98.93% di Semantic Recall, si riduce il costo del 14%.
  • Su dataset su larga scala (BigANN), passare da un target del 95% di Recall Tradizionale a un target del 95% di Tolerant Recall riduce i costi di calcolo del ~25%, poiché si evita di sprecare risorse nel recuperare "rumore" matematico.

5. Significato e Implicazioni

Il lavoro dimostra che la ricerca di una precisione matematica assoluta negli algoritmi ANNS è spesso controproducente e costosa.

• Ridefinizione della Qualità: La qualità della ricerca semantica dovrebbe essere misurata sulla capacità di recuperare informazioni utili, non sulla fedeltà matematica a un ground truth imperfetto.
• Efficienza Operativa: Utilizzando semantic o tolerant recall come obiettivi di tuning, le aziende possono ridurre significativamente i costi computazionali (CPU, I/O) senza degradare l'esperienza dell'utente finale.
• Futuro della Ricerca: Il paper incoraggia la comunità IR a abbandonare il recall tradizionale come unica metrica, specialmente in scenari dove i risultati rilevanti sono pochi o dove i modelli di embedding hanno limiti intrinseci.

In sintesi, il paper propone un cambio di paradigma: smettere di ottimizzare per il "vicino matematico perfetto" e iniziare a ottimizzare per il "risultato semanticamente utile", ottenendo sistemi più efficienti ed economici.