Semantic Recall for Vector Search

1. O Problema

O artigo aborda uma limitação crítica na avaliação de algoritmos de Busca de Vizinhos Mais Próximos Aproximados (ANNS) em sistemas de Recuperação de Informação (RI) baseados em vetores (embeddings).

• Falha do "Recall" Tradicional: A métrica padrão, Recall, mede a proporção de vizinhos verdadeiros (ground truth) recuperados pelo algoritmo aproximado em relação aos vizinhos encontrados por uma busca exata (força bruta). O problema central é que o ground truth é definido puramente pela proximidade matemática no espaço vetorial.
• Ruído Matemático: Em espaços de alta dimensão, muitos objetos que são matematicamente próximos da consulta são semanticamente irrelevantes ("ruído"). O Recall tradicional penaliza o algoritmo se ele falhar em recuperar esses vizinhos irrelevantes, mesmo que o algoritmo tenha recuperado todos os objetos semanticamente relevantes.
• Cenário Comum: Os autores identificam que, em conjuntos de dados de embeddings, é comum haver consultas com muito poucos resultados relevantes entre os vizinhos mais próximos. Nessas situações, o Recall tradicional torna-se uma métrica enganosa e desalinhada com o objetivo real da busca semântica: encontrar respostas relevantes, não apenas pontos geometricamente próximos.
• Limitações de Ground Truth Curado: Alternativas que usam ground truths curados manualmente podem penalizar algoritmos ANNS por limitações do próprio modelo de embedding (se o modelo não colocou o item relevante perto da consulta no vetor, o ANNS não o encontrará, mas um ground truth curado o consideraria "perdido").

2. Metodologia

Os autores propõem duas novas métricas para superar essas limitações:

A. Semantic Recall (Recall Semântico)

• Definição: É a fração dos vizinhos semânticos (um subconjunto do ground truth que é semanticamente relevante para a consulta) que são recuperados pelo algoritmo ANNS.
• Fórmula: $srecall = \frac{|R \cap SN|}{|SN|}$, onde $R$ são os resultados recuperados e $SN$ são os vizinhos semânticos.
• Identificação de Vizinhos Semânticos: Utiliza um processo de dois passos:
  1. Calcula-se o ground truth via busca exata (top-$k$).
  2. Classifica-se cada objeto do ground truth como "Relevante" ou "Não Relevante" usando juízes externos (Humanos ou Grandes Modelos de Linguagem - LLMs).
• Vantagem: Ignora a perda de vizinhos irrelevantes que estão matematicamente próximos, focando apenas na recuperação do que importa semanticamente.

B. Tolerant Recall (Recall Tolerante)

• Motivação: Em cenários onde não é possível acessar os objetos brutos para julgar a relevância semântica (apenas os vetores existem), o Semantic Recall não pode ser calculado.
• Definição: Uma métrica proxy que permite substituir um vizinho verdadeiro do ground truth por um resultado recuperado se as pontuações de similaridade (distância) forem suficientemente próximas (dentro de uma tolerância $x\%$).
• Mecanismo: Se um documento recuperado tiver uma pontuação próxima à do vizinho verdadeiro (ex: $score_{recuperado} \geq score_{verdadeiro} \cdot (1 - x\%)$), ele conta como uma recuperação válida.
• Objetivo: Robustecer a métrica contra pequenas perturbações na ordenação causadas por quantização ou erros de arredondamento, que geralmente afetam apenas vizinhos irrelevantes.

3. Principais Contribuições

1. Definição do Semantic Recall: Uma nova métrica que alinha a avaliação de ANNS com a relevância semântica real, eliminando a penalidade por "ruído matemático".
2. Metodologia de Identificação: Um processo escalável para identificar vizinhos semânticos usando LLMs (como o Gemini) para julgar apenas o top-k do ground truth, evitando a curadoria manual massiva de datasets.
3. Introdução do Tolerant Recall: Uma métrica prática que aproxima o Semantic Recall sem exigir acesso aos dados brutos, sendo robusta a atualizações de datasets e técnicas de compressão (quantização).
4. Análise Empírica: Demonstração de que o Recall tradicional é particularmente ruim para consultas com poucos resultados relevantes, enquanto as novas métricas refletem melhor a experiência do usuário.
5. Otimização de Custo-Qualidade: Evidência de que otimizar algoritmos para Semantic ou Tolerant Recall permite reduzir significativamente o custo computacional (bytes lidos, operações de produto interno) sem degradar a qualidade percebida.

4. Resultados Empíricos

Os autores avaliaram suas métricas nos conjuntos de dados MSMARCO (texto) e MIRACL (multilíngue, foco em tailaês), utilizando modelos de embedding como Gemini e Cohere.

• Distribuição de Vizinhos Semânticos: A distribuição é bimodal. Muitas consultas têm muito poucos vizinhos semânticos (0-15), enquanto outras têm muitos.
• Desempenho das Métricas:
  • Para consultas com poucos vizinhos semânticos (<20), o Recall tradicional foi drasticamente menor (ex: 0.762) comparado ao Semantic Recall (0.903). Isso confirma que o algoritmo estava sendo penalizado por não recuperar vizinhos irrelevantes que estavam "quase" na mesma distância.
  • O Tolerant Recall (com tolerância de 1-2%) rastreou muito de perto o Semantic Recall, validando sua eficácia como proxy.
• Impacto na Quantização: Pequenos erros de pontuação introduzidos pela quantização (ex: 8-bit) podem reordenar vizinhos irrelevantes, causando quedas no Recall tradicional. O Tolerant Recall mitiga isso ao permitir substituições.
• Otimização de Hiperparâmetros:
  • Ao reconfigurar o algoritmo ScaNN para otimizar o Tolerant Recall (98.69%) em vez do Recall tradicional (98%), o custo computacional caiu 5%.
  • Otimizar para Semantic Recall (98.93%) reduziu o custo em 14%.
  • Em datasets maiores (BigANN), mudar o alvo de 95% Recall tradicional para 95% Tolerant Recall reduziu o custo em ~25%.
  • Conclusão: Otimizar para o Recall tradicional força o sistema a buscar "ruído" matematicamente próximo, gastando recursos desnecessários.

5. Significância e Conclusão

O trabalho tem um impacto significativo na comunidade de Recuperação de Informação e Busca Vetorial:

• Mudança de Paradigma: Propõe abandonar a obsessão pela precisão matemática exata em favor da relevância semântica na avaliação de sistemas.
• Eficiência Operacional: Demonstra que é possível reduzir drasticamente os custos de infraestrutura (CPU, I/O) de sistemas de busca semântica ao ajustar as métricas de avaliação para refletir o que realmente importa para o usuário final.
• Praticidade: Oferece uma solução viável (Tolerant Recall) para ambientes onde a curadoria semântica completa é impossível, permitindo que engenheiros de ML tomem decisões de tuning mais inteligentes.
• Reprodutibilidade: Os autores disponibilizam código e notebooks para reproduzir os experimentos, facilitando a adoção dessas métricas pela indústria e academia.

Em suma, o artigo argumenta que a busca semântica deve ser avaliada pela capacidade de recuperar respostas relevantes, e não pela precisão na ordenação de ruído matemático, e que essa mudança de perspectiva leva a sistemas mais eficientes e econômicos.