A Comparative Study of Vector Indexing Strategies Using Facebook AI Similarity Search as a Case Study

Imagine que você está em uma biblioteca que contém todos os livros já escritos, mas os livros não estão organizados por título ou autor. Em vez disso, eles são classificados pelo quão "semelhantes" eles parecem ser uns aos outros. Se você pedir uma história sobre um gato corajoso, o bibliotecário não apenas encontra livros com as palavras "corajoso" e "gato"; ele encontra histórias que parecem com essa ideia, mesmo que as palavras sejam diferentes. Esta é a magia da inteligência artificial moderna: transformar ideias em listas de números (chamadas vetores) e então encontrar as correspondências mais próximas em um mar de dados.

Mas aqui está o problema: se sua biblioteca tiver um bilhão de livros, verificar cada um deles para encontrar a melhor correspondência levaria uma eternidade. É como tentar encontrar um grão de areia específico em uma praia pegando cada grão um por um. Para resolver isso, os cientistas inventaram "índices" — atalhos especiais que ajudam o computador a pular as partes entediantes e saltar direto para as partes interessantes. Alguns atalhos são como um mapa super organizado (busca exata), enquanto outros são como um jogo de adivinhação inteligente que te leva a 99% do caminho em uma fração de segundo (busca aproximada). A grande questão é: qual atalho é o melhor? Depende do tamanho da sua biblioteca? Importa se você tem um pequeno caderno ou um enorme armazém para armazenar seus livros?

Foi exatamente o que uma equipe de pesquisadores da Universidade Europeia da Armênia se propôs a descobrir. Eles pegaram um kit de ferramentas popular chamado FAISS (Facebook AI Similarity Search), que é como um canivete suíço para esses atalhos de vetores, e colocaram suas diferentes ferramentas à prova. Eles queriam ver como cada ferramenta performava quando os dados ficavam enormes, quando os números ficavam complicados e quando a memória estava apertada. Pense nisso como uma grande corrida onde diferentes tipos de mecanismos de busca competem para ver quem encontra a resposta certa mais rápido sem perder o fôlego ou ficar sem memória.

Os pesquisadores testaram várias estratégias diferentes, variando desde o método "força bruta" (verificar tudo) até truques inteligentes envolvendo agrupamento (agrupar itens semelhantes) e compressão (espremer os dados para economizar espaço) e navegação baseada em grafos (usar uma rede de conexões para saltar em direção à resposta). Eles mediram duas coisas principais: Recall (você encontrou a resposta certa?) e Latência (quanto tempo levou?).

Aqui está o que eles descobriram em seus experimentos:

O Campeão da "Força Bruta" (IndexFlat)
Imagine um detetive que se recusa a adivinhar; ele verifica todos os suspeitos em uma fila de reconhecimento. Este é o método IndexFlat. Os pesquisadores descobriram que esta abordagem é perfeita: ela nunca perde a resposta certa (100% de recall). No entanto, ela é incrivelmente lenta. À medida que o número de "suspeitos" (vetores) crescia de 1.000 para 10.000, o tempo para encontrar a resposta crescia constantemente. Se você tem um conjunto de dados pequeno, isso é ótimo. Mas se você tem milhões de vetores, este método torna-se lento demais para ser útil no mundo real. É como usar um microscópio para encontrar uma agulha em um palheiro; funciona, mas leva uma eternidade.

A Estratégia de "Agrupamento" (IVFFlat)
Em seguida, eles tentaram um método que agrupa vetores semelhantes em clusters, como separar livros em cestos rotulados como "Aventura", "Romance" e "Mistério". Este é o IndexIVFFlat. Quando uma consulta chega, o sistema só verifica os cestos que têm maior probabilidade de conter a resposta. O estudo mostrou que este é um excelente meio-termo. É muito mais rápido do que verificar tudo, e você pode ajustá-lo para ser mais preciso verificando mais cestos. Os pesquisadores descobriram que, se você verificar mais clusters (uma configuração chamada nprobe), você obtém melhores resultados, mas isso leva um pouco mais de tempo. É uma ferramenta flexível que equilibra bem velocidade e precisão para conjuntos de dados de médio a grande porte.

Os Especialistas em "Compressão" (IVFPQ e IVFSQ)
E se você tiver um bilhão de vetores, mas não tiver espaço suficiente no disco rígido para armazená-los todos? Os pesquisadores analisaram o IndexIVFPQ e o IndexIVFSQ, que são como comprimir um filme de alta definição em um arquivo menor. Eles espremem os dados para que ocupem menos memória.

• IVFPQ (Product Quantization) divide os vetores em pequenos pedaços e os comprime. O estudo descobriu que este é o campeão para conjuntos de dados massivos, onde a memória é o maior problema. É incrivelmente rápido e usa muito pouco espaço, embora possa perder a resposta perfeita ocasionalmente (recall ligeiramente menor).
• IVFSQ (Scalar Quantization) é uma versão mais simples de compressão. É um bom "filho do meio" — economiza espaço e é mais rápido que as versões não comprimidas, mas não comprime tão agressivamente quanto o IVFPQ. Os pesquisadores observaram que, embora perca um pouco de precisão em comparação com a versão não comprimida, a economia de memória geralmente vale a pena para sistemas de grande escala.

A "Teia de Conexões" (HNSW)
Finalmente, havia o IndexHNSW, que organiza os dados em uma teia de múltiplas camadas, como um mapa de metrô com linhas expressas e paradas locais. Você começa na camada superior (a linha expressa) para pegar uma direção geral, e depois vai descendo camada por camada para encontrar a parada exata. O estudo descobriu que este é o superastro geral em termos de velocidade e precisão. Ele é "Muito Rápido" e possui um recall "Muito Alto". No entanto, requer um pouco mais de memória para construir a teia, e os pesquisadores notaram que você precisa ajustá-lo cuidadosamente. Se você tornar a teia muito densa (muitas conexões), ela fica mais lenta para pesquisar; se a tornar muito esparsa, você pode perder a melhor resposta. Mas, quando bem ajustado, oferece o melhor equilíbrio entre velocidade e precisão.

O Veredito
O artigo conclui que não existe uma única ferramenta "melhor" para todos os trabalhos. É como perguntar se um martelo, uma chave de fenda ou uma chave inglesa é a melhor ferramenta; depende do que você está construindo.

• Se você tem um conjunto de dados pequeno e precisa de precisão perfeita, use o índice Flat.
• Se você tem um conjunto de dados de tamanho médio e precisa de um equilíbrio, o IVFFlat é uma escolha sólida.
• Se você está lidando com bilhões de vetores e seu computador está ficando sem memória, o IVFPQ é seu melhor amigo.
• Se você precisa da pesquisa mais rápida possível com alta precisão e tem memória suficiente, o HNSW é o vencedor.

Os pesquisadores também testaram diferentes formas de medir a "semelhança" (como a proximidade entre dois pontos no espaço). Eles confirmaram que, para certos tipos de modelos de IA (como os usados para linguagem), você precisa normalizar os dados primeiro para que a matemática funcione corretamente, mas, uma vez feito isso, as diferentes estratégias de indexação se mantêm bem.

Em resumo, este estudo fornece um guia prático para qualquer pessoa que esteja construindo sistemas de IA. Ele nos diz que, embora não possamos ter tudo (velocidade perfeita, precisão perfeita e zero uso de memória ao mesmo tempo), podemos escolher o compromisso certo para nossas necessidades específicas. Quer você esteja construindo um sistema de detecção de fraudes para um banco ou um mecanismo de busca para registros médicos, existe uma estratégia de indexação específica neste kit de ferramentas que o ajudará a encontrar a agulha no palheiro sem se perder.