A Comparative Study of Vector Indexing Strategies Using Facebook AI Similarity Search as a Case Study

Imagina que estás de pie en una biblioteca que contiene todos los libros jamás escritos, pero los libros no están organizados por título o autor. En su lugar, están clasificados por qué tan "similares" se sienten entre sí. Si pides una historia sobre un gato valiente, el bibliotecario no solo busca libros con las palabras "valiente" y "gato"; encuentra historias que se sienten como esa idea, incluso si las palabras son diferentes. Esta es la magia de la inteligencia artificial moderna: convertir ideas en listas de números (llamadas vectores) y luego encontrar las coincidencias más cercanas en un mar de datos.

Pero aquí está el truco: si tu biblioteca tiene mil millones de libros, revisar cada uno de ellos para encontrar la mejor coincidencia tomaría una eternidad. Es como intentar encontrar un grano de arena específico en una playa recogiendo cada grano uno por uno. Para resolver esto, los científicos inventaron los "índices": atajos especiales que ayudan a la computadora a saltarse las partes aburridas y saltar directamente a lo interesante. Algunos atajos son como un mapa súper organizado (búsqueda exacta), mientras que otros son como un juego de adivinación inteligente que te lleva al 99% del camino en una fracción de segundo (búsqueda aproximada). La gran pregunta es: ¿cuál es el mejor atajo? ¿Depende de qué tan grande sea tu biblioteca? ¿Importa si tienes un pequeño cuaderno o un enorme almacén para guardar tus libros?

Esto es exactamente lo que un equipo de investigadores de la Universidad Europea de Armenia se propuso averiguar. Tomaron un conjunto de herramientas popular llamado FAISS (Facebook AI Similarity Search), que es como una navaja suiza para estos atajos de vectores, y pusieron sus diferentes herramientas a prueba. Querían ver qué tan bien funcionaba cada herramienta cuando los datos se volvían enormes, cuando los números se complicaban y cuando la memoria era escasa. Piensa en esto como una gran carrera donde diferentes tipos de motores de búsqueda compiten para ver quién puede encontrar la respuesta correcta más rápido sin quedarse sin aliento o sin memoria.

Los investigadores probaron varias estrategias diferentes, que van desde el método de "fuerza bruta" (revisarlo todo) hasta trucos ingeniosos que involucran agrupamiento (clustering/agrupar elementos similares), compresión (aplastar los datos para ahorrar espacio) y navegación basada en grafos (usar una red de conexiones para saltar hacia la respuesta). Midieron dos cosas principales: Recall (la recuperación: ¿encontraste la respuesta correcta?) y Latencia (cuánto tiempo tomó).

Esto es lo que descubrieron en sus experimentos:

El campeón de la "Fuerza Bruta" (IndexFlat)
Imagina a un detective que se niega a adivinar; revisa a cada sospechoso en la fila de identificación. Este es el método IndexFlat. Los investigadores descubrieron que este enfoque es perfecto: nunca pierde la respuesta correcta (100% de recall). Sin embargo, es increíblemente lento. A medida que el número de "sospechosos" (vectores) crecía de 1,000 a 10,000, el tiempo para encontrar la respuesta crecía constantemente. Si tienes un conjunto de datos pequeño, esto es genial. Pero si tienes millones de vectores, este método se vuelve demasiado lento para ser útil en el mundo real. Es como usar un microscopio para encontrar una aguja en un pajar; funciona, pero toma una eternidad.

La estrategia de "Agrupamiento" (IVFFlat)
Después, probaron un método que agrupa vectores similares en grupos, como clasificar libros en contenedores etiquetados como "Aventura", "Romance" y "Misterio". Este es IndexIVFFlat. Cuando llega una consulta, el sistema solo revisa los contenedores que tienen más probabilidades de contener la respuesta. El estudio mostró que este es un fantástico punto medio. Es mucho más rápido que revisar todo, y puedes ajustarlo para que sea más preciso revisando más contenedores. Los investigadores encontraron que si revisas más grupos (un ajuste llamado nprobe), obtienes mejores resultados, pero toma un poco más de tiempo. Es una herramienta flexible que equilibra bien la velocidad y la precisión para conjuntos de datos medianos a grandes.

Los expertos en "Compresión" (IVFPQ e IVFSQ)
¿Qué pasa si tienes mil millones de vectores pero no tienes suficiente espacio en el disco duro para almacenarlos todos? Los investigadores analizaron IndexIVFPQ e IndexIVFSQ, que son como comprimir una película de alta definición en un tamaño de archivo más pequeño. Aplastan los datos para que ocupen menos memoria.

• IVFPQ (Product Quantization) divide los vectores en piezas diminutas y los comprime. El estudio encontró que este es el campeón para conjuntos de datos masivos donde la memoria es el mayor problema. Es increíblemente rápido y utiliza muy poco espacio, aunque podría perder la respuesta perfecta ocasionalmente (un recall ligeramente menor).
• IVFSQ (Scalar Quantization) es una versión más simple de la compresión. Es un buen "hijo intermedio": ahorra espacio y es más rápido que las versiones sin comprimir, pero no comprime tan agresivamente como IVFPQ. Los investigadores señalaron que, aunque pierde un poco de precisión en comparación con la versión sin comprimir, el ahorro de memoria suele valer la pena para sistemas a gran escala.

La "Red de Conexiones" (HNSW)
Finalmente, estaba el IndexHNSW, que organiza los datos en una red multicapa, como un mapa de metro con líneas expresas y paradas locales. Comienzas en la capa superior (la línea expresa) para obtener una dirección general, y luego te acercas capa por capa para encontrar la parada exacta. El estudio encontró que este es el superestrella general en cuanto a velocidad y precisión. Es "Muy Rápido" y tiene un recall "Muy Alto". Sin embargo, requiere un poco más de memoria para construir la red, y los investigadores señalaron que tienes que ajustarlo cuidadosamente. Si haces la red demasiado densa (demasiadas conexiones), se vuelve más lenta para buscar; si la haces demasiado dispersa, podrías perder la mejor respuesta. Pero cuando se ajusta correctamente, ofrece el mejor equilibrio entre velocidad y precisión.

El Veredicto
El artículo concluye que no existe una única herramienta "mejor" para cada trabajo. Es como preguntar si un martillo, un destornillador o una llave inglesa es la mejor herramienta; depende de lo que estés construyendo.

• Si tienes un conjunto de datos pequeño y necesitas una precisión perfecta, usa el índice Flat.
• Si tienes un conjunto de datos de tamaño medio y necesitas un equilibrio, IVFFlat es una opción sólida.
• Si estás lidiando con miles de millones de vectores y tu computadora se está quedando sin memoria, IVFPQ es tu mejor amigo.
• Si necesitas la búsqueda más rápida posible con alta precisión y tienes suficiente memoria, HNSW es el ganador.

Los investigadores también probaron diferentes formas de medir la "similitud" (como qué tan cerca están dos puntos en el espacio). Confirmaron que para ciertos tipos de modelos de IA (como los usados para el lenguaje), necesitas normalizar los datos primero para que las matemáticas funcionen correctamente, pero una vez hecho esto, las diferentes estrategias de indexación se mantienen bien.

En resumen, este estudio proporciona una guía práctica para cualquiera que esté construyendo sistemas de IA. Nos dice que, aunque no podemos tener todo (velocidad perfecta, precisión perfecta y cero uso de memoria al mismo tiempo), podemos elegir el compromiso adecuado para nuestras necesidades específicas. Ya sea que estés construyendo un sistema de detección de fraude para un banco o un motor de búsqueda para registros médicos, hay una estrategia de indexación específica en este conjunto de herramientas que te ayudará a encontrar la aguja en el pajar sin perderte.