A Comparative Study of Vector Indexing Strategies Using Facebook AI Similarity Search as a Case Study

Immagina di trovarti in una biblioteca che contiene ogni libro mai scritto, ma i libri non sono organizzati per titolo o autore. Sono invece ordinati in base a quanto si "sentono" simili tra loro. Se chiedi una storia su un gatto coraggioso, il bibliotecario non si limita a cercare i libri con le parole "coraggioso" e "gatto"; trova storie che evocano quell'idea, anche se le parole sono diverse. Questa è la magia dell'intelligenza artificiale moderna: trasformare le idee in elenchi di numeri (chiamati vettori) e poi trovare le corrispondenze più vicine in un mare di dati.

Ma ecco il problema: se la tua biblioteca avesse un miliardo di libri, controllare ognuno di essi per trovare la corrispondenza migliore richiederebbe un tempo infinito. È come cercare un granello di sabbia specifico su una spiaggia raccogliendoli uno alla volta. Per risolvere questo problema, gli scienziati hanno inventato gli "indici": scorciatoie speciali che aiutano il computer a saltare le parti noiose e saltare direttamente alle parti interessanti. Alcune scorciatoie sono come una mappa super organizzata (ricerca esatta), mentre altre sono come un gioco di ipotesi intelligente che ti porta al 99% del traguardo in un colpo d'occhio (ricerca approssimativa). La grande domanda è: quale scorciatoia è la migliore? Dipende da quanto è grande la tua biblioteca? Importa se hai un piccolo taccuino o un enorme magazzino per conservare i tuoi libri?

È esattamente ciò che un team di ricercatori dell'Università Europea di Armenia ha cercato di capire. Hanno preso un popolare toolkit chiamato FAISS (Facebook AI Similarity Search), che è come un coltellino svizzero per queste scorciatoie vettoriali, e hanno messo alla prova i suoi diversi strumenti. Volevano vedere come ogni strumento si comportava quando i dati diventavano enormi, quando i numeri diventavano complicati e quando la memoria era limitata. Immaginalo come una grande corsa in cui diversi tipi di motori di ricerca competono per vedere chi trova la risposta giusta più velocemente senza restare senza fiato o senza memoria.

I ricercatori hanno testato diverse strategie, che spaziavano dal metodo "brute force" (controllare tutto) a trucchi intelligenti che coinvolgono il clustering (raggruppare elementi simili), la compressione (schiacciare i dati per risparmiare spazio) e la navigazione basata su grafi (usare una rete di connessioni per saltare verso la risposta). Hanno misurato due cose principali: la Recall (hai trovato la risposta giusta?) e la Latenza (quanto tempo ci è voluto?).

Ecco cosa hanno scoperto nei loro esperimenti:

Il campione della "Forza Bruta" (IndexFlat)
Immagina un detective che si rifiuta di indovinare; controlla ogni singolo sospettato nel gruppo. Questo è il metodo IndexFlat. I ricercatori hanno scoperto che questo approccio è perfetto: non manca mai la risposta giusta (100% di recall). Tuttavia, è incredibilmente lento. Man mano che il numero di "sospettati" (vettori) cresceva da 1.000 a 10.000, il tempo necessario per trovare la risposta cresceva costantemente. Se hai un dataset piccolo, questo è ottimo. Ma se hai milioni di vettori, questo metodo diventa troppo lento per essere utile nel mondo reale. È come usare un microscopio per trovare un ago in un pagliaio; funziona, ma ci vuole un'eternità.

La strategia di "Raggruppamento" (IVFFlat)
Successivamente, hanno provato un metodo che raggruppa i vettori simili in cluster, come ordinare i libri in contenitori etichettati "Avventura", "Romanzo" e "Giallo". Questo è IndexIVFFlat. Quando arriva una query, il sistema controlla solo i contenitori che hanno maggiori probabilità di contenere la risposta. Lo studio ha dimostrato che questo è un fantastico compromesso. È molto più veloce che controllare tutto, e puoi regolarlo per essere più accurato controllando più contenitori. I ricercatori hanno scoperto che se controlli più cluster (un'impostazione chiamata nprobe), ottieni risultati migliori, ma richiede un po' più di tempo. È uno strumento flessibile che bilancia bene velocità e precisione per dataset di medie e grandi dimensioni.

Gli esperti della "Compressione" (IVFPQ e IVFSQ)
E se avessi un miliardo di vettori ma non abbastanza spazio su disco per memorizzarli tutti? I ricercatori hanno esaminato IndexIVFPQ e IndexIVFSQ, che sono come comprimere un film in alta definizione in un file di dimensioni ridotte. Schiacciano i dati in modo che occupino meno memoria.

• IVFPQ (Product Quantization) divide i vettori in piccoli pezzi e li comprime. Lo studio ha scoperto che questo è il campione per i dataset massicci dove la memoria è il problema principale. È incredibilmente veloce e usa pochissimo spazio, anche se potrebbe mancare occasionalmente la risposta perfetta (recall leggermente inferiore).
• IVFSQ (Scalar Quantization) è una versione più semplice della compressione. È un buon "figlio di mezzo": risparmia spazio ed è più veloce delle versioni non compresse, ma non comprime in modo così aggressivo come IVFPQ. I ricercatori hanno notato che, sebbene perda un briciolo di accuratezza rispetto alla versione non compressa, il risparmio di memoria è spesso giustificato per i sistemi su larga scala.

La "Rete di Connessioni" (HNSW)
Infine, c'era IndexHNSW, che organizza i dati in una rete multistrato, come una mappa della metropolitana con linee espressi e fermate locali. Inizi dallo strato superiore (la linea espressa) per prendere una direzione generale, poi zoomi strato dopo strano per trovare la fermata esatta. Lo studio ha scoperto che questo è il superstar assoluto per velocità e accuratezza. È "Molto Veloce" e ha una recall "Molto Alta". Tuttavia, richiede un po' più di memoria per costruire la rete, e i ricercatori hanno notato che bisogna regolarlo con cura. Se rendi la rete troppo densa (troppe connessioni), diventa più lenta nella ricerca; se la rendi troppo rada, potresti mancare la risposta migliore. Ma quando è tarato correttamente, offre il miglior equilibrio tra velocità e precisione.

Il Verdetto
Il documento conclude che non esiste un unico strumento "migliore" per ogni lavoro. È come chiedere se un martello, un cacciavite o una chiave inglese sia lo strumento migliore; dipende da cosa stai costruendo.

• Se hai un dataset piccolo e hai bisogno di un'accuratezza perfetta, usa l'indice Flat.
• Se hai un dataset di medie dimensioni e hai bisogno di un equilibrio, IVFFlat è una scelta solida.
• Se stai gestendo miliardi di vettori e il tuo computer sta finendo la memoria, IVFPQ è il tuo migliore amico.
• Se hai bisogno della ricerca più veloce possibile con un'alta accuratezza e hai abbastanza memoria, HNSW è il vincitore.

I ricercatori hanno anche testato diversi modi per misurare la "similarità" (come la vicinanza tra due punti nello spazio). Hanno confermato che per certi tipi di modelli AI (come quelli usati per il linguaggio), è necessario normalizzare prima i dati per far funzionare correttamente la matematica, ma una volta fatto, le diverse strategie di indicizzazione reggono bene.

In breve, questo studio fornisce una guida pratica per chiunque costruisca sistemi di IA. Ci dice che, sebbene non possiamo avere tutto (velocità perfetta, accuratezza perfetta e zero uso di memoria tutto insieme), possiamo scegliere il giusto compromesso per le nostre esigenze specifiche. Che tu stia costruendo un sistema di rilevamento delle frodi per una banca o un motore di ricerca per record medici, esiste una specifica strategia di indicizzazione in questo toolkit che ti aiuterà a trovare l'ago nel pagliaio senza perderti.