Retrieval with Multiple Query Vectors through Anomalous Pattern Detection

Riepilogo Tecnico: Recupero con Vettori di Query Multipli tramite Rilevamento di Pattern Anomali

Formulazione del Problema
I sistemi classici di recupero vettoriale operano tipicamente secondo un paradigma a query singola, in cui un singolo vettore di embedding viene utilizzato per recuperare i vettori più simili da un database basandosi su metriche di prossimità (ad esempio, similarità del coseno, distanza euclidea). Tuttavia, compiti complessi di ragionamento e recupero spesso coinvolgono vettori di query multipli che catturano diversi aspetti dell'intento dell'utente (ad esempio, un paragrafo in cui ogni frase rappresenta un vincolo o una caratteristica distinta). Gli approcci esistenti al recupero multi-query spesso aggregano questi vettori in un singolo embedding tramite euristiche o li trattano in modo indipendente, scartando così relazioni preziose tra le query. Inoltre, le metriche standard basate sulla distanza potrebbero non riuscire a catturare relazioni complesse, non lineari e dipendenti dal contesto, intrinseche negli embedding ad alta dimensionalità, in particolare quelli provenienti da Modelli Linguistici di Grande Dimensione (LLM).

Questo lavoro affronta la sfida di recuperare vettori rilevanti del database dato un insieme di vettori di query multipli $Q = \{q_1, q_2, \dots, q_M\}$, senza richiedere che il numero di vettori da recuperare sia specificato a priori.

Metodologia
Gli autori propongono un framework di recupero fondato sul rilevamento di pattern anomali. L'ipotesi di base è che l'insieme dei vettori di query condivida un "pattern anomalo" specifico: un sottoinsieme di dimensioni vettoriali in cui i valori si discostano significativamente, in modo congiunto, dalla distribuzione osservata nel database $D$. I vettori del database più rilevanti sono quelli che esibiscono questo stesso pattern anomalo congiunto.

L'approccio estende gli algoritmi di scansione profonda (McFowland, Speakman e Neill 2013; Cintas et al. 2021, 2022) al contesto di recupero attraverso un processo in due fasi:

1. Identificazione delle Dimensioni Anomale: Dato l'insieme di query $Q$, l'algoritmo identifica un sottoinsieme di dimensioni vettoriali $O^*_S$ che cattura al meglio le caratteristiche distintive delle query.

   • Il metodo assume che il pattern anomalo corrisponda a valori particolarmente bassi (nella coda inferiore $\alpha$) rispetto alla distribuzione del database.
   • Standardizza le dimensioni utilizzando z-score ($z_{ml} = \frac{q_{ml} - \mu_l}{\sigma_l}$), dove $\mu_l$ e $\sigma_l$ sono la media e la deviazione standard della dimensione $l$ attraverso il database $D$.
   • Una statistica di scansione non parametrica (specificamente la statistica Berk–Jones) viene utilizzata come funzione di punteggio $F(S)$ per massimizzare il punteggio di anomalia sui sottoinsiemi di dimensioni.

2. Recupero dei Vettori del Database: Utilizzando le dimensioni identificate $O^*_S$, l'algoritmo scansiona il database $D$ per recuperare il sottoinsieme di vettori $R^*_S$ che esibiscono lo stesso pattern anomalo congiunto in quelle dimensioni specifiche.

A differenza dei metodi tradizionali, questo approccio non si basa su soglie di distanza fisse o su un numero di recupero $K$ pre-specificato. Invece, la dimensione dell'insieme recuperato è determinata dinamicamente dal processo di punteggio di anomalia.

Configurazione Sperimentale e Risultati
Gli autori hanno valutato il metodo su quattro dataset diversificati:

• Immagini: MNIST e Fashion-MNIST (appiattiti e proiettati su 30 dimensioni tramite UMAP).
• Testo: Persona (embedding LLM di frasi in accordo con specifiche personalità) e Ailuminate (embedding LLM di prompt riguardanti categorie di pericolo).
• Tabellare: Un dataset medico relativo al cancro al seno (31 caratteristiche numeriche).

Il metodo è stato confrontato con due baseline KDTree adattate:

• KDTree pre: Media tutti i vettori di query in un singolo vettore prima del recupero.
• KDTree post: Recupera vettori per ogni query in modo indipendente e unisce i risultati.

Risultati Chiave:

• Impatto della Dimensione dell'Insieme di Query: Nella maggior parte dei dataset, l'aumento del numero di vettori di query ($M$) da 1 a 8 ha portato a miglioramenti significativi sia nella precisione che nel richiamo. I guadagni si sono attenuati aumentando $M$ oltre 8.
• Prestazioni per Dataset:
  • Persona (Testo LLM): Il metodo proposto ha raggiunto una precisione e un richiamo quasi perfetti (vicini a 1,00) per $M=64$, superando significativamente entrambe le varianti KDTree (che hanno raggiunto ~0,70–0,80).
  • Dati Tabellari: Il metodo ha raggiunto una precisione più elevata (1,00) rispetto alle baseline (0,90) ma un richiamo inferiore (~0,77 contro ~0,90).
  • Fashion-MNIST: Il metodo ha mostrato un richiamo più elevato ma una precisione inferiore rispetto alle baseline.
  • MNIST: Non è stata osservata alcuna differenza significativa tra il metodo proposto e le baseline, sebbene le prestazioni assolute fossero elevate per tutti.
• Dimensione del Recupero: Il metodo proposto determina dinamicamente la dimensione dell'insieme di recupero. Negli studi di ablazione, quando KDTree è stato costretto a recuperare un numero di vettori simile a quello del metodo proposto, quest'ultimo ha comunque mantenuto un leggero vantaggio in precisione e richiamo per i dataset Tabellari e Persona.

Significato e Affermazioni
Il documento posiziona questo lavoro come un passo innovativo verso un recupero multi-query robusto. Gli autori affermano che definire la rilevanza attraverso una funzione di punteggio di anomalia piuttosto che attraverso misure tradizionali basate sulla distanza permette di catturare relazioni complesse e non lineari che le metriche fisse trascurano.

Lo studio inquadra modestamente i propri contributi come un "primo passo" in questa direzione. Gli autori riconoscono le limitazioni, tra cui l'uso di classi di interesse fisse per dataset e la dipendenza da KDTree come baseline piuttosto che da metodi di ricerca vettoriale più sofisticati (ad esempio, ricerca di similarità vettoriale ottimizzata). Osservano che il metodo ha funzionato meglio sugli embedding di testo LLM rispetto agli embedding di immagini a dimensionalità ridotta e ai dati tabellari, suggerendo la necessità di future indagini sulla generalizzabilità attraverso diversi tipi di dati e architetture di embedding. Il lavoro non afferma di risolvere tutte le sfide del recupero multi-query, ma dimostra che sfruttare i pattern anomali negli insiemi di query può produrre prestazioni di recupero superiori in contesti specifici, in particolare con gli embedding LLM.