Vector Linking via Cross-Model Local Isometric Consistency

Sintesi Tecnica: Collegamento di Vettori tramite Coerenza Isometrica Locale tra Modelli Diversi

Definizione del Problema: Vector Linking (Collegamento di Vettori)
Il documento affronta il problema del Vector Linking: il recupero delle corrispondenze tra oggetti cross-modello tra due nuvole di embedding ($E_1$ ed $E_2$) generati da diversi encoder contrastivi black-box ($f_1$ e $f_2$) su dataset parzialmente sovrapposti ($O_1$ e $O_2$). L'ambiente è strettamente post-hoc e black-box; il metodo ha accesso solo ai vettori di embedding statici e a un piccolo "seed set" di anchor accoppiate ($S$) note per corrispondere agli stessi oggetti sottostanti. Fondamentalmente, la sovrapposizione tra i dataset è sconosciuta e parziale, il che significa che non esiste una biiezione globale tra i due spazi di embedding, e le regioni non sovrapposte non possono essere trattate come semplici outlier. Questo divario di interoperabilità ostacola l'unificazione del retrieval, la deduplicazione cross-indice e l'integrazione di database vettoriali.

Fondamento Teorico: Coerenza Isometrica Locale
L'intuizione teorica centrale che guida il lavoro è la scoperta della coerenza geometrica locale tra encoder contrastivi addestrati indipendentemente.

• Osservazione Empirica: Gli autori osservano che, mentre le distanze a lungo raggio tra gli embedding si decorrelano rapidamente tra modelli diversi, le distanze a breve raggio rimangono fortemente correlate.
• Giustificazione Teorica: Analizzando un surrogato di allineamento-uniformità localizzato per l'apprendimento contrastivo, il documento dimostra che gli encoder addestrati indipendentemente inducono metriche localmente isometriche fino a un fattore di scala. Specificamente, per due encoder localmente ottimali $f_1$ e $f_2$ in un punto $x$, e per qualsiasi punto vicino $y$, la relazione di distanza è:
  $$\|f_1(x) - f_1(y)\| = \kappa \cdot \|f_2(x) - f_2(y)\| + O(d_M(x, y)^2)$$
  dove $\kappa$ è un fattore di scala e $d_M$ è la distanza geodetica intrinseca. Ciò implica che i vicinati locali sono stabili tra i modelli, mentre le disposizioni globali sono distorte.

Metodologia: Geometric Embedding Hashing (GEH)
Basandosi sulla proprietà di coerenza locale, gli autori propongono il Geometric Embedding Hashing (GEH), un algoritmo iterativo basato su riferimenti che recupera i collegamenti vettoriali da un minuscolo seed set senza accedere agli interni del modello o ai dati grezzi.

1. Firme Distanza-da-Anchor (Distance-to-Anchor Signatures): Invece di allineare gli spazi globali, GEH rappresenta ogni vettore tramite le sue distanze da un set di anchor accoppiate. Per gestire il fattore di scala $\kappa$ ignoto, queste firme sono normalizzate (indipendenti dalla scala), tipicamente utilizzando la similarità del coseno sui vettori di distanza.
2. Votazione Multi-Vista (Multi-View Voting): Un singolo set di anchor è insufficiente per tutti i punti a causa del requisito di località. GEH campiona molti piccoli e diversificati "viste" geometriche (sottoinsiemi di anchor) dal pool attuale di anchor accoppiate.
   • Generazione delle Viste: Le viste sono costruite utilizzando il Furthest Point Sampling (FPS) per garantire la diversità e la stabilità delle anchor.
   • Hashing Kernelizzato: Per enfatizzare la coerenza a breve raggio e sopprimere il rumore a lungo raggio, le distanze grezze sono trasformate tramite un kernel monotono (ad es. $e^{-dist/\sigma}$).
   • Generazione dei Candidati: All'interno di ogni vista, i collegamenti candidati sono proposti tramite ricerca di Vicino Più Vicino Mutuo (MNN) nello spazio di hashing, utilizzando CSLS per mitigare l'effetto hubness.
3. Bootstrapping Guidato dalla Posterior (Posterior-Guided Bootstrapping):
   • Aggregazione delle Evidenze: I match attraverso diverse viste sono trattati come voti rumorosi. Il documento modella la probabilità di successo di un collegamento utilizzando una posterior Beta–Bernoulli. La media della posterior funge da punteggio di confidenza.
   • Crescita Iterativa: I collegamenti ad alta confidenza (quelli con alti punteggi di posterior) vengono promossi per diventare nuove anchor per l'iterazione successiva. Questo processo di bootstrapping espande il tiny seed set iniziale in un grande set di corrispondenze.
   • Soglia Adattiva: Un limite di Otsu viene applicato ai punteggi della posterior per separare i veri collegamenti dalle collisioni spurie causate dalla distorsione specifica del modello.

Contributi Chiave

• Formulazione del Problema: Formalizzazione del problema di "Vector Linking" sotto sovrapposizione parziale e sconosciuta e vincoli stretti di black-box.
• Intuizione Teorica: Stabilito sia empiricamente che teoricamente che gli encoder contrastivi esibiscono coerenza di distanza locale, formando la base per l'hashing invariante rispetto all'encoder.
• Algoritmo: Sviluppato GEH, un algoritmo di hashing geometrico multi-vista con bootstrapping guidato dalla posterior che recupera accuratamente i collegamenti usando solo 15–30 coppie di seed.
• Applicazioni: Dimostrata l'utilità dei collegamenti recuperati per l'integrazione di database vettoriali e il clustering cross-modello.

Risultati Sperimentali
Il metodo è stato valutato attraverso molteplici benchmark BEIR (NFCorpus, SciFact, ArguAna, SciDocs, FiQA, FEVER) e cinque coppie di modelli di embedding (inclusi Mistral, OpenAI, GTE, Qwen e KaLM).

• Performance: GEH ha superato costantemente otto baseline (tra cui Linear, CCA, MLP, RCSLS, Procrustes e Unbalanced Gromov-Wasserstein). Ad esempio, con soli 15 seed pair, GEH ha raggiunto oltre il 90% di recall sul dataset FiQA per Mistral vs. OpenAI, mentre la migliore baseline ha raggiunto solo circa il 20% di recall.
• Robustezza: Il metodo è rimasto robusto rispetto a variazioni nei rapporti di sovrapposizione (15%–40%), budget di seed e persino quando venivano utilizzati seed out-of-domain (OOD) tratti da dataset differenti.
• Scalabilità: Sul dataset FEVER (5,4 milioni di documenti), GEH ha raggiunto il 93,8% di precisione e il 68,9% di recall in circa 3328 secondi, dimostrando una scalabilità paragonabile o più veloce delle baseline lineari nonostante la sua natura iterativa.
• Impatto a Valle: Nei compiti di integrazione di database vettoriali, il retrieval unificato abilitato da GEH si è avvicinato al limite teorico superiore dell'uso di un singolo modello. Nel clustering cross-modello, ha recuperato assegnazioni di cluster coerenti per il 75–98% degli oggetti sovrapposti.

Significatività
Il documento sostiene che il vector linking sia un primitivo pratico per l'interoperabilità degli embedding. Sfruttando la coerenza geometrica locale intrinseca degli encoder contrastivi, esso evita la necessità di assunzioni di allineamento globale (che falliscono sotto sovrapposizione parziale) e di ri-addestramento. Ciò consente l'integrazione di disparati database vettoriali e l'analisi congiunta degli embedding di modelli differenti, affrontando un collo di bottiglia critico nel panorama in rapida evoluzione dei sistemi di informazione basati su embedding.