Vector Linking via Cross-Model Local Isometric Consistency

Resumen Técnico: Vinculación de Vectores mediante Consistencia Isométrica Local entre Modelos

Definición del Problema: Vinculación de Vectores (Vector Linking)
El artículo aborda el problema de la Vinculación de Vectores: recuperar correspondencias de objetos entre modelos en dos nubes de embeddings ($E_1$ y $E_2$) generadas por diferentes codificadores contrastivos de caja negra ($f_1$ y $f_2$) sobre conjuntos de datos parcialmente superpuestos ($O_1$ y $O_2$). El entorno es estrictamente post-hoc y de caja negra; el método solo tiene acceso a los vectores de embedding estáticos y a un pequeño "conjunto semilla" de anclas emparejadas ($S$) que se sabe corresponden a los mismos objetos subyacentes. Crucialmente, la superposición entre los conjuntos de datos es desconocida y parcial, lo que significa que no existe una biyección global entre los dos espacios de embeddings, y las regiones no superpuestas no pueden tratarse como simples valores atípicos (outliers). Esta brecha de interoperabilidad obstaculiza la recuperación unificada, la deduplicación de índices cruzados y la integración de bases de datos vectoriales.

Fundamento Teórico: Consistencia Isométrica Local
La idea teórica central que impulsa este trabajo es el descubrimiento de la consistencia geométrica local entre codificadores contrastivos entrenados de forma independiente.

• Observación Empírica: Los autores observan que, si bien las distancias de largo alcance entre los embeddings se decorrelacionan rápidamente entre diferentes modelos, las distancias de corto alcance permanecen fuertemente correlacionadas.
• Justificación Teórica: Al analizar un sustituto de alineación-uniformidad localizado para el aprendizaje contrastivo, el artículo demuestra que los codificadores entrenados independientemente inducen métricas localmente isométricas hasta un factor de escala. Específicamente, para dos codificadores localmente óptimos $f_1$ y $f_2$ en un punto $x$, y para cualquier punto cercano $y$, la relación de distancia se mantiene:
  $$\|f_1(x) - f_1(y)\| = \kappa \cdot \|f_2(x) - f_2(y)\| + O(d_M(x, y)^2)$$
  donde $\kappa$ es un factor de escala y $d_M$ es la distancia geodésica intrínseca. Esto implica que los vecindarios locales son estables entre modelos, mientras que las disposiciones globales están distorsionadas.

Metodología: Hashing de Embeddings Geométricos (GEH)
Basándose en la propiedad de consistencia local, los autores proponen el Hashing de Embeddings Geométricos (GEH), un algoritmo iterativo basado en referencias que recupera los vínculos vectoriales a partir de un minúsculo conjunto semilla sin acceder a los componentes internos del modelo o a los datos brutos.

1. Firmas de Distancia-a-Ancla: En lugar de alinear los espacios globales, el GEH representa cada vector mediante sus distancias a un conjunto de anclas emparejadas. Para manejar el factor de escala desconocido $\kappa$, estas firmas se normalizan (libres de escala), utilizando típicamente la similitud de coseno en los vectores de distancia.
2. Votación de Múltiples Vistas: Un solo conjunto de anclas es insuficiente para todos los puntos debido al requisito de localidad. El GEH muestrea muchas "vistas" geométricas pequeñas y diversas (subconjuntos de anclas) a partir del grupo actual de anclas emparejadas.
   • Generación de Vistas: Las vistas se construyen utilizando el Muestreo de Punto Más Lejano (FPS) para asegurar la diversidad y estabilidad de las anclas.
   • Hashing Kernelizado: Para enfatizar la consistencia de corto alcance y suprimir el ruido de largo alcance, las distancias brutas se transforman mediante un kernel monótono (por ejemplo, $e^{-dist/\sigma}$).
   • Generación de Candidatos: Dentro de cada vista, se proponen candidatos de vínculo mediante una búsqueda de Vecino Más Cercano Mutuo (MNN) en el espacio de hashing, utilizando CSLS para mitigar el efecto de hubness.
3. Bootstrapping Guiado por Posterior:
   • Agregación de Evidencia: Los emparejamientos en diferentes vistas se tratan como votos ruidosos. El artículo modela la probabilidad de éxito de un vínculo utilizando un posterior Beta–Bernoulli. La media del posterior sirve como puntuación de confianza.
   • Crecimiento Iterativo: Los vínculos de alta confianza (aquellos con puntuaciones posteriores altas) se promueven para convertirse en nuevas anclas para la siguiente iteración. Este proceso de bootstrapping expande el minúsculo conjunto semilla inicial en un gran conjunto de correspondencias.
   • Umbralización Adaptativa: Se aplica un umbral de Otsu a las puntuaciones del posterior para separar los vínculos reales de las colisiones espurias causadas por la distorsión específica del modelo.

Contribuciones Clave

• Formulación del Problema: Formalizó el problema de la "Vinculación de Vectores" bajo una superposición parcial y desconocida y restricciones estrictas de caja negra.
• Perspectiva Teórica: Estableció tanto empírica como teóricamente que los codificadores contrastivos exhiben consistencia de distancia local, formando la base para el hashing invariante al codificador.
• Algoritmo: Desarrolló el GEH, un algoritmo de hashing geométrico de múltiples vistas con bootstrapping guiado por posterior que recupera con precisión los vínculos utilizando solo 15–30 pares semilla.
• Aplicaciones: Demostró la utilidad de los vínculos recuperados para la integración de bases de datos vectoriales y el agrupamiento (clustering) de modelos cruzados.

Resultados Experimentales
El método fue evaluado a través de múltiples benchmarks BEIR (NFCorpus, SciFact, ArguAna, SciDocs, FiQA, FEVER) y cinco pares de modelos de embedding (incluyendo Mistral, OpenAI, GTE, Qwen y KaLM).

• Rendimiento: El GEH superó consistentemente a ocho líneas de base (incluyendo Linear, CCA, MLP, RCSLS, Procrustes y Unbalanced Gromov-Wasserstein). Por ejemplo, con solo 15 pares semilla, el GEH logró más del 90% de recall en el conjunto de datos FiQA para Mistral vs. OpenAI, mientras que la mejor línea de base alcanzó solo un ~20% de recall.
• Robustez: El método se mantuvo robusto ante variaciones en las proporciones de superposición (15%–40%), presupuestos de semillas e incluso cuando se utilizaron semillas fuera de dominio (OOD) extraídas de diferentes conjuntos de datos.
• Escalabilidad: En el conjunto de datos FEVER (5.4 millones de documentos), el GEH logró un 93.8% de precisión y un 68.9% de recall en aproximadamente 3328 segundos, demostrando una escalabilidad comparable o más rápida que las líneas de base lineales a pesar de su naturaleza iterativa.
• Impacto en el Uso Posterior: En tareas de integración de bases de datos vectoriales, la recuperación unificada habilitada por GEH se acercó al límite teórico superior de usar un solo modelo. En el agrupamiento de modelos cruzados, recuperó asignaciones de clúster consistentes para el 75–98% de los objetos superpuestos.

Significado
El artículo argumenta que la vinculación de vectores es un primitivo práctico para la interoperabilidad de embeddings. Al aprovechar la consistencia geométrica local inherente de los codificadores contrastivos, evita la necesidad de supuestos de alineación global (que fallan bajo superposición parcial) y de reentrenamiento. Esto permite la integración de bases de datos vectoriales dispares y el análisis conjunto de embeddings de diferentes modelos, abordando un cuello de botella crítico en el panorama de rápido crecimiento de los sistemas de información basados en embeddings.