Vector Linking via Cross-Model Local Isometric Consistency

ملخص تقني: ربط المتجهات عبر الاتساق الأيزومتري المحلي عبر النماذج

تعريف المشكلة: ربط المتجهات (Vector Linking)
تتناول الورقة مشكلة ربط المتجهات: استعادة الارتباطات بين الكائنات عبر النماذج المختلفة بين سحابتين من التضمينات ($E_1$ و $E_2$) الناتجة عن مشفرات تباينية (contrastive encoders) مختلفة "صندوق أسود" ($f_1$ و $f_2$) فوق مجموعات بيانات متداخلة جزئياً ($O_1$ و $O_2$). الإعداد هو إعداد "بعد الحدوث" (post-hoc) وصندوق أسود صارم؛ حيث لا يمتلك الأسلوب سوى الوصول إلى متجهات التضمين الساكنة ومجموعة "بذور" (seed set) صغيرة من المرتكزات المقترنة ($S$) المعروف ارتباطها بنفس الكائنات الأساسية. ومن الأهمية بمكان أن التداخل بين مجموعات البيانات مجهول وجزئي، مما يعني عدم وجود تقابل شامل (global bijection) بين فضاءات التضمين، ولا يمكن معاملة المناطق غير المتداخلة كقيم متطرفة بسيطة. تعيق فجوة التشغيل البيني هذه عمليات الاسترجاع الموحد، وإزالة التكرار عبر الفهارس، وتكامل قواعد بيانات المتجهات.

الأساس النظري: الاتساق الأيزومتري المحلي (Local Isometric Consistency)
الرؤية النظرية الجوهرية التي تقود هذا العمل هي اكتشاف الاتساق الهندسي المحلي عبر المشفرات التباينية المدربة بشكل مستقل.

• الملاحظة التجريبية: لاحظ المؤلفون أنه بينما تتباعد المسافات بعيدة المدى بين التضمينات بسرعة عبر النماذج المختلفة، تظل المسافات قصيرة المدى مرتبطة بقوة.
• التبرير النظري: من خلال تحليل بديل محلي للاتساق والانتظام (alignment-uniformity) للتعلم التبايني، تثبت الورقة أن المشفرات المثالية محلياً $f_1$ و $f_2$ عند نقطة $x$، ولأي نقطة قريبة $y$، تحث على مقاييس أيزومترية محلية حتى عامل القياس $\kappa$. وتحديداً، العلاقة بين المسافات هي:
  $$\|f_1(x) - f_1(y)\| = \kappa \cdot \|f_2(x) - f_2(y)\| + O(d_M(x, y)^2)$$
  حيث $\kappa$ هو عامل القياس و $d_M$ هي المسافة الجيوديسية الجوهرية. وهذا يعني أن الجوارات المحلية مستقرة عبر النماذج، في حين أن الترتيبات العالمية تكون مشوهة.

المنهجية: التجزئة الهندسية للتضمين (Geometric Embedding Hashing - GEH)
بناءً على خاصية الاتساق المحلي، يقترح المؤلفون التجزئة الهندسية للتضمين (GEH)، وهو خوارزمية تكرارية تعتمد على المرجع لاستعادة روابط المتجهات من مجموعة بذور صغيرة جداً دون الوصول إلى داخل النماذج أو البيانات الخام.

1. توقيعات المسافة إلى المرتكز (Distance-to-Anchor Signatures): بدلاً من محاذاة الفضاءات العالمية، يمثل GEH كل متجه من خلال مسافاته إلى مجموعة من المرتكزات المقترنة. وللتعامل مع عامل القياس المجهول $\kappa$، يتم تطبيع هذه التوقيعات (لتكون خالية من القياس)، وعادة ما يتم ذلك باستخدام تشابه جيب التمام (cosine similarity) على متجهات المسافة.
2. التصويت متعدد الرؤى (Multi-View Voting): إن مجموعة واحدة من المرتكزات غير كافية لجميع النقاط بسبب شرط المحلية. يقوم GEH بأخذ عينات من العديد من "الرؤى" الهندسية الصغيرة والمتنوعة (مجموعات فرعية من المرتكزات) من حوض المرتكزات المقترنة الحالي.
   • توليد الرؤى: يتم بناء الرؤى باستخدام أخذ عينات النقطة الأبعد (Furthest Point Sampling - FPS) لضمان تنوع المرتكزات واستقرارها.
   • التجزئة الموقعة (Kernelized Hashing): للتركيز على الاتساق قصير المدى وقمع الضجيج طويل المدى، يتم تحويل المسافات الخام عبر نواة أحادية التزايد (مثل $e^{-dist/\sigma}$).
   • توليد المرشحين: ضمن كل رؤية، يتم اقتراح روابط مرشحة عبر بحث أقرب جار متبادل (MNN) في فضاء التجزئة، باستخدام CSLS للتخفيف من مشكلة "المركزية" (hubness).
3. التمهيد الموجه بالاحتمال اللاحق (Posterior-Guided Bootstrapping):
   • تجميع الأدلة: تُعامل المطابقات عبر الرؤى المختلفة كأصوات مشوبة بالضجيج. تصنف الورقة نجاح احتمال الرابط باستخدام توزيع بيتا-بيرنولي اللاحق (Beta–Bernoulli posterior). يعمل متوسط الاحتمال اللاحق كدرجة ثقة.
   • النمو التكراري: يتم ترقية الروابط ذات الثقة العالية (التي تمتلك درجات لاحقة عالية) لتصبح مرتكزات جديدة للحلقة التالية. تعمل عملية التمهيد هذه على توسيع مجموعة البذور الصغيرة الأولية إلى مجموعة ارتباطات كبيرة.
   • العتبة التكيفية: يتم تطبيق عتبة Otsu على الدرجات اللاحقة للفصل بين الروابط الحقيقية والتصادمات الزائفة الناتجة عن التشوه الخاص بالنموذج.

المساهمات الرئيسية

• صياغة المشكلة: صياغة مشكلة "ربط المتجهات" تحت ظروف التداخل الجزئي والمجهول وقيود الصندوق الأسود الصارمة.
• الرؤية النظرية: إثبات أن المشفرات التباينية تظهر اتساقاً مسافياً محلياً، سواء تجريبياً أو نظرياً، مما يشكل أساس التجزئة الثابتة للمشفر.
• الخوارزمية: تطوير GEH، وهي خوارزمية تجزئة هندسية متعددة الرؤى مع تمهيد موجه بالاحتمال اللاحق تستعيد الروابط بدقة باستخدام 15-30 زوجاً من البذور فقط.
• التطبيقات: إثبات فائدة الروابط المستعادة لتكامل قواعد بيانات المتجهات وتجميع التضمينات عبر النماذج.

النتائج التجريبية
تم تقييم الطريقة عبر عدة معايير BEIR (NFCorpus, SciFact, ArguAna, SciDocs, FiQA, FEVER) وخمسة أزواج من نماذج التضمين (بما في ذلك Mistral, OpenAI, GTE, Qwen, KaLM).

• الأداء: تفوق GEH باستمرار على ثمانية خطوط أساس (بما في ذلك Linear, CCA, MLP, RCSLS, Procrustes, Unbalanced Gromov-Wasserstein). على سبيل المثال، باستخدام 15 زوجاً من البذور فقط، حقق GEH أكثر من 90% استدعاء (recall) في مجموعة بيانات FiQA لنموذجي Mistral مقابل OpenAI، بينما حقق أفضل خط أساس حوالي 20% استدعاء فقط.
• المتانة: ظلت الطريقة متينة عبر نسب تداخل متغيرة (15%-40%)، وميزانيات بذور متفاوتة، وحتى عند استخدام بذور خارج النطاق (OOD) مستمدة من مجموعات بيانات مختلفة.
• القابلية للتوسع: في مجموعة بيانات FEVER (5.4 مليون وثيقة)، حقق GEH دقة بنسبة 93.8% واستدعاء بنسبة 68.9% في حوالي 3328 ثانية، مما يظهر قابلية توسع مقاربة أو أسرع من الخطوط الأساسية الخطية رغم طبيعته التكرارية.
• الأثر اللاحق: في مهام تكامل قواعد بيانات المتجهات، اقترب الاسترجاء الموحد الممكن بواسطة GEH من الحد الأعلى النظري لاستخدام نموذج واحد. وفي مهام التجميع عبر النماذج، استعاد تخصيصات العناقيد المتسقة لـ 75-98% من الكائنات المتداخلة.

الأهمية
تجادل الورقة بأن ربط المتجهات هو عنصر أساسي عملي للتشغيل البيني للتضمينات. من خلال الاستفادة من الاتساق الهندسي المحلي المتأصل في المشفرات التباينية، يتجاوز GEH الحاجة إلى افتراضات المحاذاة العالمية (التي تفشل تحت التداخل الجزئي) وإعادة التدريب. وهذا يتيح دمج قواعد بيانات المتجهات المتباينة والتحليل المشترك لتضمينات النماذج المختلفة، مما يعالج عقبة حرجة في المشهد المتطور بسرعة لأنظمة المعلومات القائمة على التضمين.