Retrieval with Multiple Query Vectors through Anomalous Pattern Detection

ملخص تقني: الاسترجاع باستخدام متجهات استعلام متعددة عبر كشف الأنماط الشاذة

صياغة المشكلة
تعمل أنظمة استرجاع المتجهات التقليدية عادةً وفق نموذج الاستعلام الفردي، حيث يُستخدم متجه تضمين واحد لاسترجاع المتجهات الأكثر تشابهاً من قاعدة بيانات بناءً على مقاييس التقارب (مثل تشابه جيب التمام أو المسافة الإقليدية). ومع ذلك، فإن مهام الاستدلال والاسترجاع المعقدة غالباً ما تتضمن مجموعة من متجهات الاستعلام التي تلتقط جوانب مختلفة من نية المستخدم (على سبيل المثال، فقرة تمثل فيها كل جملة قيداً أو ميزة متميزة). وتؤدي الأساليب الحالية لاسترجاع الاستعلامات المتعددة إما إلى تجميع هذه المتجهات في تضمين واحد عبر استدلالات تقريبية (heuristics) أو التعامل معها بشكل مستقل، مما يؤدي بالتالي إلى إهمال العلاقات البينية الهامة بين الاستعلامات. علاوة على ذلك، قد تفشل مقاييس المسافة القياسية في التقاط العلاقات المعقدة وغير الخطية والمعتمدة على السياق والمتأصلة في التضمينات عالية الأبعاد، لا سيما تلك الناتجة عن النماذج اللغوية الكبيرة (LLMs).

يعالج هذا العمل تحدي استرجاع متجهات قاعدة البيانات المعنية في ظل وجود مجموعة من متجهات الاستعلام $Q = \{q_1, q_2, \dots, q_M\}$، دون اشتراط تحديد عدد المتجهات المراد استرجاعها مسبقاً.

المنهجية
يقترح المؤلفون إطار عمل للاسترجاع يرتكز على كشف الأنماط الشاذة (Anomalous Pattern Detection). وتتمثل الفرضية الجوهرية في أن مجموعة متجهات الاستعلام تشترك في "نمط شاذ" محدد — وهو مجموعة فرعية من أبعاد المتجه حيث تنحرف القيم مجتمعة بشكل كبير عن التوزيع الملاحظ في قاعدة البيانات $D$. والمتجهات الأكثر صلة في قاعدة البيانات هي تلك التي تظهر نفس النمط الشاذ المشترك.

يمتد هذا النهج ليشمل خوارزميات المسح العميق (McFowland, Speakman, and Neill 2013; Cintas et al. 2021, 2022) في سياق الاسترجاع من خلال عملية مكونة من خطوتين:

1. تحديد الأبعاد الشاذة: بالنظر إلى مجموعة الاستعلام $Q$، تحدد الخوارزمية مجموعة فرعية من أبعاد المتجه $O^*_S$ التي تلتقط بشكل أفضل الخصائص المميزة للاستعلامات.

   • تفترض الطريقة أن النمط الشاذ يتوافق مع القيم التي تكون منخفضة بشكل خاص (في ذيل $\alpha$ السفلي) مقارنة بتوزيع قاعدة البيانات.
   • تقوم الطريقة بتوحيد الأبعاد باستخدام درجات Z (z-scores) ($z_{ml} = \frac{q_{ml} - \mu_l}{\sigma_l}$)، حيث $\mu_l$ و $\sigma_l$ هما المتوسط والانحراف المعياري للبعد $l$ عبر قاعدة البيانات $D$.
   • تُستخدم إحصائية مسح غير معلمية (تحديداً إحصائية بيرك-جونز/Berk–Jones) كدالة تسجيل (scoring function) $F(S)$ لتعظيم درجة الشذوذ عبر المجموعات الفرعية من الأبعاد.

2. استرجاع متجهات قاعدة البيانات: باستخدام الأبعاد المحددة $O^*_S$، تقوم الخوارزمية بمسح قاعدة البيانات $D$ لاسترجاع المجموعة الفرعية من المتجهات $R^*_S$ التي تظهر نفس النمط الشاذ المشترك في تلك الأبعاد المحددة.

وعلى عكس الطرق التقليدية، لا يعتمد هذا النهج على عتبات مسافة ثابتة أو عدد استرجاع محدد مسبقاً $K$. بدلاً من ذلك، يتم تحديد حجم مجموعة الاسترجاع ديناميكياً بواسطة عملية تسجيل الشذوذ.

الإعداد التجريبي والنتائج
قام المؤلفون بتقييم الطريقة على أربع مجموعات بيانات متنوعة:

• الصور: MNIST و Fashion-MNIST (مُسطحة ومسقطة إلى 30 بعداً عبر UMAP).
• النصوص: Persona (تضمينات LLM للجمل التي تتوافق مع شخصيات محددة) و Ailuminate (تضمينات LLM للمطالبات المتعلقة بفئات المخاطر).
• البيانات الجدولية: مجموعة بيانات طبية تتعلق بسرطان الثدي (31 ميزة عددية).

تمت مقارنة الطريقة مع نموذجين مرجعيين من KDTree:

• KDTree pre: يقوم بمتوسط جميع متجهات الاستعلام في متجه واحد قبل الاسترجاع.
• KDTree post: يسترجع المتجهات لكل استعلام بشكل مستقل ثم يدمج النتائج.

النتائج الرئيسية:

• تأثير حجم مجموعة الاستعلام: عبر معظم مجموعات البيانات، أدى زيادة عدد متجهات الاستعلام ($M$) من 1 إلى 8 إلى تحسينات ملحوظة في كل من الدقة (precision) والاستدعاء (recall). وتضاءلت المكاسب عند زيادة $M$ عن 8.
• الأداء حسب مجموعة البيانات:
  • Persona (نصوص LLM): حققت الطريقة المقترحة دقة واستدعاءً شبه مثاليين (قريب من 1.00) عند $M=64$، متفوقة بشكل كبير على متغيرات KDTree (التي وصلت إلى ~0.70–0.80).
  • البيانات الجدولية: حققت الطريقة دقة أعلى (1.00) من النماذج المرجعية (0.90) ولكن استدعاءً أقل (~0.77 مقابل ~0.90).
  • Fashion-MNIST: أظهرت الطريقة استدعاءً أعلى ولكن دقة أقل مقارنة بالنماذج المرجعية.
  • MNIST: لم يُلاحظ فرق جوهري بين الطريقة المقترحة والنماذج المرجعية، رغم أن الأداء المطلق كان مرتفعاً للجميع.
• حجم الاسترجاع: تحدد الطريقة المقترحة حجم مجموعة الاسترجاع ديناميكياً. وفي دراسات الاستبعاد (ablation studies)، عندما أُجبرت KDTree على استرجاع عدد مماثل من المتجهات كما في الطريقة المقترحة، ظلت الطريقة المقترحة تحافظ على تفوق طفيف في الدقة والاستدعاء لمجموعات بيانات Tabular و Persona.

الأهمية والادعاءات
تضع الورقة هذا العمل كخطوة مبتكرة نحو استرجاع قوي متعدد الاستعلامات. ويدعي المؤلفون أن تعريف الصلة من خلال دالة تسجيل الشذوذ بدلاً من مقاييس المسافة التقليدية يسمح بالتقاط العلاقات المعقدة وغير الخطية التي تغفل عنها المقاييس الثابتة.

تطرح الدراسة مساهماتها بتواضع كـ "خطوة أولى" في هذا الاتجاه. ويقر المؤلفون بالقيود، بما في ذلك استخدام فئات ثابتة للاهتمام لكل مجموعة بيانات والاعتماد على KDTree كنموذج مرجعي بدلاً من طرق بحث المتجهات الأكثر تطوراً (مثل البحث الأمثل عن تشابه المتجهات). كما يشيرون إلى أن الطريقة حققت أفضل أداء مع تضمينات نصوص LLM مقارنة بتضمينات الصور ذات الأبعاد المختزلة والبيانات الجدولية، مما يشير إلى الحاجة لمزيد من البحث في مدى قابلية التعميم عبر أنواع البيانات المختلفة وبنيات التضمين. لا يدعي العمل حل جميع تحديات استرجاع الاستعلامات المتعددة، ولكنه يوضح أن الاستفادة من الأنماط الشاذة في مجموعات الاستعلام يمكن أن تؤدي إلى أداء استرجاع متفوق في سياقات محددة، وخاصة مع تضمينات LLM.