💻 computer science

Semantic Recall for Vector Search

تقدم هذه الورقة البحثية "الاستدعاء الدلالي" (Semantic Recall)، وهو مقياس مبتكر لتقييم البحث عن أقرب الجيران التقريبي، يركز فقط على الكائنات ذات الصلة دلالياً لتجنب معاقبة الخوارزميات بسبب فقدان الجيران غير ذوي الصلة، إلى جانب مقياس بديل يسمى "الاستدعاء المتسامح" (Tolerant Recall)، مما يثبت أن التحسين من أجل هذه المقاييس يحقق مقايضات أفضل بين التكلفة والجودة مقارنة بالاستدعاء التقليدي.

المؤلفون الأصليون: Leonardo Kuffo, Ioanna Tsakalidou, Roberta De Viti, Albert Angel, Jiří Iša, Rastislav Lenhardt

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Leonardo Kuffo, Ioanna Tsakalidou, Roberta De Viti, Albert Angel, Jiří Iša, Rastislav Lenhardt

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

مشكلة "التطابق المثالي": لماذا لا يعني القرب الرياضي دائمًا الصلة بالموضوع

تخيل أنك أمين مكتبة في مكتبة ضخمة ومستقبلية، حيث يتم تمثيل كل كتاب بنقطة واحدة على خريطة عملاقة غير مرئية. عندما تطرح سؤالاً (مثل "كيف أصلح صنبوراً يسرب الماء؟")، لا يقوم روبوت المكتبة بقراءة الكتب؛ بل يبحث فقط عن النقاط الأقرب فيزيائياً من نقطة سؤالك على الخريطة.

هكذا يعمل البحث في الذكاء الاصطناعي الحديث. فهو يحول كلماتك إلى أرقام (متجهات) ويبحث عن "أقرب الجيران". ولكن هنا تكمن المشكلة: القرب على الخريطة لا يعني دائماً أن الكتاب مفيد حقاً.

تقدم هذه الورقة طريقة جديدة لقياس مدى جودة روبوتات البحث هذه، وتجادل بأننا كنا نقيمها بناءً على الاختبار الخاطئ.

الطريقة القديمة: "معلم الرياضيات الصارم"

الاستدعاء التقليدي (Traditional Recall) يشبه معلم رياضيات صارم يهتم فقط بالمسطرة.

السيناريو: تسأل، "كيف أصلح صنبوراً؟"
الواقع: يجد الروبوت 10 كتب.
- الكتاب رقم 1: "كيف تصلح صنبوراً" (مطابقة مثالية).
- الكتاب رقم 2: "تاريخ أدوات السباكة" (مقبول، لكنه ليس طريقة إصلاح).
- الكتاب رقم 3: "كيف تصلح دراجة هوائية" (موضوع خاطئ، لكن كلمتي "تصلح" و"أداة" جعلتاه قريباً جداً من سؤالك على الخريطة).
المشكلة: لأن الكتاب رقم 3 أقرب رياضياً لسؤالك من الكتاب رقم 1، يقول "معلم الرياضيات الصارم": "لقد فاتك الكتاب الأقرب الحقيقي! لقد رسبت!"

تجادل الورقة بأن هذا غير عادل. الروبوت لم يفشل؛ بل الخريطة نفسها ضبابية قليلاً. النموذج الذي صنع الخريطة ارتكب خطأً طفيفاً، حيث وضع "الدراجة الهوائية" قريبة جداً من "الصنبور". معاقبة الروبوت لأنه أخطأ في الوصول إلى كتاب قريب رياضياً ولكنه عديم الفائدة يشبه معاقبة نظام تحديد المواقع (GPS) لأنه أوصلك إلى الشارع الخطأ لأن الخريطة رُسمت بشكل خاطئ قليلاً.

الطريقة الجديدة: "الاستدعاء الدلالي" (الأمين الذكي)

يقترح المؤلفون الاستدعاء الدلالي (Semantic Recall). يعمل هذا المقياس كـ أمين مكتبة ذكي يقرأ الكتب بالفعل.

كيف يعمل: ينظر أمين المكتبة الذكي إلى القائمة "الحقيقية" لأقرب 10 كتب (الحقيقة الأرضية). ثم يسأل: "أي من هذه الكتب ذات صلة فعلاً بالسؤال؟"
- إذا كان كتاب "كيف تصلح دراجة هوائية" موجوداً في القائمة ولكنه ليس مفيداً حقاً، يقول أمين المكتبة: "تجاهل هذا الكتاب. إنه مجرد ضجيج".
- يتم معاقبة الروبوت فقط إذا فاته كتاب هو قريب في نفس الوقت على الخريطة ومفيد حقاً.
التشبيه: تخيل أنك تبحث عن تفاحة حمراء في سلة.
- المقياس القديم: إذا كانت هناك كرة رخامية حمراء بجانب التفاحة مباشرة، وأخذت التفاحة ولكن فاتتك الكرة، فستحصل على درجة سيئة.
- المقياس الجديد: الكرة الرخامية غير ذات صلة. إذا أمسكت بالتفاحة، فستحصل على درجة امتياز. نحن لا نهتم بالكرة الرخامية.

"الاستدعاء المتسامح" (المطابقة الضبابية)

في بعض الأحيان، لا نملك أميناً ذكياً لقراءة الكتب (ربما لدينا الأرقام فقط وليس النصوص). في هذه الحالة، يقترح المؤلفون الاستدعاء المتسامح (Tolerant Recall).

التشبيه: تخيل أنك تبحث عن درجة محددة من الطلاء الأزرق.
- الرياضيات الصارمة: يجب أن تجد شريحة الطلاء بدقة. إذا حصلت على درجة تختلف بنسبة 0.01%، فستفشل.
- الاستدعاء المتسامح: إذا كانت شريحة الطلاء التي وجدتها قريبة جداً في اللون لدرجة أن العين البشرية لا تستطيع التمييز بينهما، فإننا نعتبر ذلك نجاحاً.
لماذا يساعد: في عمليات البحث، غالباً ما تؤدي الأخطاء الرياضية الصغيرة (مثل تقريب الأرقام لتوفاً المساحة) إلى تغيير ترتيب الكتب غير المفيدة. الاستدعاء المتسامح يقول: "إذا كانت النتائج متساوية تقريباً، فلا يهم أي كتاب غير مفيد اخترت. طالما أن الكتب الجيدة موجودة، فأنت تبلي بلاءً حسناً".

لماذا يهم هذا؟ (تكلفة السعي نحو الكمال)

تظهر الورقة أن محاولة الوصول للكمال في لعبة "الرياضيات الصارمة" مكلفة للغاية وغالباً ما تكون بلا فائدة.

فخ "الضجيج": للوصول إلى كتاب "الدراجة الهوائية" الأقرب رياضياً (والذي هو في الواقع غير ذي صلة)، يجب على الكمبيوتر أن يبحث بعمق أكبر، ويفحص المزيد من الرفوف، ويستهلك مزيداً من الكهرباء.
النتيجة: من خلال مطاردة "الكمال الرياضي"، تنفق الشركات ثروات لاسترجاع بيانات عديمة الفائدة.
الحل: باستخدام الاستدعاء الدلالي أو المتسامح، يمكن للمطورين ضبط أنظمتهم للتوقف عن مطاردة الضجيج. يمكنهم توفير ما يصل إلى 35% من تكاليف الحوسبة الخاصة بهم مع الاستمرار في تقديم الإجابات الصحيحة للمستخدمين.

الصورة الكبيرة

وجد المؤلفون أنه في العديد من مجموعات البيانات، لا يوجد سوى عدد قليل من الإجابات ذات الصلة حقاً بكل سؤال، محاطة ببحر من "الضجيج القريب رياضياً ولكن العديم الفائدة".

الرؤى القديمة: "محرك البحث معطل لأنه فاته الجار الرياضي الخامس".
الرؤية الجديدة: "محرك البحث رائع لأنه وجد الإجابات الثلاث ذات الصلة، حتى لو فاته الجار الرياضي الرابع الذي كان مجرد إلهاء".

باخت-صار: توقفوا عن تقييم محرك البحث بناءً على مدى جودة اتباعه لخريطة ضبابية. قيموه بناءً على ما إذا كان يأتيكم بالكتاب الصحيح بالفعل. يسمح لنا هذا المقياس الجديد ببناء محركات بحث أسرع، أرخص، وأذكى تركز على المعنى بدلاً من مجرد الرياضيات.

إليك ملخص تقني مفصل لورقة البحث "Semantic Recall for Vector Search" (الاستدعاء الدلالي للبحث المتجهي) من تأليف كوفو وآخرون.

1. بيان المشكلة

تتناول الورقة خللاً جوهرياً في تقييم خوارزميات البحث عن أقرب الجيران التقريبي (ANNS) المستخدمة في أنظمة البحث الدلالي الحديثة.

القصور في الاستدعاء التقليدي: تعتمد المعايير الصناعية الحالية على "الاستدعاء" (Recall)، الذي يقيس نسبة العناصر المسترجعة التي تظهر في قائمة "الحقيقة الأرضية" (Ground Truth) الناتجة عن بحث أقرب الجيران (NNS) الدقيق (Brute-force).
المشكلة الجوهرية: يعتمد البحث الدقيق (NNS) على القرب الرياضي (مثل المسافة الإقليدية أو الضرب الداخلي) ضمن فضاء التضمين (Embedding Space). ومع ذلك، فإن القرب الرياضي لا يعني دائماً الصلة الدلالية.
- غالباً ما تضع نماذج التضمين عناصر غير ذات صلة دلالياً ("ضجيج رياضي") قريبة جداً من متجه الاستعلام.
- وعلى العكس من ذلك، قد تكون العناصر ذات الصلة دلالياً أبعد قليلاً من الناحية الرياضية بسبب قيود النموذج.
النتيجة: يعاقب الاستدعاء التقليدي خوارزميات (ANNS) لأنها تفشل في استرجاع هذه الجيران الرياضيين القريبين ولكن غير ذوي الصلة دلالياً. يؤدي هذا إلى مقاييس مضللة حيث تُعتبر الخوارزمية "أسوأ" لأنها تجاوزت الضجيج، حتى لو نجحت في استرجاع العناصر ذات الصلة دلالياً. وتبرز هذه المشكلة بشكل خاص في الاستعلامات التي تحتوي على عدد قليل من النتائج ذات الصلة، وهو سيناريو شائع في مجموعات بيانات التضمين.

2. المنهجية

يقترح المؤلفون مقياسين جديدين لربط التقييم بشكل أفضل بالهدف الفعلي للبحث الدلالي: استرجاع المعلومات ذات الصلة بدلاً من الجيران الرياضيين.

أ. الاستدعاء الدلالي (srecall)

التعريف: هو كسر الجيران ذوي الصلة دلالياً الذين استرجعتهم خوارزمية (ANNS)، بالنسبة لإجمالي عدد الجيران ذوي الصلة دلالياً الموجودين في الحقيقة الأرضية الدقيقة.
الصيغة: $srecall = \frac{|R \cap SN|}{|SN|}$ $sr ec a l l = \frac{∣ R \cap S N ∣}{∣ S N ∣}$
- $R$ : مجموعة الجيران المسترجعة.
- $SN$ : مجموعة الجيران الدلاليين (مجموعة فرعية من الحقيقة الأرضية تم تحديدها كذات صلة دلالياً).
تحديد الجيران الدلاليين: يستخدم المؤلفون عملية من خطوتين:
1. حساب أعلى- $k$ من الحقيقة الأرضية عبر البحث الدقيق (NNS).
2. استخدام حكم خارجي (بشري أو نموذج لغوي كبير، وتحديداً Gemini 1.5 في تجاربهم) لتصنيف كل عنصر من عناصر الحقيقة الأرضية كـ "ذات صلة" أو "غير ذات صلة" بناءً على الاستعلام.
الميزة الرئيسية: يتجاهل "الضجيج الرياضي". إذا تجاوزت خوارزمية (ANNS) جاراً غير ذي صلة كان أقرب رياضياً من جار آخر ذي صلة، فإنه لا يتم معاقبتها على ذلك.

ب. الاستدعاء المتسامح (trecall)

الدافع: يتطلب الاستدعاء الدلالي الوصول إلى البيانات الخام وعملية حكم (LLM/بشري)، وهو أمر ليس ممكناً دائماً (على سبيل المثال، في مجموعات البيانات الديناميكية أو عند توفر التضمينات فقط).
التعريف: مقياس وسيط يقرب الاستدعاء الدلالي من خلال السماح للنتيجة المسترجعة باستبدال جار من الحقيقة الأرضية إذا كانت درجات التشابه الخاصة بها ضمن حد عتبة تسامح معين ( $x\%$ ).
الآلية: إذا كان للعنصر المسترجع $t_i$ درجة $score(t_i) \ge score(g_i) \cdot (1 - x\%)$ ، حيث $g_i$ هو جار من الحقيقة الأرضية، فإنه يُعتبر مطابقة.
الفائدة: يتميز بالمتانة تجاه الاضطرابات الصغيرة في مقياس المسافة (مثل تلك الناتجة عن التكميم/Quantization)، ولا يتطلب تسمية دلالية يدوية، مما يجعله مناسباً لمسارات الإنتاج.

3. المساهمات الرئيسية

تعريف الاستدعاء الدلالي: مقياس جديد يفلتر الضجيج الرياضي، ويركز حصرياً على استرجاع الكائنات ذات المعنى الدلالي.
منهجية تحديد الجيران الدلاليين: نهج قابل للتوسع باستخدام النماذج اللغوية الكبيرة (LLMs) للحكم على الصلة في نتائج أعلى- $k$ من الحقيقة الأرضية، وهو أمر أكثر كفاءة بكثير من تنسيق مجموعات بيانات "المعيار الذهبي" الكاملة.
تقديم الاستدعاء المتسامح: مقياس وسيط عملي، لا يتطلب ضبطاً للمعلمات (أو سهل الضبط)، يتتبع الاستدعاء الدلالي بدقة دون الحاجة إلى تسميات دلالية.
التحقق التجريبي: تجارب شاملة على مجموعات بيانات MSMARCO (الإنجليزية) و MIRACL (التايلاندية) أظهرت أن الاستدعاء التقليدي غالباً ما يكون غير متوافق مع رضا المستخدم، خاصة بالنسبة للاستعلامات ذات عدد قليل من النتائج ذات الصلة.
رؤى التحسين: أدلة على أن ضبط خوارزميات (ANNS) لاستهداف الاستدعاء الدلالي/المتسامح يؤدي إلى مقايضات أفضل بين التكلفة والجودة مقارنة بالضبط للاستهداف لـ الاستدعاء التقليدي.

4. النتائج

قيم المؤلفون مقاييسهم باستخدام مجموعة بيانات MSMARCO (8.83 مليون وثيقة) و MIRACL (الجزء التايلاندي) مع تكوينات مختلفة من (ANNS) (مثل ScANN، FAISS IVF).

توزيع النتائج ذات الصلة: كشف التحليل عن توزيع ثنائي المنوال حيث تمتلك العديد من الاستعلامات عدداً قليلاً جداً (0–15) من الجيران ذوي الصلة دلالياً في أعلى-100 من الحقيقة الأرضية.
مقارنة المقاييس:
- الاستدعاء التقليدي: أقل بكثير للاستعلامات ذات الجيران الدلاليين القلائل (متوسط 0.762) لأنه يعاقب على إغفال الجيران الرياضيين القريبين غير ذوي الصلة.
- الاستدعاء الدلالي: أعلى بكثير (متوسط 0.903 لنفس المجموعة)، مما يعكس أن العناصر ذات الصلة قد تم بالفعل استرجاعها.
- الاستدعاء المتسامح: يتتبع الاستدعاء الدلالي عن كثب (0.859 مقابل 0.903) مع تسامح بنسبة 1%، مما يؤكد صلاحيته كمقياس وسيط.
تأثير التكميم (Quantization): تؤدي الأخطاء الصغيرة الناتجة عن التكميم بـ 8 بت إلى إعادة ترتيب الجيران غير ذوي الصلة، مما يتسبب في انخفاض الاستدعاء التقليدي. بينما يظل الاستدعاء المتسامح والدلالي مستقرين لأنهما يتجاهلان هذه التبديلات غير ذات الصلة.
مقايضة التكلفة-الجودة (الضبط):
- عند ضبط ScANN لاستهداف 98% من الاستدعاء التقليدي، يتحمل النظام تكاليف حوسبة عالية لاسترجاع الجيران غير ذوي الصلة.
- عند الضبط لاستهداف 98% من الاستدعاء المتسامح (والذي يقابل ~98.9% من الاستدعاء الدلالي)، يحقق النظام نفس جودة استرجاع العناصر ذات الصلة بتكلفة أقل بنسبة 5%.
- الضبط لـ 95% من الاستدعاء المتسامح بدلاً من 95% من الاستدعاء التقليدي قلل التكاليف بنسبة ~25% في BigANN، و ~5% في GloVe، و ~35% في MSMARCO.

5. الأهمية والخاتمة

تحول في النموذج: تجادل الورقة بأن على مجتمع استرجاع المعلومات (IR) الابتعاد عن التحسين من أجل الدقة الرياضية (الاستدعاء التقليدي) والتوجه نحو التحسين من أجل المنفعة الدلالية.
مكاسب الكفاءة: من خلال إدراك أن الجيران غير ذوي الصلة "المتقاربين في المسافة" هم ضجيج، يمكن للمطورين تخفيف قيود البحث، مما يقلل بشكل كبير من التكاليف الحوسبية (البيانات المقروءة، دورات وحدة المعالجة المركزية) دون تدهور تجربة المستخدم الفعلية.
القابلية للتطبيق العملي: المقاييس المقترحة قابلة للتطبيق عبر مختلف نماذج التضمين، وخوارزميات (ANNS) (مثل HNSW، ScANN، IVF)، ونطاقات البيانات.
العمل المستقبلي: يقترح المؤلفون دمج هذه المقاييس في آليات الإنهاء المبكر (early-termination) ومقارنتها عبر بنيات (ANNS) متنوعة.

باختصار، يوفر كل من الاستدعاء الدلالي والاستدعاء المتسامح إطار تقييم أكثر دقة وتركيزاً على المستخدم للبحث المتجهي، مما يسمح للأنظمة بأن تكون أسرع وأرخص مع الحفاظ على مستوى عالٍ من الصلة.