Hierarchical BM25: Lexical Search at Billion-Document Scale
يُمكِّن نظام BM25 الهرمي البحث المعجمي التفاعلي على نطاق المليارات عبر استبدال الفهرس المسطح كثيف الذاكرة ببنية ثنائية الطبقات تستخدم فهرساً خشناً صغيراً ومقيماً لاختيار مجموعات المستندات ذات الصلة، محققاً بذلك حدوداً ثابتة للذاكرة وزمن الاستجابة مع الحفاظ على دقة التقييم للمجموعة المسترجعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثور على حقيقة محددة في مكتبة تحتوي على مليار كتاب. في عالم علوم الحاسوب، هذا هو تحدي "البحث المعجمي" (lexical search) — أي العثور على المستندات بناءً على تطابقات الكلمات الدقيقة، مثل البحث عن عبارة "hierarchical BM25" بدلاً من مجرد الفكرة العامة عنها. لعقود من الزمن، أصبحت أجهزة الكمبيوتر أفضل في هذا الأمر، ولكن هناك عقبة: لكي تبحث في مليار كتاب بشكل فوري، ستحتاج عادةً إلى الاحتفاظ بخريطة ضخمة لكل كلمة في كل كتاب في ذاكرة الوصول العشوائي (RAM) الخاصة بجهاز الكمبيوتر. هذه الخريطة ضخمة جداً — حوالي 400 جيجابايت — وكأنك تحاول حمل المكتبة بأكملها في حقيبة ظهرك أثناء الركض. إذا لم تكن تملك هذا القدر من الذاكرة، فسيتعين عليك الركض ذهاباً وإياباً إلى الأرفف (القرص الصلب) مقابل كل سؤال، مما يستغرق ثوانٍ. وفي عالم نتوقع فيه الإجابات في لمح البصر، فإن الانتظار لمدة أربع إلى اثنتي عشرة ثانية يشبه مشاهدة الطلاء وهو يجف؛ فهذا يفسد التجربة. تتناول هذه الورقة البحثية هذا المشكل تحديداً: كيف نبحث في مليار مستند بشكل فوري دون الحاجة إلى ذاكرة حاسوب خارق؟
يقترح المؤلفون طريقة جديدة ذكية للبحث تسمى Hierarchical BM25. وبدلاً من محاولة حفظ المكتبة بأكملها دفعة واحدة، يقترحون استراتيجية من خطوتين تحاكي كيفية مساعدة أمين مكتبة بشري لك. أولاً، يقومون بتنظيم المليار مستند في حوالي 1,000 "ممر" أو مجموعة متميزة بناءً على مواضيعها. ويقومون ببناء فهرس صغير وفائق السرعة لهذه الممرات فقط، بحيث يتناسب بسهولة مع الذاكرة (حوالي 4.4 جيجابايت). عندما تطرح سؤالاً، لا يقوم الكمبيوتر بمسح كل كتاب؛ بل يتحقق أولاً من هذا الفهرس الصغير لمعرفة أي 40 ممراً هي الأكثر احتمالاً لاحتواء الإجابة. بعد ذلك، يغوص فقط داخل تلك الممرات المحددة للعثور على الكتب الدقيقة.
السحر هنا يكمن في المقايضة. يعترف المؤلفون بأنهم من خلال تخطي الـ 960 ممراً الأخرى، قد يفوتون الإجابة المثالية تماماً في بعض الأحيان. ويسمون ذلك التخلي عن "سلامة التصنيف" (rank safety) — أي الضمان بأنك ستحصل على أفضل 10 نتائج بالضبط في كل مرة. ومع ذلك، يجادلون بأنه في أنظمة البحث الحديثة، نادراً ما يهم الحصول على النتيجة العاشرة بدلاً من الحادية عشرة لأن حاسوباً ثانياً (أداة إعادة التصنيف - "reranker") سيقوم بترتيبها على أي حال. ما يهم حقاً هو السرعة. ومن خلال هذه المقايضة، حققوا شيئاً كان مستحيلاً في السابق: يمكنهم البحث في مليار مستند في حوالي 300 مللي ثانية (أقل من ثلث ثانية) باستخدام كمية ضئيلة من الذاكرة.
في اختباراتهم، كانت هذه الطة الجديدة أسرع بمقدار 4.7 إلى 5.6 مرة من الطريقة القياسية القديمة للبحث، حتى عندما استخدمت الطريقة القديمة معالجات متعددة للمساعدة. وبينما كانت الطريقة القديمة تعاني للتعامل مع أكثر من 3 أسئلة في الثانية، استطاع هذا النظام الجديد التعامل مع ما يصل إلى 32 سؤالاً في الثانية عندما تكون "الممرات" دافئة وجاهزة بالفعل. كما اكتشف المؤلفون خطأً طفيفاً في كيفية تقييم مجموعات الكتب المختلفة مقابل بعضها البعض وقاموا بإصلاحه، مما يضمن أن تكون الرياضيات دقيقة تماماً عند البحث.
ومع ذلك، فإن المؤلفين حذرون جداً من تسمية هذه الطريقة بحل مثالي. فهم يصرحون صراحة بأن هذه الطريقة هي تقريب وليست ضماناً. لقد قاموا بقياس مدى نجاحها في اختبار أصغر يضم 500,000 مستند، ووجدوا أنه من خلال فحص 5% إلى 10% فقط من المجموعات، استعادوا حوالي 83% إلى 92% من "جودة" البحث الكامل. ويقترحون أن هذا سيصمد على الأرجح عند مقياس المليار مستند، لكنهم لم يثبتوا ذلك بعد على مجموعة بيانات حقيقية وفوضوية. كما يشيرون إلى أن طريقتهم تعمل بشكل أفضل للأسئلة الطويلة والمعقدة (16 إلى 32 كلمة)، وهي شائعة في أنظمة الذكاء الاصطناعي الحديثة، بينما صُممت الطرق القديمة لعمليات البحث الويب القصيرة والبسيطة.
باختد، تقترح هذه الورقة البحثية أنه إذا كنت مستعداً لقبول فرصة ضئيلة لتفويت أفضل إجابة مطلقة، يمكنك بناء محرك بحث لمليار مستند يكون سريعاً، رخيصاً، ويتناسب في ذاكرة حاسوب عادي. إنه فوز هندسي عملي يعطي الأولوية للسرعة والكفاءة على الكمال الرياضي، مع الإقرار بأنه في العالم الحقيقي، غالباً ما تكون الإجابة "الجيدة بما يكفي" والسريعة أفضل من الإجابة "المثالية" والبطيئة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.