Robustness of IR Models to Collection Growth

تخيل مكتبة شاسعة تُضاف إليها الكتب باستمرار، وتُحدث، وتُزال. في العالم الرقمي، هذه المكتبة هي الإنترنت، ومهمة العثور على كتاب محدد داخلها تسمى استرجاع المعلومات. عندما تكتب سؤالاً في محرك بحث، يقوم نظام معقد بمسح ملايين الوثائق للعثور على تلك التي تجيب بشكل أفضل على استفسارك. من الناحية المثالية، يجب أن يكون هذا النظام مستقراً؛ فإضافة كتب جديدة غير ذات صلة إلى المكتبة لا ينبغي أن يجعل العثور على الكتب الأصلية ذات الصلة أمراً أكثر صعوبة. إذا كان محرك البحث يعمل جيداً اليوم، فيجب أن يعمل بنفس الكفاءة غداً، حتى لو نمت مجموعة الوثائق بشكل كبير بمحتوى ليس له علاقة ببحثك. هذا الاستقرار هو السؤال الجوهري الذي سعى الباحثون في جامعة غلاسكو للتحقيق فيه. لقد أرادوا معرفة ما إذا كانت المحركات الرياضية وراء أدوات البحث الحديثة يمكنها التعامل مع مكتبة متنامية دون أن تفقد طريقها، أو ما إذا كان فعل إضافة معلومات جديدة غير ذات صلة سيؤدي حتماً إلى إرباك النظام.

ولاختبار ذلك، أنشأ الباحثون تجربة منضبطة من خلال دمج مجموعتين مختلفتين تماماً من النصوص. إحدى المجموعتين، المعروفة باسم TREC-COVID، تحتوي على وثائق تتعلق تحديداً بالجائحة، أُنشئت بعد عام 2019. أما المجموعة الأخرى، MS MARCO، فهي مجموعة ضخمة من مقاطع الويب العامة التي أُنشئت قبل عام 2019. ومن خلال دمجهما، شكلا مكتبة واحدة متباينة، حيث شكلت وثائق الجائحة جزءاً ضئيلاً فقط — حوالي 1.9 في المئة — من الإجمالي. ثم طرحوا استعلامات بحث مصممة لمجموعة وثائق الجائحة لتجري مقابل هذه المكتبة المختلطة الجديدة. كان الهدف هو معرف من خلالها ما إذا كانت نتائج البحث الخاصة بأسئلة الجائحة ستتدهور لأن النظام أصبح الآن مشتتاً بملايين صفحات الويب غير ذات الصلة من ما قبل الجائحة. سمح هذا الإعداد لهم بقياس خاصية محددة يسمونها "المتانة" (robustness): وهي قدرة نموذج البحث على الحفاظ على فعاليته عند إضافة وثائق غير ذات صلة إلى المزيج.

فحصت الدراسة نوعين رئيسيين من نماذج البحث، يتم التمييز بينهما من خلال كيفية نظرها إلى الوثائق التي تقوم بترتيبها. النوع الأول، الذي يسميه الباحثون "غير المتأثر بتعدد الوثائق" (multi-document-agnostic)، يعامل كل وثيقة كجزيرة معزولة. فعندما يقيم وثيقة ما، فإنه ينظر فقط إلى العلاقة بين استعلام البحث وتلك الوثيقة المنفردة، متجاهلاً كل شيء آخر في المكتبة. أما النوع الثاني، المسمى "المعتمد على تعدد الوثائق" (multi-document-dependent)، فهو أشبه بنقاش جماعي؛ إذ ينظر إلى سياق الوثائق الأخرى ليقرر مدى صلة وثيقة معينة. على سبيل المثال، قد تنظر بعض هذه النماذج إلى النتائج العليا من مرحلة أولية لتحسين تقييمها، أو قد تستخدم إحصائيات حول مدى شيوع كلمات معينة عبر المجموعة بأكملها لتعديل إجاباتها. افترض الباحثون أن هذا الاعتماد على المجموعة الأوسع قد يجعل النوع الثاني من النماذج أكثر هشاشة عندما تنمو المكتبة بمحتوى غير ذي صلة.

كشفت نتائج التجربة عن نمط واضح. فعندما أضاف الباحثون ملايين صفحات الويب غير ذات الصلة إلى مجموعة الجائحة، عانت نماذج البحث التي اعتمدت على السياق الأوسع للمجموعة من انخفاض كبير في الأداء. فقد ضعفت قدرتها على إيجاد وثائق الجائحة الصحيحة بشكل ملحوظ. في المقابل، كانت النماذج التي عاملت كل وثيقة بشكل مستقل أكثر صموداً؛ فقد حافظت على قدرتها على إيجاد المعلومات ذات الصلة حتى عندما غُمرت المكتبة بضجيج غير ذي صلة. يشير هذا إلى أنه بالنسبة لمرحلة البحث الأولية، حيث يجب على النظام غربلة مجموعة ضخمة من المرشحين، فإن تجاهل السياق المحيط والتركيز بدلاً من ذلك على المطابقة بين الاستعلام والوثيقة هو استراتيجية أكثر أماناً. فالنماذج التي حاولت استخدام "سياق المجموعة" للمكتبة بأكملها، انجرفت بسهولة بفعل الحجم الهائل للمواد الجديدة غير ذات الصلة، مما أدى فعلياً إلى ضياعها في الضجيج.

اختبر الباحثون أيضاً تقنية شائعة تسمى "تغذية الملاءمة الزائفة" (pseudo-relevance feedback)، حيث يحاول النظام تحسين بحثه من خلال التظاهر بأن النتائج الأولى التي وجدها صحيحة واستخدامها لتنقيح الاستعلام. في بيئة المكتبة المختلطة هذه، جاءت هذه التقنية بنتائج عكسية. فبدلاً من مساعدة النظام على التركيز، سحبت آلية التغذية الراجعة نتائج البحث نحو المجموعة المهيمنة من صفحات ال web العامة، مما قلل من دقة أسئلة الجائحة المحددة. حدث هذا لأن النظام كان يستخدم الوثائق الخاطئة لتوجيه تفكيره، مما عزز انحيازاً نحو الجزء الأكبر وغير ذي الصلة من المكتبة. ومع ذلك، تغيرت القصة قليلاً في المرحلة الثانية من عملية البحث، والمعروفة باسم "إعادة الترتيب" (re-ranking). فبمجرد أن قامت عملية البحث الأولية بتضييق قائمة المرشحين إلى مجموعة أصغر، أدى كلا النوعين من النماذج — تلك التي نظرت في السياق وتلك التي لم تفعل — إلى أداء جيد بالتساوي. في هذه المرحلة، لم يؤدِ إضافة الوثائق غير ذات الصلة إلى إضعاف قدرتهما على ترتيب النتائج النهائية بشكل صحيح.

في النهاية، توضح الدراسة أن بنيات البحث الحالية تعاني من ضعف منهجي عندما تنمو المجموعات. إن الطريقة التي يربط بها النموذج ترتيبه بالوثائق الأخرى تلعب دوراً حاسماً في استقراره. وبينما تكون النماذج التي تتجاهل المجموعة الأوسع أكثر متانة خلال البحث الأولي، فإن إضافة الوثائق غير ذات الصلة لا تزال تسبب بعض التدهور في الأداء بشكل عام، مما يعني أنه لم يكن أي نظام تم اختباره محصناً تماماً ضد هذه المشكلة. تشير النتائج إلى أنه مع استمرار توسع المكتبات الرقمية، فإن الاعتماد على النماذج المصممة صراحةً للتعامل مع هذا النمو أمر ضروري. لا تدعي هذه الدراسة أنها حلت المشكلة، لكنها تقدم قياساً واضحاً للقضية وتصنيفاً لفهم سبب فشل بعض الأنظمة عندما تكبر المكتبة. إنها تسلط الضوء على أنه لكي تظل محركات البحث فعالة في عالم ديناميكي، يجب إعادة التفكير في منطقها الأساسي لاستيعاب التدفق المستمر للمعلومات الجديدة وغير ذات الصلة.