StratRAG: A Multi-Hop Retrieval Evaluation Dataset for Retrieval-Augmented Generation Systems
تُعد StratRAG مجموعة بيانات جديدة مفتوحة المصدر صُممت لاختبار قدرات الاستنتاج متعدد الخطوات لأنظمة التوليد المعزز بالاسترجاع (RAG)، وذلك من خلال تقييم استراتيجيات الاسترجاع مقابل أسئلة معقدة ضمن مجموعات وثائق مليئة بالضجيج والمشتتات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة عالية المخاطر من نوع "محقق البحث عن الأشياء المفقودة".
لحل لغز ما، لا تحتاج فقط إلى دليل واحد؛ بل تحتاج إلى العثين على دليلين محددين مخبأين في مكانين مختلفين، ثم استخدامهما معاً لحل اللغز. على سبيل المثال: "من هو مخرج الفيلم الذي يشارك في بطولته الممثل الذي ولد في نفس مدينة مخترع المصباح الكهربائي؟"
لحل هذا، عليك أولاً إيجاد مدينة المخترع، ثم إيجاد الممثل، وأخيراً إيجاد المخرج. يُسمى هذا "الاستدلال متعدد القفزات" (Multi-Hop Reasoning) — حيث يتعين عليك "القفز" من قطعة معلومات إلى القطعة التالية.
المشكلة: "المكتبة الفوضوية"
في الوقت الحالي، يقوم العلماء ببناء أنظمة ذكاء اصطناعي (مثل ChatGPT) تستخدم تقنية تُسمى RAG (التوليد المعزز بالاسترجاع). فكر في RAG كأنك تمنح نظام الذكاء الاصطناعي بطاقة مكتبة ليتمكن من البحث عن الحقائق بدلاً من مجرد التخمين.
ومع ذلك، فإن اختبار هؤلاء "الأمناء" (أمين المكتبة) من الذكاء الاصطناعي أمر صعب. معظم الاختبارات تشبه سؤالك: "هل يمكنك العثور على كتاب عن القطط؟" هذا سهل. لكن معظم الأسئلة في العالم الحقيقي تشبه لعبة البحث عن الأشياء المفقودة أعلاه. الاختبارات الحالية غالباً ما تكون فوضوية، غير منظمة، أو لا تخبرك بالضبط أين تختبئ "الكنوز" (الأدلة الذهبية)، مما يجعل من المستحيل معرفة ما إذا كان الذكاء الاصطناعي يعمل كمحقق جيد حقاً أم أنه مجرد ضربة حظ.
الحل: StratRAG (ساحة التدريب المثالية)
ابتكر المؤلف، آريان باتوديا، نظام StratRAG. فكر في StratRAG كأنه مضمار عقبات محكم السيطرة لمحققين من الذكاء الاصطناعي.
بدلاً من مكتبة فوضوية، يمنح StratRAG الذكاء الاصطناعي صندوقاً صغيراً ومحدداً يحتوي بالضبط على 15 مظروفاً.
- مظروفان يحتويان على "الأدلة الذهبية" (الحقيقة).
- 13 مظروفاً تحتوي على "المشتتات" (معلومات تبدو مهمة ولكنها في الواقع طريق مسدود).
ولأن المؤلف يعرف بالضبط أي المظاريف تحمل الحقيقة، يمكنه إعطاء الذكاء الاصطناعي "درجة" على مدى جودة مهارات البحث لديه، دون حتى القلق بشأن ما إذا كان الذكاء الاصطناعي يستطيع كتابة إجابة نهائية جيدة. إنه يختبر البحث (الاسترجاع)، وليس الكتابة (التوليد).
النتائج: من هو أفضل محقق؟
اختبر المؤلف ثلاثة "أساليب بحث" مختلفة:
- الباحث عن الكلمات المفتاحية (BM25): مثل شخص يبحث فقط عن كلمات محددة. إذا كان الدليل يقول "مركبة"، فلن يجد دليلاً يقول "سيارة".
- الباحث عن "الجو العام" (Dense Retrieval): مثل شخص يبحث عن المعنى أو "الجو العام" للجملة. هم يفهمون أن "سيارة" و"مركبة" هما الشيء نفسه.
- المحقق الهجين (الفائز): شخص يستخدم كل من الكلمات المفتاحية المحددة و"الجو العام". كان هذا المحقق هو الأكثر نجاحاً.
"مستوى الزعيم": سؤال الجسر
حتى أفضل المحققين الهجينين واجهوا صعوبة مع نوع واحد من الألغاز: "سؤال الجسر" (The Bridge Question).
في "سؤال الجسر"، يكون الدليلان متصلين بـ "جسر" (رابط خفي) لا يُذكر في السؤال نفسه. الأمر يشبه أن يقال لك: "ابحث عن الشخص الذي يعيش في المنزل الذي بناه الرجل الذي اخترع الهاتف." السؤال لا يذكر المنزل أو الرجل؛ هو يذكر الهاتف فقط.
يتعثر الذكاء الاصطناعي لأنه يبحث عن أدلة "الهاتف"، لكنه لا يدرك أنه بحاجة للعثور على "الرجل" أولاً ليعبر الجسر وصولاً إلى "المنزل".
ما الخطوة التالية؟
يقترح المؤلف أنه بدلاً من مجرد تعليم الذكاء الاصطناعي كيفية البحث عن الكلمات أو "الجو العام"، يجب علينا تعليمه باستخدام التعلم التعزيزي (Reinforcement Learning) — وهو باختصار تعليمه من خلال "التجربة والخطأ"، تماماً مثل تدريب الكلب باستخدام المكافآت. إذا وجد الذكاء الاصطناعي الأدلة الصحيحة وحل اللغز، فإنه يحصل على "مكافأة" (مكافأة رياضية). وفي النهاية، سيتعلم الذكاء الاصطناعي المنطق السري لكيفية "القفز" عبر تلك الجسور لحل أصعب الألغاز.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.