RAISE: RAG Design as an Architecture Search Problem
تقدم هذه الورقة RAISE، وهو إطار عمل ومعيار شامل يصيغ تصميم استرجاع المعلومات المعزز بالتوليد (RAG) كمسألة بحث عن البنية التحتية لتمكين التقييم المنهجي والقابل للتكرار لطرق تحسين المعلمات الفائقة عبر مجموعات بيانات ومهام متنوعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول ابتكار الوصفة المثالية لشطيرة فاخرة (Gourmet Sandwich). لديك الكثير من المكونات لتختار منها: نوع الخبز، سمك الشريحة، نوع الجبن، كمية الخردل المستخدمة، وما إذا كنت ستُحمصها أم لا.
في عالم الذكاء الاصطناي، تُسمى هذه "الشطيرة" RAG (التوليد المعزز بالاسترجاع). وهو نظام حيث يقوم ذكاء اصطناعي ذكي (مثل روبوت الدردشة) بالبحث عن الحقائق في مكتبة ضخمة قبل الإجابة على سؤال ما. ولجعل الذكاء الاصطناعي يعمل بشكل جيد، عليك ضبط العديد من "المقابض":
- كيف يجب أن يكون حجم صفحات المكتبة؟
- كم عدد الصفحات التي يجب أن يقرأها الذكاء الاصطناعي؟
- هل ينبغي له إعادة كتابة السؤال أولاً لجعله أكثر وضوحاً؟
- هل ينبغي له إعادة ترتيب الصفحات للعثور على الأفضل بينها؟
المشكلة: التخمين مقابل البحث
حتى الآن، كان معظم الأشخاص الذين يبنون هذه الأنظمة من الذكاء الاصطناعي يعتمدون على التخمين. فهم يقومون بضبط المقابض بناءً على الحدس أو التجربة والخطأ. الأمر يشبه محاولة خبز كعكة مثالية عبر تغيير كمية السكر والدقيق عشوائياً، على أمل أن يحالفك الحظ. وهذا يجعل من الصعب معرفة ما إذا كانت وصفة واحدة أفضل حقاً من غيرها، لأن الجميع يستخدم مكونات وأفران مختلفة.
الحل: RAISE (مهندس تصميم الشطائر)
قدم مؤلفو هذه الورقة أداة جديدة تسمى RAISE (محرك بحث ذكاء RAG). فكر في RAISE كـ مطبخ منظم للغاية يتعامل مع بناء الذكاء الاصطناعي ليس كلعبة تخمين، بل كمسألة بحث علمي.
بدلاً من مجرد تجربة وصفات عشوائية، يضع RAISE بيئة محكومة حيث:
- المكونات ثابتة: الجميع يستخدم نفس مكتبة المستندات ونفس أنواع الأسئلة.
- الميزانية ثابتة: كل طريقة تحصل على نفس عدد "محاولات التذوق" (على سبيل المثال، 30 محاولة).
- الحكام عادلون: يستخدمون نظام تسجيل موحد لتقييم الشطائر.
يعمل RAISE كـ لجنة تذوق تختبر 13 "استراتيجية بحث" مختلفة (طرق مختلفة لضبط المقابض) لمعرفة أي منها يجد الوصفة الأفضل وبسرعة أكبر.
الاكتشاف الكبير: "المقاس الواحد لا يناسب الجميع"
أكثر شيء مفاجئ وجدته الورقة هو أنه لا توجد استراتيجية واحدة "مثلى".
تخيل أن لديك 13 طباخاً مختلفاً.
- الطباخ (أ) بارع جداً في صنع الشطائر لـ نزهة (Picnic) (نوع معين من الأسئلة).
- الطباخ (ب) هو سيد وجبات وقت متأخر من الليل (نوع آخر من الأسئلة).
- إذا طلبت من الطباخ (أ) صنع وجبة وقت متأخر من الليل، فقد يفشل. وإذا طلبت من الطباخ (ب) صنع شطيرة للنزهة، فقد يعاني.
تظهر الورقة أن طريقة التحسين التي تعمل بشكل مثالي على مجموعة بيانات واحدة (مثل مسابقة معلومات عامة) قد تؤدي أداءً سيئاً للغاية على مجموعة أخرى (مثل سؤال علمي معقد).
التشبيه:
فكر في الأمر مثل الأحذية.
- لن ترتدي أحذية الجري لتسلق جبل.
- لن ترتدي أحذية المشي لمسافات طويلة للسباحة في مسبح.
- لن ترتدي الصنادل للعب كرة القدم.
تجادل الورقة بأننا لا ينبغي فقط إنشاء "لوحة صدارة" تقول "الطباخ (أ) هو الأفضل بشكل عام". بدلاً من ذلك، نحتاج إلى القول: "الطباخ (أ) هو الأفضل لهذا النوع المحدد من الأسئلة، لكن الطباخ (ب) أفضل لذلك النوع الآخر".
ما فعلوه بالفعل
- قاموا ببناء إطار عمل (RAISE) يسم يسمح للباحثين بتجربة خوارزميات بحث مختلفة.
- اختبروا هذه الخوارزميات على 7 أنواع مختلفة من الأسئلة (تتراوح من المعلومات العامة البسيطة إلى العلوم المعقدة والمستندات الطويلة).
- أجروا الاختبارات ثلاث مرات باستخدام بذور عشوائية مختلفة للتأكد من أن النتائج لم تكن مجرد ضربة حظ.
- وجدوا أن الخوارزمية "الأفضل" تتغير بناءً على المهمة. على سبيل المثال، بعض المهام تتطلب من الذكاء الاصطنا artificial قراءة المزيد من الصفحات، بينما تتطلب مهام أخرى إعادة كتابة السؤال أولاً.
الخلاصة
لا تدعي الورقة أنها وجدت "الرصاصة السحرية" التي تجعل كل ذكاء اصطناعي مثالياً. بدلاً من ذلك، فهي توفر ملعباً عادلاً (معياراً مرجعياً) حتى يتمكن الباحثون من التوقف عن التخمين والبدء في فهم أي استراتيجية ضبط تعمل لأي مشكلة محددة بشكل منهجي.
إنها دعوة للتوقف عن البحث عن وصفة "أفضل" عالمية للذكاء الاصطناعي، والبدء في إدراك أن أفضل وصفة تعتمد كلياً على ما تحاول طبخه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.