Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models
تقترح الورقة البحثية "التعلم المعزز بالتقييم الذاتي" (SARL)، وهو إطار عمل يُمكّن النماذج اللغوية الكبيرة المعززة بالاسترجاع من التعرف ذاتياً على حالات البحث الخاصة بها وتحسين مسارات البحث من خلال آلية مكافأة مزدوجة، مما يحقق مكاسب كبيرة في الأداء في مهام الاستدلال المعقدة دون الحاجة إلى دعامات إضافية أثناء وقت الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العصر الرقمي الحديث، أصبح الذكاء الاصطناعي أداة قوية للإجابة على الأسئلة، لكنه يواجه قيداً جوهرياً: فهو يعتمد على ذاكرة ثابتة من الحقائق التي تعلمها أثناء تدريبه، والتي يمكن أن تصبح قديمة أو غير مكتملة بسرعة. ولحل هذه المشكلة، طور الباحثون أنظمة تسمح لنماذج الذكاء الاصطناعي هذه بالوصول إلى الإنترنت والبحث عن معلومات حديثة، وهي عملية تُعرف باسم "التوليد المعزز بالاسترجاع". تعمل هذه الأنظمة مثل طالب يمكنه فتح كتاب مدرسي أثناء تأدية الاختبار، حيث يجمع الأدلة من مصادر متعددة لبناء إجابة أفضل. ومع ذلك، ظهرت مشكلة كبيرة مع هذه الوكلاء القادرين على البحث: فهم غالباً ما يفتقرون إلى الشعور بتقدمهم الخاص؛ إذ لا يعرفون دائماً ما هي المعلومات التي نجحوا في العثور عليها وما هي القطع الحيوية التي لا تزال مفقودة. يؤدي هذا الارتباك إلى فشلين شائعين: أولاً، قد يصرح الوكيل بثقة بإجابة خاطئة لأنه يفترض أن لديه أدلة كافية بينما لا يملكها، وهي ظاهرة تُعرف باسم "الهلوسة". ثانياً، قد يتوقف عن البحث مبكراً، مستسلماً قبل أن يجمع الحقائق اللازمة لحل مشكلة معقدة.
قدم فريق من الباحثين طريقة تدريب جديدة تسمى "التعلم التعزيزي للتقييم الذاتي"، أو (SARL)، المصممة لمعالجة هذه الفجوة. فبدلاً من مجرد مكافأة الذكاء الاصطناعي لإعطاء الإجابة النهائية الصحيحة، يعلم هذا النهج النموذج أن يتوقف لتقييم عملية البحث الخاصة به أثناء تعلمه. خلال التدريب، وبعد أن يحاول النموذج تقديم إجابة، يُطلب منه مراجعة سجل عمليات البحث والاستنتاج الخاصة به؛ حيث يجب عليه أن يقرر ما إذا كان قد جمع معلومات كافية ليكون متأكداً، أم أنه يفتقر إلى شيء ما. إذا حكم النموذج بأن المعلومات غير مكتملة، يتم حثه على البحث مرة أخرى؛ وإذا حكم بأنها مكتملة، فإنه يضع اللمسات الأخيرة على إجابته. وجد الباحثون أنه من خلال مكافأة النموذج على إجراء هذه التصحيحات الذاتية عندما تؤدي إلى إجابات أفضل، ومعاقبته على الاعتماد المفرط على خطوة التحقق الذاتي هذه، يتعلم الذكاء الاصطناعي في النهاية استيعاب هذا الوعي داخلياً. فهو يتوقف عن الحاجة إلى التوقف صراحةً وسؤال نفسه عما إذا كان قد انتهى؛ وبدلاً من ذلك، يطور بشكل طبيعي القدرة على إدراك متى وجد المعلومات الصحيحة ومتى يحتاج إلى مواصلة البحث.
تم اختبار نتائج هذا النهج عبر مجموعة متنوعة من المهام الصعبة، بدءاً من الأسئلة البسيطة التي تتطلب حقيقة واحدة وصولاً إلى مشكلات البحث المعقدة التي تتطلب البحث في مصادر مختلفة عديدة. وفي هذه الاختبارات، أظهرت النماذج المدربة بتقنية (SARL) تحسناً ملحوظاً مقارنة بالأساليب السابقة. ففي المتوسط، حققت أداءً أفضل بنسبة 24.3% من أقوى وكلاء البحث الحاليين. وكان التحسن أكثر دراماتيكية في المهام الأكثر صعوبة: ففي تحديات الاستنتاج متعدد الخطوات، حيث تعتمد الإجابة على ربط عدة قطع مختلفة من المعلومات، حسنت الطريقة الجديدة الأداء بنسبة 35.9%. أما بالنسبة لمهام البحث العميق التي تتطلب بحثاً طويلاً ومستمراً، فقد بلغ التحسن 27.9%. ومن الأهمية بمكان أن الباحثين لاحظوا أن الأساليب القديمة كانت تفشل غالباً عندما تُترك عملية البحث لتستمر لفترة طويلة، حيث تصبح غير مستقرة وتنهار في النهاية لتتحول إلى أداء ضعيف. في المقابل، ظلت نماذج (SARL) مستقرة واستمرت في التحسن مع زيادة تعقيد المهام، ونجحت في التنقل عبر مسارات بحث طويلة دون أن تضل طريقها أو تستسلم.
كما كشفت الدراسة أن هذا التحسن جاء من تغيير حقيقي في كيفية بحث الذكاء الاصطناعي. فالنماذج المدربة باستخدام (SARL) لم تكن تكتفي بالتخمين أكثر، بل كانت تطرح أسئلة أكثر تنوعاً واستهدافاً. لقد تعلمت تحديد فجوات محددة في معرفتها وإصدار استعلامات بحث دقيقة لسد تلك الفجوات، بدلاً من تكرار عمليات البحث نفسها أو التوقف قبل الأوان. تم قياس هذا السلوك من خلال تتبع عدد استعلامات البحث الفريدة التي أنشأتها النماذج ومدى نجاحها في العثور على المستندات ذات الصلة اللازمة للإجابة على سؤال ما. استرجعت نماذج (SAR_L) باستمرار معلومات أكثر صلة واستكشفت نطاقاً أوسع من الاحتمالات مقارنة بالنماذج الأقدم. وقد أكد الباحثون أن هذا النجاح لم يكن ناتجاً عن مجرد منح الذكاء الاصطناعي مزيداً من الوقت للبحث أو إضافة تعليمات إضافية، بل تحديداً لأن النموذج تعلم التعرف على حالته المعرفية. فعندما استبدل الباحثون التقييم الذاتي للنموذج بتغذية راجعة عشوائية، فشل النظام في التحسن، مما أثبت أن القدرة على الحكم على تقدمه كانت هي مفتاح نجاحه.
يشير هذا العمل نحو مسار نحو مساعدين أكثر موثوقية وقدرة من الذكاء الاصطناعي يمكنهم التعامل مع مهام البحث عن المعلومات المعقدة دون إشراف بشري مستمر. فمن خلال تعليم هذه الأنظمة فهم ما تعرفه وما لا تعرفه، نجح الباحثون في إنشاء وكلاء أقل عرضة لتأليف الحقائق وأكثر قدرة على المثابرة حتى يجدوا الحقيقة. وتعمل هذه الطريقة دون الحاجة إلى معلمين بشريين إضافيين أو إعدادات معقدة أثناء الاستخدام الفعلي للنظام، مما يجعلها خطوة عملية نحو بناء ذكاء اصطناعي يمكنه حقاً المساعدة في البحث واتخاذ القرارات. وتشير النتائج إلى أنه عندما يتعلم الذكاء الاصطناعي مراقبة عملية البحث الخاصة به، فإنه يصبح ليس فقط باحثاً أسرع، بل باحثاً أذكى، قادراً على التنقل عبر الكم الهائل من المعلومات المتاحة عبر الإنترنت بمستوى من الوعي كان مفقوداً في السابق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.