CEDAR-GRPO: Process-Aware Reinforcement Learning for General Abductive Reasoning in LLMs

في المشهد الواسع للذكاء الاصطناعي، يحاول الباحثون باستمرار تعليم الآلات كيف تفكر مثل البشر، وليس فقط كيف تتنبأ بالكلمة التالية في الجملة. أحد أكثر طرق التفكير بشرية يسمى الاستدلال التجريدي (Abductive Reasoning). هذه هي العملية الذهنية المتمثلة في النظر إلى مجموعة من الأدلة أو الملاحظات والعمل بشكل عكسي لإيجاد التفسير الأكثر احتمالاً لها. هكذا يستنتج الطبيب ما هو الخطب في حالة المريض بناءً على بضعة أعراض، وهكذا يعيد المحقق بناء جريمة من أدلة متفرقة، أو كيف يشخص المهندس آلة توقفت فجأة عن العمل. لفترة طويلة، كافح العلماء لجعل النماذج اللغوية الكبيرة تقوم بذلك بشكل جيد. وبينما تبرع هذه النماذج في استرجاع الحقائق أو اتباع القواعد المنطقية الصارمة، فإنها غالباً ما تتعثر عندما يُطلب منها استنتاج الأسباب الخفية من معلومات غير كاملة. فهي تميل إلى تخمين الإجابة الصحيحة لأسباب خاطئة، أو تأليف حقائق تبدو معقولة ولكنها لا تتناسب فعلياً مع الأدلة المقدمة.

وضع فريق من الباحثين في جامعة شريف التكنولوجية وجامعة طهران هدفاً لحل هذه المشكلة. أرادوا معرفة ما إذا كان بإمكانهم تدريب هذه النماذج الذكية لتصبح أفضل في الاستدلال التجريدي بطريقة تساعدها على حل مشكلات جديدة وغير مرئية، بدلاً من مجرد حفظ الألغاز المحددة التي تدربت عليها. طوروا طريقة تدريب جديدة تسمى CEDAR-GRPO. وبدلاً من مجرد مكافأة النموذج على الحصول على الإجابة النهائية الصحيحة، صمموا نظاماً يكافئ النموذج أيضاً على كيفية وصوله إليها. يتحقق النظام من شيئين محددين في عملية التفكير لدى النموذج: أولاً، ما إذا كان النموذج قد نظر بالفعل وشرح كل تفصيل في الأدلة المقدمة، وثانياً، ما إذا كان النموذج قد حرك استدلاله في الاتجاه الصحيح، بدءاً من الملاحظات وبناءً نحو استنتاج، بدلاً من البدء باستنتاج ومحاولة تطويع الأدلة لتناسبه.

ولاختبار ذلك، أخذ الباحثون أربعة نماذج لغوية مختلفة مفتوحة المصدر ودربوها على مجموعة مختلطة بعناقة من المهام. تضمنت هذه المهام كل شيء من اختيار أفضل تفسير لقصة قصيرة إلى كتابة كود برمجي يشرح نمطاً في البيانات. والأهم من ذلك، أنهم لم يكتفوا بإظهار الإجابات للنماذج فحسب؛ بل استخدموا تقنية تعلم تعزيزي تعمل مثل المدرب، حيث تقدم للنماذج ملاحظات حول خطوات استدلالها. تعلمت النماذج أن الإجابة الصحيحة ليست كافية إذا تجاهلت تفصيلاً رئيسياً أو إذا كان منطقها معكوساً. بعد هذا التدريب، اختبر الباحثون النماذج في إحدى عشرة مهمة مختلفة تماماً لم يسبق لها رؤيتها من قبل. تراوحت هذه المهام الجديدة بين تشخيص الحالات الطبية وتصحيح أخطاء البرمجة الحاسوبية إلى حل الألغاز المعقدة وفهم القصص الطويلة والمعقدة.

أظهرت النتائج تحسناً واضحاً في جميع المجالات. تفوقت النماذج التي تم تدريبها باستخدام الطريقة الجديدة على نسخها الأصلية وعلى النماذج التي تم تدريبها فقط للحصول على الإجابة النهائية الصحيحة. وفي المتوسط، حسنت الطريقة الجديدة الأداء بمقدار 7.4 نقطة مئوية عن النماذج الأصلية وبمقدار 2.7 نقطة عن النماذج المدربة فقط على الصحة. وفي بعض الحالات المحددة، وصل التحسن إلى 30.8 نقطة. والأهم من ذلك، قام الباحثون بتحليل النص الفعلي الذي كتبته النماذج أثناء تفكيرها، ووجدوا أن النماذج المدربة كانت تتصرف مثل المحققين الحذرين؛ فقد كانت أكثر عرضة لاستكشاف احتمالات مختلفة قبل الاستقرار على إجابة، وإلى استبعاد الأفكار الخاطئة صراحةً، والاعتراف بعدم اليقين. كما أظهرت أيضاً عادة أقوى بكثير في ربط استنتاجاتها مباشرة بالحقائق المحددة التي أُعطيت لها، بدلاً من الاعتماد على افتراضات غامضة.

كما دحضت الدراسة العديد من التفسيرات البديلة لهذا النجاح. أثبت الباحثون أن التحسن لم يأتِ ببساطة من رؤية النماذج لمزيد من الأمثلة أو من تعزيز عام في القدرة على الاستدلال. فعندما دربوا النماذج على كمية مماثلة من بيانات الاستدلال العامة التي لا تركز على مهام الاستدلال التجريدي، لم تظهر النماذج نفس المستوى من التحسن في الاختبارات المحددة. وهذا يشير إلى أن الطريقة المحددة التي تمت بها مكافأة النماذج على عملية استدلالها كانت هي العامل الرئيسي. وتشير النتائج إلى أن الاستدلال التجريدي يمكن تعزيزه كمهارة عامة تنتقل عبر مجالات مختلفة، بدلاً من كونه خدعة ضيقة تعمل فقط على أنواع معينة من الألغاز. ومن خلال تعليم النماذج احترام الأدلة واتباع مسار منطقي من الملاحظة إلى التفسير، يكون الباحثون قد اتخذوا خطوة مهمة نحو إنشاء ذكاء اصطناعي يمكنه حقاً فهم العالم من حوله وشرحه.