AIRL-S: Unifying Reinforcement Learning and Search-Based Test-Time Scaling via Adversarial Inverse Reinforcement Learning
تقدم هذه الورقة البحثية AIRL-S، وهو إطار عمل موحد يجمع بين التعلم العكسي التنافسي المعزز (Adversarial Inverse Reinforcement Learning) وتحسين السياسة النسبي للمجموعات (Group Relative Policy Optimization) لاستنتاج مكافآت كثيفة وخطوة بخطوة من المسارات المرجعية، مما يلغي الحاجة إلى بيانات عمليات مصنفة مع تمكين توسيع نطاق الاختبار القوي ومنخفض التكلفة الذي يحقق أداءً بمستوى GPT-4o عبر اختبارات قياس الرياضيات والعلوم وتوليد الكود البرمجي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد النماذج اللغوية الكبيرة المحركات القوية وراء العديد من أنظمة الذكاء الاصطناي الحديثة، وهي قادرة على توليد النصوص، وحل المشكلات، وكتابة الأكواد البرمجية. لسنوات عديدة، حاول الباحثون جعل هذه الأنظمة أكثر ذكاءً من خلال تعليمها التفكير في المشكلات خطوة بخطوة، وهي طريقة تُعرف باسم "سلسلة الأفكار" (chain of thought). ومع ذلك، فإن تعليم النموذج التفكير بشكل جيد أمر صعب لأن الكمبيوتر غالباً ما يعرف فقط ما إذا كانت الإجابة النهائية صحيحة أم خاطئة، وليس ما إذا كانت الخطوات المؤدية إليها منطقية. ولحل هذه المشكلة، جرب العلماء نهجين رئيسيين؛ يتضمن أحدهما تدريب النموذج بمكافآت عند نهاية المهمة فقط، وهو أمر قد يكون غير مستقر وغير فعال. أما النهج الآخر فيستخدم دليلاً منفصلاً للتحقق من كل خطوة من عملية الاستنتاج، لكن إنشاء هذا الدليل يتطلب عادةً خبراء بشريين مكلفين لتسمية آلاف الأمثلة، وغالباً ما يفشل الدليل عندما يبدأ النموذج في التفكير بطرق جديدة.
قدم فريق من الباحثين نظاماً جديداً يسمى AIRL-S يوحد هذين النهجين في حلقة واحدة ذاتية التحسين. فبدلاً من الاعتماد على الملصقات البشرية لكل خطوة، يتعلم النظام إنشاء دليله الداخلي الخاص من خلال مراقبة أمثلة استنتاج عالية الجودة. ثم يستخدم هذا الدليل لتدريب النموذج والمساعدة في البحث عن أفضل الإجابات أثناء الاستخدام في العالم الحقيقي. وفي الاختبارات عبر ثمانية معايير تشمل الرياضيات والعلوم والبرمجة، وجد الباحثون أن هذه الطريقة حسنت أداء النموذج بمتوسط تسعة بالمائة عن نسخته الأصلية. وقد حقق النظام الناتج أداءً يضاهي النماذج التجارية الأكثر تقدماً المتاحة، مثل GPT-4o، دون الحاجة إلى الإشراف البشري المكلف الذي تطلبه الطرق السابقة.
يكمن الابتكار الجوهري في كيفية تعلم النظام لتقييم عمله. تقليدياً، لتعليم نموذج التفكير خطوة بخطوة، كان على الباحثين الحاجة إلى "نموذج مكافأة العملية" (process reward model)، وهو برنامج منفصل يتم تدريبه على بيانات تم فيها تحديد كل خطوة صحيحة وخاطئة من قبل البشر. وهذا أمر بطيء ومكلف. يتجاوز الأسلوب الجديد هذا الأمر باستخدام تقنية تسمى "التعلم التنافسي" (adversarial learning). تخيل النظام وهو يلعب لعبة حيث يحاول جزء واحد توليد خطوات الاستنتاج، بينما يحاول جزء آخر التمييز بين تلك الخطوات المولدة ومجموعة من الأمثلة المرجعية عالية الجودة. ومن خلال هذه المنافسة، يتعلم النظام التعرف على ما تبدو عليه خطوة الاستنتاج الجيدة دون أن يُخبر بذلك صراحة من قبل إنسان. يصبح هذا الدليل المتعلم، أو نموذج المكافأة، كثيفاً ومفصلاً، حيث يقدم ملاحظات حول كل خطوة من عملية الاستنتاج بدلاً من مجرد النتيجة النهائية.
بمجرد أن يتعلم النظام هذا الدليل الداخلي، فإنه يستخدمه بطريقتين في آن واحد. أولاً، يستخدم الدليل لتدريب النموذج الرئيسي، مما يشجع النموذج على اتخاذ خطوات أفضل خلال مرحلة التعلم. ثانياً، يحتفظ بالدليل نفسه ليعمل كمدقق خلال مرحلة حل المشكلات الفعلية. فعندما يُطلب من النموذج حل مشكلة صعبة، يمكنه توليد العديد من الحلول الممكنة المختلفة. ثم يقوم الدليل المتعلم بتقييم كل خطوة من هذه الحلول المحتملة، مما يساعد النظام على اختيار المسار الأكثر منطقية. وهذا يخلق مساراً موحداً حيث تكون الأداة المستخدمة لتعليم النموذج هي نفسها الأداة المستخدمة لمساعدته على التفكير أثناء الاختبار. وقد أثبت الباحثون أن هذا الدليل قوي؛ فهو يعمل بفعالية حتى عند تطبيقه على نماذج مختلفة أو استراتيجيات بحث مختلفة، مما يشير إلى أن المعرفة التي تعلمها عامة وقابلة للنقل.
تم قياس نتائج هذا النهج عبر مجموعة واسعة من المهام الصعبة. اختبر الباحثون نموذجهم على ثمانية معايير قياسية، بما في ذلك مسابقات الرياضيات المعقدة، وأسئلة الاستنتاج العلمي، وتحديات البرمجة. تحسن متوسط دقة النموذج، الذي بدأ كنموذج لغة مفتوح المصدر، بنسبة تسعة بالمائة بعد التدريب بهذه الطريقة الجديدة. وفي مهام رياضية وعلمية محددة، كان التحسن أعلى، حيث وصل إلى ثلاثة عشر بالمائة. وعند مقارنته بالنماذج الأخرى التي تم تدريبها باستخدام بيانات بشرية مكلفة أو تقنيات تعلم تعزيزي متقدمة أخرى، تفوق هذا النظام الجديد باستمرار. بل إنه طابق أداء GPT-4o، وهو نموذج تجاري رفيع المستوى، رغم امتلاكه عدداً أقل بكاف من المعلمات (parameters). وهذا يشير إلى أن جودة عملية الاستنتاج، بتوجيه من نظام المكافأة ذاتي التعلم هذا، أكثر أهمية من مجرد امتلاك نموذج أكبر.
تتمثل إحدى النتائج الرئيسية للدراسة في كيفية عمل نوعين مختلفين من إشارات التعلم معاً. يجمع النظام بين الملاحظات التفصيلية خطوة بخطوة من دليله المتعلم ذاتياً وبين مكافآت النتيجة النهائية من الطرق التقليدية. وجد الباحثون أن الاعتماد على نوع واحد فقط من الإشارات كان أقل فعالية. فقد ساعد الدليل خطوة بخطوة النموذج على استكشاف مسارات استنتاج أفضل، بينما ضمنت إشارة النتيجة النهائية بقاء النموذج مركزاً على الحصول على الإجابة الصحيحة. وعند موازنة هذين النوعين بشكل صحيح، عززت هاتان الإشارتان بعضهما البعض، مما أدى إلى تدريب أكثر استقراراً ونتائج أفضل. علاوة على ذلك، أظهر النظام قدرته على استخدام هذا الدليل المتعلم لتحسين طرق البحث المختلفة، مثل تلك التي تحاول تجربة العديد من الحلول في وقت واحد أو تلك التي تبني شجرة من الاحتمالات. وكان الدليل فعالاً بشكل خاص في سيناريوهات البحث المعقدة حيث يتعين على النموذج تقييم قيمة الخطوات الوسيطة لاتخاذ الخيار الأفضل.
تمتد آثار هذا العمل إلى ما هو أبعد من مجرد الحصول على درجات أعلى في الاختبارات. فمن خلال إزالة الاعتماد على التوصيفات البشرية المكلفة للاستنتاج خطوة بخطوة، توفر هذه الطريقة وسيلة أكثر قابلية للتوسع وفعالية من حيث التكلفة لتحسين الذكاء الاصطناعي. وهي تشير إلى أن النماذج يمكنها أن تتعلم كيف تكون معلمة لنفسها، من خلال صقل قدراتها الاستنتاجية عبر مراقبة الأمثلة عالية الجودة والتنافس ضد نفسها. وأشار الباحثون إلى أن نهجهم مناسب بشكل خاص للمهام التي يمكن التحقق من نتيجتها النهائية تلقائياً، مثل الرياضيات والبرمجة. ورغم أن الطريقة قوية، إلا أن المؤلفين يقرون بأنها تعتمد حالياً على هذه النتائج القابلة للتحقق، وقد تتطلب مزيداً من التطوير للتعامل مع المهام مفتوحة النهايات حيث لا توجد إجابة واحدة صحيحة. ومع ذلك، فإن القدرة على توحيد التدريب والبحث في وقت الاستنتاج في نظام واحد فعال تمثل خطوة هامة نحو جعل النماذج اللغوية الكبيرة مستنتجة أكثر موثوقية وقدرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.