SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning
تقدم هذه الورقة البحثية إطار عمل SAPO، وهو إطار عمل موفر للذاكرة ومحسن للحوسبة للتعلم التعزيزي الوكيل، يستخدم عموداً فقرياً ذاتي الانحدار مشتركاً لوظائف السياسة والقيمة لتحقيق أداء واستقرار فائقين مقارنة بالأساليات الحالية مثل PPO وGRPO مع إلغاء الحاجة إلى نموذج ناقد منفصل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، ظهرت حدود جديدة حيث لم تعد برامج الكمبيوتر مجرد مولدات نصوص سلبية، بل أصبحت وكلاء نشطين قادرين على التفكير، والبحث في الويب، وحل المشكلات المعقدة عبر خطوات عديدة. هذا المجال، المعروف باسم التعلم التعزيزي الوكيل (agentic reinforcement learning)، يعلّم هؤلاء المساعدين الرقميين من خلال السماح لهم بتجربة إجراءات في بيئة محاكية والتعلم من النتائج. تخيل طالباً يؤدي اختباراً: إذا حصل على الإجابة الصحيحة، يشعر بالرضا؛ وإذا فشل، يحاول معرفة ما الذي سار بشكل خاطئ. بالنسبة للذكاء الاصطناعي، تعتمد عملية التعلم هذه على نظام يمكنه النظر إلى سلسلة طويلة من القرارات وتحديد أي خطوة محددة أدت إلى النجاح أو الفشل. تقليدياً، تطلب هذا نظاماً ثقيلاً يتكون من جزأين: جزء لتحديد ما يجب فعله تالياً، وجزء آخر ضخم ومنفصل يسمى "الناقد" (critic) لتقييم مدى جودة الوضع الحالي. يعمل هذا الفصل بشكل جيد ولكنه يتطلب قدرة حوسبة وذاكرة هائلة، مما يؤدي غالباً إلى إبطاء عملية التعلم أو جعل تشغيلها مكلفاً للغاية على الأجهزة القياسية.
لقد اكتشف الباحثون مؤخراً أن العديد من وكلاء الذكاء الاصطناعي هؤلاء يعانون عندما تكون التغذية الراجعة التي يتلقونها شحيحة أو متأخرة، مثل الانتظار حتى نهاية مهمة طويلة لمعرفة ما إذا كانوا قد نجحوا. الطرق الحالية التي تحاول تبسيط هذه العملية عن طريق إزالة "الناقد" المنفصل تنتهي غالباً بتعلم غير مستقر أو أداء ضعيف لأنها تفتقر إلى طريقة واضحة لتخصيص الفضل لخطوات فردية في تسلسل طويل. ولحل هذه المشكلة، طور فريق من العلماء من جامعة شيامن وجامعة نانيانغ التكنولوجية إطار عمل جديداً يسمى SAPO، وهو اختصار لـ "تحسين السياسة ذات التوليد الذاتي أحادي الجولة" (Single-Rollout Autoretopressive Policy Optimization). بدلاً من استخدام نموذجين منفصلين أو اشتراط قيام الذكاء الاصطناعي بتوليد عشرات المحاولات المختلفة للتعلم من مهمة واحدة، يقوم SAPO بتعليم نموذج لغوي واحد للقيام بكل شيء في آن واحد. فهو يستخدم التدفق الطبيعي لتوليد اللغة لتحديد إجراء ما، وتقييم الحالة قبل الإجراء، والحكم على قيمة الإجراء نفسه، كل ذلك ضمن تدفق مستمر واحد من الأفكب.
يكمن الابتكار الجوهري لـ SAPO في كيفية تنظيم المعلومات داخل عقل الذكاء الاصطناعي. في محادثة أو مهمة قياسية، يقرأ الذكاء الاصطناعي أمراً (prompt)، ثم يفكر، ثم يكتب استجابة. أدرك الباحثون أن اللحظة التي تسبق مباشرة بدء الذكاء الاصطناعي في كتابة الاستجابة هي الوقت المثالي للسؤال: "ما مدى جودة هذا الوضع؟"، واللحظة التي تلي انتهاء الاستجابة مباشرة هي الوقت المثالي للسؤال: "ما مدى جودة هذا الإجراء المحدد؟". ومن خلال وضع هذين السؤالين في نقاط محددة وثابتة في عملية توليد النص، يمكن للنموذج أن يتعلم الإجابة على كليهما دون الحاجة إلى مقيم منفصل. يسم يسم هذا التصميم الذكاء الاصطناعي للتعلم من محاولة واحدة فقط للمهمة، بدلاً من الحاجة إلى توليد مجموعة كبيرة من المتغيرات لمقارنتها ببعضها البعض. يتعلم النظام بفعالية تعميم فهمه للقيمة عبر مواقف مختلفة، مما يضمن أنه لا يحفظ مساراً محدداً للنجاح فحسب، بل يفهم المنطق الكامن وراء كون الحركة جيدة أو سيئة.
لاختبار هذا النهج، درب الفريق الذكاء الاصطناعي على بيئتين تحديتين: بيئة منزلية محاكية حيث يجب على الوكيل إكمال مهام بدنية مثل التنظيف أو تسخين الأشياء، وسيناريو تسوق معقد عبر الويب حيث يجب على الوكيل التنقل في المواقع الإلكترونية للعثور على منتجات محددة. استخدموا حجمين مختلفين من النماذج اللغوية، أحدهما بـ 1.5 مليار معلمة والآخر بـ 7 مليارات معلمة، لمعرفة ما إذا كانت الطريقة ستصمد عند مقاييس مختلفة. كانت النتائج مذهلة؛ ففي المهام المنزلية، حسن الأسلوب الجديد معدل النجاح بأكثر من 15 نقطة مئوية مقارنة بالطريقة القياسية التي تستخدم ناقداً منفصلاً، وبأكثر من 12 نقطة مئوية مقارنة بالمنهج الرائد الذي يحاول تجنب استخدام الناقد تماماً. وفي مهام التسوق عبر الويب، كانت التحسينات كبيرة بالمثل، حيث حقق الذكاء الاصطناعي درجات أعلى وأكمل المزيد من المهام بنجاح. ولعل الأهم من ذلك هو أن الطريقة الجديدة فعلت ذلك باستخدام ذاكرة أقل بكثير والعمل بسرعة أكبر بنسبة 33 بالمائة لكل خطوة تدريب مقارنة بالنهج التقليدي، لأنها ألغت الحاجة إلى تشغيل نموذج ثانٍ ومنفصل لتقييم الأداء.
يشير نجاح هذا الإطار إلى أن الطريقة التي تعالج بها النماذج اللغوية الكبيرة المعلومات طبيعياً يمكن تسخيرها لحل بعض أصعب مشكلات تدريب وكلاء الذكاء الاصطناعي. ومن خلال مواءمة عملية التعلم مع البنية الطبيعية لتوليد اللغة، أظهر الباحثون أنه من الممكن تحقيق أداء رفيع المستوى دون التكلفة الحوسبية الثقيلة للحفاظ على أنظمة منفصلة لاتخاذ القرار والتقييم. لا يجعل هذا النهج التدريب أكثر كفاءة فحسب، بل يجعله أيضاً أكثر استقراراً، مما يسم يسم الوكلاء للتعلم بفعالية حتى عندما تكون المكافآت الناتجة عن أفعالهم متأخرة أو غير متكررة. ومع انتقال مجال الذكاء الاصطناعي نحو إنشاء وكلاء أكثر استقلالية وقدرة، تقدم طرق مثل هذه مساراً عملياً للمضي قدماً، مما يثبت أن الكفاءة والأداء العالي يمكن أن يسيران جنباً إلى جنب دون التضحية بالقدرة على التعلم من التفاعلات المعقدة وطويلة الأمد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.