SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL
يعزز SPO++ كفاءة التعلم عبر الإنترنت للتعلم التعزيزي الوكيل غير المتزامن من خلال تصحيح عدم التطابق بين مركزية الميزة على مستوى المسار وتحسين الممثل الموزون بالرموز، وذلك عبر تطبيع مقياس رمز-العمل و تنظيم الأدلة المتوافقة مع الأحداث.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مجال الذكاء الاصطناعي المتطور بسرعة، يقوم الباحثون بتعليم البرامج الحاسوبية حل المشكلات المعقدة من خلال تركها تجرب، وتفشل، وتتعلم من النتائج. هذه العملية، المعروفة باسم التعلم التعزيزي، مفيدة بشكل خاص لتدريب النماذج اللغوية الكبيرة لتعمل كوكلاء يمكنهم استخدام الأدوات، أو التنقل في بيئات افتراضية، أو حل المسائل الرياضية. ويتمثل التحدي المركزي في هذا العمل في كيفية قياس النجاح عندما يكون المسار نحو الإجابة طويلاً وغير متوقع. تتطلب الطرق التقليدية غالباً من النظام توليد محاولات عديدة مختلفة لنفس المشكلة في وقت واحد، والانتظار حتى تنتهي كل واحدة منها قبل أن يتمكن من التعلم من النتائج. وهذا يخلق عنق زجاجة: إذا استغرقت محاولة واحدة وقتاً طويلاً لاكتمالها لأنها تعثرت أو حاولت استخدام أدوات كثيرة، فإن عملية التعلم بأكملها تتوقف، منتظرة تلك المحاولة الأبطأ لتلحق بالركب.
ولحل عدم الكفاءة هذا، تم تطوير نهج أحدث يسمى "تحسين سياسة التدفق الفردي" (Single-stream Policy Optimization). فبدلاً من انتظار مجموعة من المحاولات، يسمح هذا النهج للنظام بالتعلم من محاولة واحدة في كل مرة، باستخدام ذاكرة مستمرة للنجاحات والإخفاقات الماضية لتوجيه القرارات المستقبلية. ومع ذلك، اكتشف فريق من الباحثين بقيادة كاي روان وجينغهاو لين أنه بينما أزالت هذه الطريقة وقت الانتظار، إلا أنها قدمت عدم تطابق دقيق ولكن جوهري في كيفية حساب الكمبيوتر لتقدمه. فقد وجدوا أن الطريقة التي يحسب بها النظام متوسط المكافآت لم تكن متوافقة مع كيفية معالجته فعلياً لخطوات الحل. ومن خلال تصحيح هذا التوافق، ابتكروا نسخة محسنة من الطريقة، أطلقوا عليها اسم "SPO++"، والتي تسمح للذكاء الاصطناعي بالتعلم بشكل أسرع وأكثر كفاءة بشكل ملحوظ.
يكمن جوهر المشكلة في كيفية تعامل الكمبيوتر مع طول استجاباته. في الطريقة الأصلية، كان النظام يحسب درجة واحدة لمحاولة كاملة، مثل ما إذا كان الروبوت قد نجح في تنظيف الغرفة أو ما إذا كان حلال المسائل الرياضية قد وجد الإجابة الصحيحة. ثم يقوم بنشر هذه الدرجة الواحدة عبر كل كلمة أو "رمز" (token) يولدها النموذج خلال تلك المحاولة. بدا هذا منطقياً، لكنه خلق تشوهاً؛ فإذا كانت محاولة واحدة طويلة وأخرى قصيرة، فإن المحاولة الطويلة ستخفف درجتها عبر كلمات كثيرة، بينما ستُركز المحاولة القصيرة درجتها على كلمات أقل. وعندما يحاول النظام التعلم من هذه الدرجات، فإن طول الاستجابة يغير بصمت مركز التعلم، مما يجعل النموذج يحسن أشياء خاطئة. كان الأمر كما لو أن النظام يحاول موازنة ميزان، لكن الأوزان على الميزان تتغير اعتماداً على عدد العناصر الموضوعة عليها، بدلاً من قيمة العناصر نفسها.
حدد الباحثون مجالين محددين حدث فيهما عدم التوافق هذا. أولاً، كان النظام يتتبع متى يتلقى نتائج المحاولة بدلاً من متى تم إنشاء المحاولة فعلياً. وفي نظام غير متزامن حيث تُرسل المهام وتكتمل بسرعات متفاوتة، غالباً ما يكون ترتيب وصول النتائج عشوائياً ويعتمد على سرعة الشبكة أو حمل الكمبيوتر. استخدمت الطريقة الأصلية ترتيب الوصول هذا لتحديث ذاكرتها، مما يعني أن إشارة التعلم تأثرت بتوقيت نظام الكمبيوتر بدلاً من منطق المهمة نفسها. ثانياً، والأكثر أهمية، أن طريقة حساب متوسط الدرجات لم تأخذ في الاعتبار حقيقة أن النموذج يتعلم من كل كلمة يولدها، وليس فقط من النتيجة النهائية. أدرك الباحثون أنه لإصلاح عملية التعلم، كانوا بحاجة إلى توحيد الدرجات بناءً على عدد كلمات الفعل المولدة، لضمان أن إشارة المكافأة تتوافق مع الحجم الفعلي للعمل الذي يقوم به النموذج.
ولمعالجة هذه المشكلات، قدم الفريق "SPO++"، الذي يجري تغييرين رئيسيين على عملية التعلم. أولاً، أعادوا تنظيم نظام الذاكرة لتتبع "حدث السياسة" (policy event)، وهو اللحظة المحددة التي تم فيها إرسال الطلب، بدلاً من متى عادت النتيجة. يضمن هذا أن ذاكرة النظام للنجاحات الماضية مرتبطة بحالة النموذج في الوقت الذي أُنشئت فيه المهمة، مما يجعل إشارة التعلم متسقة بغض النظر عن المدة التي استغرقها انتهاء المهمة. ثانياً، قاموا بتغيير كيفية حساب متوسط الدرجات. فبدلاً من معاملة كل محاولة كوحدة واحدة، تحسب الطالة الجديدة متوسط الدرجة بناءً على إجمالي عدد كلمات الفعل المولدة عبر جميع المحاولات. يضمن هذا أن إشارة التعلم متوافقة تماماً مع الطريقة التي يحدث بها النموذج معرفته، كلمة بكلمة.
تم اختبار نتائج هذه التغييرات على نوعين مختلفين من المهام: مجموعة من 128 مهمة منزلية محاكية حيث يجب على وكيل نقل الأشياء إلى مواقع محددة، ومجموعة بيانات تضم 1,500 مسألة رياضية تتطلب استخدام حاسبة بايثون. أجرى الباحثون تجارب باستخدام حجمين مختلفين من النماذج اللغوية، أحدهما بـ 0.8 مليار معلمة والآخر بـ 2 مليار معلمة. وفي كل اختبار، تعلمت الطريقة الجديدة، "SPO++"، بشكل أسرع من النهج الأصلي. وفي مهمة الأعمال المنزلية المحاكية، كان التحسن كبيراً، حيث حققت الطريقة الجديدة مكافأة إجمالية أعلى بكتمال خلال عملية التدريب. أما في المسائل الرياضية، فقد كانت المكاسب أصغر ولكنها كانت ثابتة، مما أظهر أن النموذج وصل إلى مستوى أعلى من الأداء بشكل أسرع. ووجد الباحثون أن الجزء الأكثر قوة في الطريقة الجديدة كان التغيير في كيفية حساب متوسط الدرجات، والذي كان وحده مسؤولاً عن معظم التحسن.
تشير هذه النتائج إلى أنه في العالم المعقد لتدريب وكلاء الذكاء الاصطناعي، يمكن أن تكون تفاصيل كيفية معالجة البيانات بنفس أهمية البيانات نفسها. فمن خلال ضمان مطابقة الطريقة التي يقيس بها النظام تقدمه للطريقة التي يتعلم بها فعلياً، يمكن للباحثين تحقيق مكاسب كبيرة في الكفاءة دون الحاجة إلى المزيد من القدرة الحوسبية أو نماذج أكبر. يوضح هذا العمل أنه حتى عدم التوافقات الصغيرة في عملية التعلم يمكن أن تبطئ التقدم، وأن تصحيح هذه التناقضات يسمح للنظام بالتركيز بطاقته على حل المشكلة بدلاً من التعويض عن قياس معيب. وبينما يستمر الذكاء الاصطناعي في معالجة مهام أكثر صعوبة وتنوعاً، توفر طرق مثل "SPO++" مساراً أوضح، مما يضمن أن كل خطوة يتخذها النموذج يتم قياسها بدقة وتساهم بفعالية في نموه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.