RTPO: Reverse-Turn Policy Optimization for Stabilizing Agentic RL Training
تقدم هذه الورقة "تحسين سياسة الالتفاف العكسي" (RTPO)، وهو إطار عمل موحد يعمل على تثبيت تدريب التعلم المعزز للوكلاء متعدد الدورات عبر إعادة هيكلة عمليات التدفق (rollouts) كأشجار عكسية متفرقة للقضاء على عدم تطابق السياق، وتمكين التخصيص السببي للمسؤولية، والتحكم في انحراف السياسة غير المتزامن، مما يؤدي إلى تفوقه بشكل كبير على النماذج المرجعية الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطنا-عي المتطور بسرعة، يقوم الباحثون بتعليم النماذج اللغوية الكبيرة كيف تعمل كوكلاء مستقلين. هذه ليست مجرد روبوتات دردشة تجيب على الأسئلة؛ بل هي أنظمة مصممة للتخطيط، والتفكير، واستخدام أدوات خارجية مثل الآلات الحاسبة أو محركات بحث الويب لحل المشكلات المعقدة. ولجعل هؤلاء الوكلاء أكثر ذكاءً، يستخدم العلماء غالباً طريقة تسمى "التعلم التعزيزي". تخيل طالباً يتعلم لعب لعبة جديدة: فهو يجرب حركات مختلفة، وإذا فاز، يحصل على مكافأة. ومع مرور الوقت، يتعلم الحركات التي تؤدي إلى النجاح. وفي العالم الرقمي، تكون "الحركات" هي الكلمات التي يولدها النموذج، و"المكافأة" هي درجة تُمنح في نهاية المهمة تماماً. لقد كان هذا النهج ناجحاً للغاية في المهام ذات الخطوة الواحدة، مثل حل مسألة رياضية في خطوة واحدة. ومع ذلك، عندما يُطلب من هؤلاء الوكلاء تنفيذ سير عمل طويل ومتعدد الخطوات — مثل البحث في موضوع ما، وجمع البيانات، وكتابة تقرير عبر عدة جولات من المحادثة — تصبح عملية التدريب غير مستقرة بشكل ملحو de. غالباً ما تتعلم النماذج حل المهام القصيرة ولكنها تفشل فشلاً ذريعاً عندما تصبح المهمة أطول، حيث ينهار أداؤها مع زيادة عدد الخطوات.
لقد حدد فريق من الباحثين من جامعات في أستراليا والولايات المتحدة سبب حدوث هذا الانهيار واقترحوا طريقة جديدة لإصلاحه. اكتشفوا أن عدم الاستقرار ينبع من ثلاث مشكلات مترابطة بعمق تحدث عند تدريب هؤلاء الوكلاء عبر جولات عديدة. أولاً، هناك عدم تطابق بين ما يراه النموذج أثناء الممارسة وما يراه أثناء التدريس. أثناء الممارسة، قد يرى النموذج ملخصاً للمحادثة فقط لتوفير المساحة، ولكن أثناء التدريب، يجبره الكمبيوتر على النظر إلى التاريخ الكامل والكامل للدردشة. هذا الاختلاف يربك النموذج، مما يجعله غير متأكد من السياق الذي يجب أن يثق به. ثاً، يواجه النظام صعوبة في تحديد أي خطوة محددة في سلسلة طويلة من الاستنتاج أدت بالفعل إلى النجاح أو الفشل. عندما يحصل النموذج على مكافأة في نهاية عملية مكونة من عشر خطوات، فإن خوارزمية التدريب غالباً ما توزع هذا الفضل (أو اللوم) بالتساوي على جميع الخطوات العشر، حتى لو كانت الخطوة الخامسة فقط هي الخطأ الحاسم. وهذا يجعل من الصعب على الوكيل تعلم السلوك الصحيح. ثالثاً، مع تقدم التدريب، يتغير النموذج. إذا حاول النظام التعلم من محادثة طويلة بدأت عندما كان النموذج "أصغر سناً" وأقل مهارة، ولكن انتهت من التدريب عندما أصبح النموذج "أكبر سناً" وأكثر مهارة، فإن البيانات تصبح غير متسقة. النموذج يحاول جوهرياً التعلم من ذاته الماضية، مما يخلق انزياحاً يزعزع استقرار عملية التعلم.
ولحل هذه المشكلات، طور الباحثون إطار عمل جديداً يسمى "تحسين سياسة العودة إلى الوراء" (Reverse-Turn Policy Optimization أو RTPO). بدلاً من معاملة المحادثة الطويلة ككتلة نصية واحدة ضخمة ومسطحة، أعادوا تصور عملية التدريب كلسلسلة من اللحظات المتميزة والمتصلة. الفكرة الجوهرية هي تدريب النموذج من خلال العمل إلى الوراء، بدءاً من الخطوة الأخيرة للمهمة والتحرك نحو البداية. عندما يصل النظام إلى جولة محددة في المحادثة، يتوقف ويخلق عدة نسخ "شقيقة" للمستقبل. يسأل النموذج: "إذا اتخذت هذا القرار المحدد الآن، فماذا سيحدث بعد ذلك؟". ثم يقوم بتشغيل سيناريوهات المستقبل هذه إلى الأمام ليرى ما إذا كانت ستؤدي إلى نتيجة جيدة. ومن خلال مقارنة هذه السيناريوهات المستقبلية الشقيقة، يمكن للنظام تحديد أي قرار في الجولة الحالية كان الأفضل، دون الضجيج الناتج عما حدث قبل ذلك أو عدم اليقين مما قد يحدث لاحقاً. تضمن هذه الطة أن يتعلم النموذج دائماً من سياق متسق، وأن يتم تخصيص الفضل لنتيجة ناجحة بدقة للقرار الذي تسبب فيها.
كانت نتائج هذا النهج الجديد مذهلة. فعند اختباره في مهام الاستنتاج الرياضي الصعبة وتحديات البحث عبر الويب المعقدة، تفوق النهج الجديد بشكل كبير على التقنيات الحالية. في مجموعة من المسائل الرياضية الصعبة، حسن النهج الجديد دقة الوكلاء بأكثر من واحد وعشرين بالمائة مقارنة بالطرق القياسية السابقة. وفي المهام القائمة على المعرفة، حسن الأداء بنسبة تقارب أحد عشر بالمائة. وربما الأهم من ذلك، أصبحت عملية التدريب نفسها أكثر استقراراً. في الطرق السابقة، مع طول المهام، كانت النماذج غالباً ما تسوء، ولكن مع هذا النهج الجديد، استمرت النماذج في التحسن حتى مع زيادة عدد الخطوات. وجد الباحثون أيضاً أن الوكلاء تعلموا استخدام الأدوات بكفاءة أكبر. في المسائل الرياضية، قامت الوكلاء باستدعاء الأدوات لمرات أقل ولكن حصلت على إجابات صحيحة أكثر، مما يشير إلى أنها تعلمت الاعتماد على استنتاجها الخاص واستخدام الأدوات فقط عند الضرورة القصوى. وفي مهام البحث، قاموا باستدعاءات أكثر، لكن هذه الاستدعاءات كانت أكثر استراتيجية، مما أدى إلى جمع معلومات أفضل.
تحقق الباحثون من أن حلهم يعمل من خلال عزل كل مشكلة من المشكلات الثلاث التي حددوها. أظهروا أنه من خلال إصلاح عدم تطابق السياق، توقف النموذج عن الارتباك بشأن ما يفترض به النظر إليه. ومن خلال إصلاح تحديد المسؤولية (credit assignment)، تعلم النموذج اتخاذ قرارات أفضل في كل خطوة محددة بدلاً من التخمين بناءً على النتيجة النهائية. ومن خلال الحفاظ على اتساق بيانات التدريب مع النسخة الحالية من النموذج، قضوا على الانزياح الذي يتسبب عادةً في فشل جلسات التدريب الطويلة. توفر الدراسة مساراً واضحاً نحو بناء وكلاء ذكاء اصطناعي أكثر موثوقية يمكنهم التعامل مع مهام متعددة الخطوات ومعقدة دون أن يفقدوا طريقهم. وهي تشير إلى أن مفتاح إتقان الاستنتاج طويل الأمد ليس مجرد إعطاء النموذج المزيد من البيانات، بل إعادة هيكلة كيفية تعلمه من تلك البيانات، وضمان أن كل قرار يُحاكم بعدل ودقة مقابل الاحتمالات المستقبلية الصحيحة. ويمثل هذا العمل خطوة مهمة نحو إنشاء مساعدين من الذكاء الاصطناعي يمكنهم حقاً التنقل في تعقيدات العالم الحقيقي، خطوة مدروسة تلو الأخرى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.