Reinforcing Multi-Turn Reasoning in LLM Agents via Fine-Grained Reward Structure and Credit Assignment
تقترح هذه الورقة وتتحقق من صحة إطار عمل لتعزيز وكلاء النماذج اللغوية الكبيرة في السيناريوهات متعددة الأدوار عبر اشتقاق خوارزميات GRPO وPPO مخصصة تستفيد من هياكل مكافآت كثيفة لكل دور لتحقيق تخصيص أفضل للمهام، واستقرار تدريب، وأداء متفوق مقارنة بنهج المكافآت النهائية المتفرقة أو المتأخرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء أكثر أنظمة الذكاء الاصطناي المتقدمة اليوم، وهي قادرة على توليد نصوص تشبه النصوص البشرية، وحل المشكلات المعقدة، وحتى كتابة الأكواد البرمجية. ومع ذلك، عندما تُطلب من هذه النماذج أداء مهام تتطلب سلسلة طويلة من التفكير — مثل البحث في الويب عن معلومات، أو استخدام آلة حاسبة، أو لعب لعبة متعددة الخطوات — فإنها غالباً ما تعاني. وتكمن الصعوبة الجوهرية في كيفية تعلمها من أخطائها. ففي مجال تعلم الآلة، غالباً ما يتم تدريب هذه الأنظمة باستخدام طريقة تسمى "التعلم التعزيزي"، حيث يجرب النموذج إجراءات مختلفة ويتلقى تغذية راجعة في شكل مكافأة. إذا كانت الإجابة النهائية صحيحة، يحصل النموذج على مكافأة؛ وإذا كانت خاطئة، لا يحصل على شيء. هذا النهج يعمل بشكل جيد للمهام البسيطة، ولكن بالنسبة للتفاعلات المعقدة متعددة الخطوات، فإن الانتظار حتى النهاية تماماً لتقديم التغذية الراجعة يشبه محاولة تعلم لغة جديدة من خلال إخبارك فقط بأنك مصيب أو خطأ بعد أن تنهي محادثة كاملة. لا يملك المتعلم أي فكرة عن الكلمة أو الجملة المحددة التي تسببت في النجاح أو الفشل، مما يجعل التحسن أمراً صعباً للغاية.
لقد وضع فريق من الباحثين هدفاً لحل هذه المشكلة من خلال تغيير كيفية تلقي وكلاء الذكاء الاصطناوي هذه التغذية الراجعة أثناء تفاعلاتهم. فبدلاً من الانتظار للنتيجة النهائية، صمموا نظاماً يقدم مكافأة صغيرة ومحددة بعد كل خطوة يتخذها الوكيل. تخيل وكيلاً يحاول إيجاد إجابة عن طريق البحث في الويب. في الطريقة القديمة، قد يقوم الوكيل بإجراء بحث سيئ، ويقرأ نتائج غير ذات صلة، ثم يخمن الإجابة الخاطئة، ويتلقى إشارة "فشل" فقط في النهاية. أما النهج الجديد فيعطي الوكيل تغذية راجعة فورية بعد كل عملية بحث: مكافأة صغيرة للعثور على معلومات ذات صلة أو عقوبة على استعلام ضعيف. وهذا يسمح للوكيل بتعلم أي الخطوات كانت مفيدة وأيها لم تكن، مما يصقل سلوكه بدقة أكبر بكثير.
اختبر الباحثون هذه الفكرة باستخدام خوارزميتين شائعتين للتدريب، إحداهما تجمع المحاولات المختلفة معاً لمقارنتها، والأخرى تتعلم من تدفق مستمر من الإجراءات. وقد طبقوا هذه الأساليب على نوعين مختلفين تماماً من المهام: وكيل بحث كان عليه إيجاد إجابات لأسئلة باستخدام قاعدة بيانات ويكيبيديا، ووكيل لعبة كان عليه حل لغز يسمى "سوكوبان" (Sokoban)، حيث يجب دفع الصناديق إلى أهداف محددة على شبكة. في لعبة سو كوبان، يمكن لحركة واحدة خاطئة أن تحبس اللاعب في طريق مسدود، مما يجعل من المستحيل إنهاء المستوى. وهذا يجعل اللعبة اختباراً مثالياً لمعرفة ما إذا كان الوكيل قادراً على التخطيط لعدة خطوات للأمام. وقارن الباحثون نظام المكافأة الجديد "خطوة بخطوة" الخاص بهم مع الطريقة التقليدية التي تنتظر النتيجة النهائية، وكذلك نهجاً متوسطاً حيث تكون المكافآت مؤجلة ومجمعة.
كانت النتائج واضحة ومتسقة عبر كل من مهام البحث واللعبة. فالوكلاء الذين تم تدريبهم باستخدام المكافآت الكثيفة (خطوة بخطوة) تعلموا بشكل أسرع وأصبحوا أكثر استقراراً من أولئك الذين تم تدريبهم بالأساليب القديمة. وفي مهام البحث، ساعدت الطريقة الجديدة الوكلاء ليس فقط في العثور على الإجابات الصحيحة بشكل أكبر، بل أيضاً في اتباع قواعد التنسيق الصارمة المطلوبة للتفاعل مع محرك البحث. وفي لعبة سو كوبان، تعلم الوكلاء المدربون بالتغذية الراجعة خطوة بخطوة تجنب الطرق المسدودة وحل الألغاز بمعدل أعلى بكثير. ووجد الباحثون أن الطريقة التقليدية المتمثلة في انتظار الإجابة النهائية غالباً ما تؤدي إلى تدريب غير مستقر، حيث يتقلب أداء الوكيل بشكل حاد أو يفشل في التحسن. وفي المقابل، وفر نهج "خطوة بخطوة" دليلاً ثابتاً، مما سمح للوكلاء ببناء مهارات تفكير معقدة دون أن يتوهوا.
يوضح هذا العمل أنه لكي يتقن الذكاء الاصطناعي التفاعلات المعقدة متعددة الأدوار، فإنه يحتاج إلى ما هو أكثر من مجرد درجة نهائية على أدائه. إنه يتطلب حواراً مستمراً حول ما يفعله بشكل صحيح أو خاطئ أثناء القيام به. وتظهر الدراسة أنه من خلال تقسيم عملية التعلم إلى قطع أصغر يمكن إدارتها وتوفير تغذية راجعة فورية ومحددة لكل إجراء، يمكن لوكلاء الذكاء الاصطناعي أن يصبحوا أكثر قدرة وموثوقية. ويشير هذا الاكتشاف إلى مسار للمضي قدماً في بناء مساعدين أذكياء يمكنهم التنقل في العالم الحقيقي، وحل المشكلات المعقدة، والتفاعل مع الأدوات بطريقة تبدو طبيعية وفعالة، والانتقال إلى ما هو أبعد من مجرد توليد النصوص البسيطة نحو التفكير الحقيقي متعدد الخطوات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.