SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning

تعد النماذج اللغوية الكبيرة أدوات قوية يمكنها حل المشكلات المعقدة، وكتابة الأكواد البرمجية، والتنقل في البيئات الرقمية، لكنها غالباً ما تعاني عندما تتطلب المهمة سلسلة طويلة من الاستدلال. تخيل أنك تطلب من طالب حل مسألة رياضية صعبة أو التخطيط لرحلة تسوق متعددة الخطوات؛ إذا أخطأ الطالب في الإجابة النهائية، فإنه يتلقى إشارة بسيطة مفادها "خطأ". هذه التغذية الراجعة تخبره بأن النتيجة كانت سيئة، لكنها لا توضح له أي خطوة محددة في سلسلة أفكاره الطويلة تسببت في الخطأ. هل كان خطأً حسابياً في المنتصف؟ أم افتراضاً خاطئاً في البداية؟ بدون معرفة مكان الخلل، لا يمكن للنموذج أن يتعلم بسهولة كيف يؤدي بشكل أفضل في المرة القادمة. يُعرف هذا بـ "مشكلة تخصيص الائتمان" (credit assignment problem)، وهي عقبة رئيسية في تعليم الذكاء الاصطناعي كيفية التعامل مع المهام الطويلة والمعقدة.

حاول الباحثون حل هذه المشكلة من خلال جعل النماذج تتأمل في أخطائها، تماماً مثل الإنسان الذي يراجع اختباراً لفهم ما سار بشكل خاطئ. ومع ذلك، فإن المحاولات السابقة لاستخدام هذا التأمل الذاتي أثناء التدريب كانت غالباً غير فعالة أو غير مستقرة؛ فقد أدت أحياناً إلى ارتباك النموذج بسبب تراكم أفكاره، أو فشلت في تحويل الشعور الغامض بـ "لقد أخطأت" إلى درس ملموس لكل كلمة تولدها. ويقدم نهج جديد يسمى "تحسين السياسة ذاتي التأمل" (Self-Reflective Policy Optimization أو SRPO) مساراً مختلفاً. فبدلاً من انتظار الدرجة النهائية، يعلم هذا الأسلوب النموذج أن يعمل كمعلم لنفسه من خلال تحليل محاولاته المكتملة، وتحديد المكان الذي انحرف فيه بالضبط، واستخدام تلك الرؤية لتوجيه محاولته التالية.

صمم الباحثون وراء SRPO، بقيادة جيالونغ ليو وزملاؤه، نظاماً يتعلم فيه النموذج اللغوي من خلال النظر إلى عمله الخاص. تتم العملية عبر مرحلتين متمايزتين: أولاً، يحاول النموذج تنفيذ مهمة، مثل حل مسألة رياضية أو التنقل في متجر افتراضي. وبمجرد انتهاء المحاولة، يتوقف النموذج للتأمل؛ حيث يراجع تسلسل أفعاله بالكامل والنتيجة النهائية، ثم يكتب ملاحظة قصيرة وموجزة تلخص ما سار بشكل خاطئ أو القرارات الرئيسية التي اتخذت بشكل صحيح. هذه الملاحظة، التي يسميها المؤلفون "رقعة التأمل" (reflection patch)، ليست مقالاً طويلاً بل هي مجموعة ضيقة من النصائح القابلة للتنفيذ، وعادة ما تكون مجرد نقاط قليحة.

في المرحلة الثانية، يحاول النموذج تنفيذ المهمة نفسها، ولكن هذه المرة يبدأ بالسؤال الأصلي بالإضافة إلى ملاحظة التأمل التي كتبها للتو. يعمل هذا المزيج الجديد كدليل، مما يمنح النموذج فرصة ثانية مع الاستفادة من رؤية الماضي. يولد النموذج محاولة جديدة أعلى جودة بناءً على هذا السياق المثرى. ومن الأهمية بمكان أن الباحثين لا يستخدمون هذه المحاولة الثانية الأفضل كإجابة نهائية، بل يستخدمونها كإشارة تعليمية. إنهم يقارنون أفكار النموذج الجديدة والمحسنة مقابل أفكاره الأصلية غير الموجهة؛ ومن خلال تحليل الفرق بين الاثنين، ينشئ النظام تدفقاً كثيفاً من إشارات التعلم. يتم تقييم كل كلمة في محاولة النموذج الأصلية: فإذا كانت الكلمة تتماشى مع حكمة التأمل، يتم مكافأتها؛ وإذا انحرفت عنها، يتم تصحيحها. هذا يحول درجة واحدة "صحيحة" أو "خاطئة" في نهاية المهمة إلى آلاف الدروس الصغيرة والمحددة لكل كلمة كتبها النموذج.

أثبتت هذه الطريقة فعاليتها بشكل ملحوظ. اختبر الفريق SRPO على مجموعة متنوعة من الاختبارات المعيارية الصعبة، بما في ذلك مسابقات الرياضيات المتقدمة والمهام الوكيلية المعقدة التي تتطلب التنقل في البيئات الرقمية. وفي اختبار رياضي صعب يسمى AIME'24، حقق نموذج يستخدم SRPO متوسط درجة قدره 73.3 بالمائة (مع انحراف معياري قدره ±1.4 عبر خمس عمليات تشغيل مستقلة). كان هذا تحسناً كبيراً مقارنة بالأساليب الرائدة الأخرى، وقد تم تحقيقه باستخدام 8 بالمائة فقط من عمليات الحساب (FLOPs) التي تتطلبها عمليات التدريب المماثلة عادةً. كما تفوق النظام في المهام طويلة المدى، مثل WebShop، حيث أكمل بنجاح 64.7 بالمائة من مهام التسوق، وALFWorld، حيث حل 76.8 بالمائة من مهام محاكاة المنزل. تشير هذه النتائج إلى أنه من خلال استيعاب القدرة على التأمل، تعلم النموذج كيفية تصحيح مسار استدلاله دون الحاجة إلى معلم خارد أكبر لتوجيهه.

كما عالجت الدراسة خوفاً شائعاً في أبحاث الذكاء الاصطناعي: وهو أن تعليم النموذج مهارة جديدة قد يتسبب في نسيانه لما يعرفه بالفعل. عندما درب الباحثون النموذج على مهام البرمجة بعد أن تعلم الرياضيات، ساعدت طريقة SRPO النموذج على الاحتفاظ بـ 95.2 بالمائة من قدراته الرياضية الأصلية. في المقابل، شهدت الطرق الأخرى انخفاضات أكبر بكثير في الأداء. يشير هذا إلى أنه نظرًا لأن النموذج يتعلم من توزيع أفكاره الخاصة بدلاً من تقليد خبير خارجي، فإنه يحافظ على فهم أكثر استقراراً لقدراته.

كان الباحثون حذرين في التحقق من أن النجاح جاء من محتوى التأملات، وليس مجرد النص الإضافي الذي أضافوه. لقد اختبروا النظام عن طريق تغذيته بتأملات تم إنشاؤها لمشكلات مختلفة تماماً. وعندما لم يتطابق التأمل مع المهمة، عاد أداء النموذج إلى مستويات الأساس، مما أثبت أن النصيحة المحددة ذات الصلة هي التي دفعت التحسن. وجدوا أيضاً أن التأملات يجب أن تكون موجزة؛ إذ إن الملاحظات الطويلة جداً أو المسهبة أدت في الواقع إلى إضعاف الأداء، ويرجع ذلك على الأرجح إلى أنها أدخلت الضوضاء والارتباك.

في نهاية المطاف، يوضح SRPO أن النموذج اللغوي يمكن أن يصبح أكثر قدرة من خلال تعلم نقد وتوجيه نفسه. ومن خلال تحويل النتائج النهائية الشحيحة إلى توجيه كثيف كلمة بكلمة، تسمح هذه الطريقة للنماذج بتعلم أنماط الاستدلال المعقدة بعدد أقل بكثير من الأمثلة وقدرة حوسبية أقل مما كان يُعتقد سابقاً. يشير هذا العمل إلى مستقبل يمكن فيه لأنظمة الذكاء الاصطناي أن تتحسن باستمرار في عمليات الاستدلال الخاصة بها، لتصبح أكثر موثوقية وكفاءة في حل المشكلات الطويلة والمعقدة التي تحدد تحديات العالم الحقيقي.