SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning
يقدم SERPO إطار عمل ذاتي التطور للتعلم التعزيزي مفتوح النهايات أثناء وقت الاختبار، يستبدل التصويت على الإجابات بنظام مغلق الحلقة يعمل على التحسين المشترك لأرشيفات الاستجابة، ومعايير التقييم الخاصة بكل استعلام، ومعلمات السياسة لتوليد إشارات مكافأة موثوقة وتحقيق مكاسب أداء كبيرة عبر معايير الاختبار ضمن النطاق وخارجه.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيف يكتب قصة مثالية، ولكن لديك قاعدة غريبة: لا يمكنك أبدًا أن تريه النهاية "الصحيحة"، ولا يمكنك استئجار معلم بشري لتقييم عمله. هذا هو تحدي التعلم المعزز في وقت الاختبار (TTRL). عادةً، عندما تتعلم الحواسيب، تُعطى إجابة "صحيحة" واضحة تهدف إليها، مثل مسألة رياضية لها حل واحد. ولكن في عالم الكتابة المفتوحة الفوضوي — مثل تقديم نصيحة طبية أو شرح علوم معقدة — لا توجد إجابة واحدة "صحيحة". يمكن لقصتين مثاليتين أن تبدوا مختلفتين تمامًا.
لحل هذه المشكلة، جرب العلماء حيلة تسمى التصويت. يطلبون من الروبوت كتابة عشر نسخ مختلفة من القصة، ثم يختارون النسخة التي تتفق عليها معظم النسخ الأخرى. الأمر يشبه سؤال حشد من الناس لتخمين إجابة لغز ما؛ إذا قال معظم الناس "تفاحة"، يفترض الروبوت أن "التفاحة" هي الإجابة الصحيحة. لكن هذه الطريقة تنهار عندما تكون الإجابات إبداعية أو دقيقة. إذا قدم عشرة أشخاص عشر نصائح طبية مختلفة ولكنها جيدة بنفس القدر، فقد يرتبك الروبوت، أو والأسوأ من ذلك، قد يختار إجابة "شعبية" تفتقر في الواقع إلى تحذير سلامة حيوي لأن الجميع نسي ذكره.
المشكلة: عندما لا يكون "الأكثر شعبية" هو "الأفضل"
تخيل أنك حكم في برنامج مواهب حيث يحاول جميع المتسابقين تقديم أفضل نصيحة لشخص مريض. في الطريقة القديمة (طريقة "التصويت")، سينظر الحكم إلى كل النصائح، ويرى أي نصيحة قدمها أكبر عدد من المتسابقين، ويقول: "حسنًا، هذه هي الفائزة!".
لكن هنا تكمن المشكلة: ماذا لو كانت النصيحة الأكثر شعبية هي "اشرب الماء واسترح"؟ هذه نصيحة جيدة، ولكن ماذا لو كان المريض يعاني من حالة خطيرة تتطلب رؤية طبيب فورًا؟ إذا نسي كل متسابق ذكر الطبيب، فإن نظام "التصويت" سيظل يختار "اشرب الماء" كفائز لأنه كان الإجابة الأكثر شيوعًا. يتعلم الروبوت هنا أن يكون محبوبًا، وليس آمنًا أو دقيقًا. إنه يشبه طالبًا يحفظ الإجابات الأكثر شيوعًا في الاختبار ولكنه يفشل في فهم المنطق الكامن وراءها، مما يؤدي إلى أخطاء خطيرة في الحياة الواقعية.
الحل: SERPO، المعيار ذاتي التطور
إليك SERPO (تحسين سياسة المعيار ذاتي التطور). فكر في SERPO ليس كحكم يعد الأصوات، بل كـ كتيب قواعد ديناميكي يكتب نفسه أثناء لعب اللعبة.
بدلاً من السؤال: "أي إجابة يتفق عليها معظم الناس؟"، يسأل SERPO: "ما هي القواعد المحددة التي تجعل إجابة ما أفضل من غيرها؟". يفعل ذلك من خلال إنشاء حلقة مغلقة من ثلاثة عناصر تطور بعضها البعض باستمرار:
أرشيف الأدلة (الجيد، العادي، والسيئ):
في كل مرة يحاول فيها الروبوت الإجابة على سؤال، يقوم SERP بحفظ ثلاثة أمثلة محددة: واحد تبين أنه جيد، وواحد كان عاديًا، وواحد كان سيئًا. هو لا يحفظ فقط "الأفضل"؛ بل يحفظ الطيف بأكمله. إنه يشبه مدربًا يحتفظ بشريط فيديو لأفضل هدف سجله اللاعب، وتمريرة متوسطة، وخطأ فادح، جنباً إلى جنب.المعيار (كتيب القواعد):
ينظر SERPO في الاختلافات بين الأمثلة الجيدة والعادية والسيئة ويسأل: "ما الذي جعل المثال الجيد أفضل بالضبط؟". ربما ذكر المثال الجيد علامة تحذيرية محددة فات ذكرها المثال السيئ. يكتب SERCO قاعدة جديدة (معيارًا) لالتقاط ذلك الفرق. إنه مثل معلم يدرك أن الطلاب يستمرون في نسيان ذكر مصادرهم، فيضيف قاعدة جديدة إلى ورقة التقييم: "يجب تضمين مصدر واحد على الأقل".
الأمر الجوهي هو أن كتيب القواعد هذا ليس ثابتًا. فبينما يتحسن الروبوت، قد تصبح القواعد القديمة سهلة للغاية. يقوم SERCO بالتخلص من القواعد الضعيفة ويخترع قواعد جديدة وأصعب للحفاظ على تحدي الروبوت.السياسة (دماغ الروبوت):
يستخدم الروبوت هذه القواعد الجديدة لتقييم محاولاته المستقبلية. إذا اتبع قاعدة "ذكر المصادر" الجديدة، فإنه يحصل على درجة عالية. وإذا نسيها، يحصل على درجة منخفضة. ثم يقوم بتحديث دماغه ليحاول بجهد أكبر في المرة القادمة.
كيف يعمل: "رقصة الجيد-العادي-السيئ"
يحدث السحر في حلقة مستمرة:
- الخطوة 1: يولد الروبوت مجموعة من الإجابات.
- الخطوة 2: يقوم SERCO بفرزها إلى ثلاث مجموعات: "جيدة"، "عادية"، و"سيئة".
- الخطوة 3: ينظر النظام إلى المجموعة "الجيدة" والمجموعة "السيئة" ويسأل: "ما هو الفرق الدقيق؟".
- الخطوة 4: ينشئ قاعدة محددة لرصد ذلك الفرق. على سبيل المثال، إذا ذكرت النصيحة الطبية "الجيدة" فحص ضغط الدم بينما لم تفعل النصيحة "السيئة"، تصبح القاعدة الجديدة: "يجب ذكر فحص ضغط الدم لحالات صداع الحمل".
- الخطوة 5: يتم مكافأة الروبوت على اتباع هذه القاعدة الجديدة.
- الخطوة 6: يحاول الروبوت مرة أخرى، وتتكرر الدورة.
هذا يختلف عن التصويت لأنه لا يهتم بما إذا كان الجميع متفقين. بل يهتم بما إذا كانت الإجابة آمنة وكاملة. حتى لو كان روبوت واحد فقط من أصل عشرة قد اكتشف ضرورة فحص ضغط الدم، فإن SERCO يرى هذا الفرق، ويكتب قاعدة له، ويعلم المجموعة بأكملها القيام بذلك.
النتائج: أذكى، أكثر أمانًا، وأكثر قدرة على التكيف
اختبر الباحثون هذه الفكرة على نوعين مختلفين من الأسئلة: النصيحة الطبية (HealthBench) وأسئلة البحث العلمي (ResearchQA). استخدموا حجمين مختلفين من أدمغة الروبوتات (4 مليارات و9 مليارات معلمة).
كانت النتائج مثيرة للإعجاب حقًا. عندما تعلم الروبوت باستخدام SERCO:
- في الأسئلة الطبية، حسن درجته بنسبة تصل إلى 20.63 نقطة مقارنة بالروبوت الأصلي.
- في الأسئلة العلمية، تحسن بنسبة تصل إلى 20.31 نقطة.
- عبر الاختبارات الستة التي أجروها، ارتفع متوسط الدرجات بمقدار 8.06 نقاط.
لكن الجزء الأروع لم يكن مجرد الدرجة؛ بل كان النقل (Transfer). عندما دربوا الروبوت على الأسئلة الطبية ثم سألوه أسئلة حول العلوم (والتي لم يسبق له رؤيتها من قبل)، ظل أداؤه أفضل من الروبوتات التي تدربت باستخدام طريقة "التصويت" القديمة. هذا يشير إلى أن SERCO علم الروبوت كيف يفكر في الجودة، بدلاً من مجرد حفظ الإجابات الشعبية.
كما أظهرت الورقة البحثية أن هذه الطريقة تعمل دون الحاجة إلى أي معلمين بشر أو "حكام خارجيين" أثناء عملية التعلم. الروبوت يعلم نفسه من خلال مقارنة محاولاته "الجيدة" و"السيئة".
لماذا يهم هذا الأمر؟
يغير هذا النهج قواعد اللعبة لكيفية تعلم الذكاء الاصطناعي للتعامل مع المهام المعقدة والمفتوحة. فبدلاً من الأمل في أن تكون الإجابة "الأكثر شعبية" هي الإجابة الصحيحة، يبني SERCO نظامًا يطور باستمرار تعريفه الخاص لـ "الجيد". إنه يشبه الطالب الذي لا يكتفي بحفظ نموذج الإجابة، بل يتعلم كتابة معيار التقييم الخاص به، مما يضمن فهمه لـ "لماذا" وراء كل درجة.
يشير المؤلفون إلى أن هذه الطريقة يمكن أن تساعد أنظمة الذكاء الاصطناعي لتصبح أكثر أمانًا وموثوقية في مجالات مثل الرعاية الصحية، حيث يمكن أن يؤدي تفويت تفصيل واحد إلى عواقب وخيمة. ومن خلال تطوير قواعده الخاصة، يمكن للذكاء الاصطناعي التكيف مع المواقف الجديدة واكتشاف الأخطاء الدقيقة التي قد يغفل عنها نظام التصويت البسيط. إنها خطوة نحو ذكاء اصطناعي لا يتبع القطيع فحسب، بل يفهم بالفعل ما الذي يجعل الإجابة جيدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.