Reward Is Enough: LLMs Are In-Context Reinforcement Learners

تخيل أنك تقوم بتعليم طالب عبقري لكنه عنيد قليلاً كيفية حل لغز معقد.

في الماضي، إذا أخطأ الطالب، قد تضطر إلى إيقاف الحصة، وإعادة كتابة كتابه المدرسي، وإعادة تدريسه المادة بأكملة (وهذا يشبه إعادة تدريب الذكاء الاصطناني). أو قد تكتفي بالقول: "حاول مرة أخرى، ولكن هذه المرة اكتب مقالاً طويلاً حول سبب فشلك" (وهذا يشبه التنقيح الذاتي - Self-Refine أو التفكير التأملي - Reflexion، حيث يتحدث الذكاء الاصطناعي مع نفسه).

تقدم هذه الورقة البحثية طريقة جديدة وبسيطة بشكل مدهش لتعليم الذكاء الاصطناعي: فقط أعطه درجة.

الفكرة الجوهرية: "تأثير لوحة النتائج"

يطلق المؤلفون على هذا الأمر اسم التعلم التعزيزي داخل السياق (ICRL). وإليك كيف يعمل ذلك بلغة بسيطة:

1. اللعبة: تعطي الذكاء الاصطناعي مهمة (مثل حل مسألة رياضية أو كتابة قصة).
2. المحاولة: يحاول الذكاء الاصطناعي حلها.
3. الدرجة: بدلاً من كتابة فقرة طويلة من الملاحظات، تكتفي بإعطائه رقماً.
   • هل حل المسألة الرياضية بشكل صحيح؟ الدرجة: 10.
   • هل أخطأ فيها؟ الدرجة: 0.
   • هل كتب قصة متماسكة؟ الدرجة: 8.
4. الحلقة: تعرض للذكاء الاصطناعي محاولاته السابقة جنباً إلى جنب مع الدرجات التي حصل عليها. ثم تطلب منه المحاولة مرة أخرى.
5. السحر: ينظر الذكاء الاصطناعي إلى التاريخ: "أوه، لقد حصلت على 0 عندما فعلت الأمر بتلك الطريقة، لكنني حصلت على 10 عندما فعلته بهذه الطريقة. سأحاول القيام بمزيد من 'هذه الطريقة'".

الذكاء الاصطناعي لا "يتعلم" بالمعنى التقليدي لتغيير دماغه (أي أن كوده الداخلي يظل كما هو). بدلاً من ذلك، هو يتعلم في اللحظة من خلال النظر إلى تاريخ أخطائه ونجاحاته، تماماً مثل الإنسان الذي يتعلم من لوحة النتائج.

تشبيهات إبداعية

1. لاعب ألعاب الفيديو
تخيل الذكاء الاصطناعي كلاعب ألعاب فيديو يلعب مستوى جديداً.

• الطريقة القديمة (التنقيح الذاتي): يموت اللاعب، فيوقف اللعبة، ويكتب مذكرات من 5 صفحات حول سبب موته، ثم يقرأها قبل المحاولة مرة أخرى.
• طريقة هذه الورقة (ICRL): يموت اللاعب، ويرى شاشة "انتهت اللعبة" مع درجة "0"، ويرى إعادة عرض لمحاولاته العشر الأخيرة مع درجاتها، ويحاول فوراً اتباع مسار مختلف لأنه أدرك أن: "آه، القفز هنا يحصل على 10، لكن الركض هناك يحصل على 0". إنه يتحسن بمجرد النظر إلى لوحة النتائج.

2. الطاهي والناقد
تخيل طاهياً يحاول ابتكار وصفة جديدة.

• الطريقة القديمة: يتذوق الطاهي الحساء، ويكتب نقداً طويلاً في دفتر ملاحظاته ("مالح جداً، يحتاج إلى ريحان أكثر")، ثم يقرأ الدفتر، ويحاول مرة أخرى.
• طريقة هذه الورقة (ICRL): يتذوق الطاهي الحساء، ويحصل على درجة بسيطة من الناقد (من 1 إلى 10)، وينظر إلى قائمة آخر 5 أنواع حساء صنعها ودرجاتها، ثم يعدل الطبخة التالية. هو لا يحتاج من الناقد أن يكتب مقالاً؛ فالرقم وحده كافٍ لتوجيهه.

لماذا يعد هذا أمراً هاماً؟

اختبرت الورقة هذا الأسلوب في مهام صعبة للغاية:

• مسابقات الرياضيات: حل مسائل بمستوى الأولمبياد.
• الكتابة الإبداعية: كتابة قصص منطقية.
• التجارب العلمية: اكتشاف كيفية تغيير حالة الماء في مختبر افتراضي.

النتائج:
أصبح الذكاء الاصطناعي الذي يستخدم طريقة "لوحة النتائج" هذه (ICRL) أفضل بكثير في هذه المهام مقارنة بالطرق التي يتحدث فيها الذكاء الاصطناعي مع نفسه أو يجرب تنويعات عشوائية.

• في "لعبة 24" (لغز رياضي)، ارتفع معدل نجاح الذكاء الاصطناعي من 47% إلى 90% فقط من خلال النظر إلى درجاته السابقة.
• لقد نجح الأمر حتى عندما كان "الناقد" الذي يعطي الدرجة هو الذكاء الاصطناعي نفسه!

"اختبار البطة"

استخدم المؤلفون مقولة شهيرة: "إذا بدا كبطة، ويسبح كبطة، ويصيح كبطة، فمن المرجح أنها بطة".

هم يجادلون بأنه على الرغم من أننا لم نبرمج الذكاء الاصطناعي لـ "يقوم بالتعلم التعزيزي"، إلا أنه يتصرف تماماً مثل وكيل التعلم التعزيزي. فهو يستكشف، ويستغل الأفكار الجيدة، ويتعلم من الفشل، ويتحسن بمرور الوقت بمجرد رؤية رقم.

الخلاصة

تشير هذه الورقة إلى أننا لسنا بحاجة لبناء أنظمة معقدة جديدة أو إعادة تدريب نماذج ضخمة لجعل الذكاء الاصطناعي أكثر ذكاءً. نحن فقط بحاجة للسماح لهم بلعب اللعبة، ورؤية النتيجة، والمحاولة مرة أخرى. القدرة على التعلم من رقم بسيط موجودة بالفعل داخل هذه النماذج؛ كل ما احتجناه هو منحهم الطريقة الصحيحة للنظر إليه.

إنه تحول من "تعليم الذكاء الاصطناعي" إلى "ترك الذكاء الاصطناعي يعلم نفسه من خلال مراقبة لوحة نتائجه الخاصة".