LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

تخيل أنك تعلم روبوتًا كيفية كتابة القصص، أو حل الألغاز، أو اتباع تعليمات معقدة. في عالم الذكاء الاصطناعي، يسمى هذا "التعلم التعزيزي" (Reinforcement Learning - RL). فكر في الأمر كتدريب كلب؛ أنت تعطي الكلب أمرًا، فيحاول تنفيذه، وإذا قام بعمل جيد، تعطيه مكافأة ("مكافأة"). أما إذا قام بعمل سيئ، فلا يحصل على مكافأة. ومع مرور الوقت، يتعلم الكلب القيام بالشيء الصحيح للحصول على المزيد من المكافآت.

لكن إليك الجزء الصعب: ماذا لو كان الأمر شيئًا مثل "اكتب تهنئة بعيد ميلاد لابن أخيك الذي يحب الديناصورات"؟ لا توجد إجابة صحيحة أو خاطئة كما في الرياضيات أو البرمجة. فكيف تعرف ما إذا كانت قصة الروبوت "جيدة"؟ عادةً، نستخدم ذكاءً اصطناعيًا آخر أكثر ذكاءً ليعمل كحكم. يقرأ هذا الحكم القصة ويعطيها درجة بناءً على قائمة مراجعة ("نموذج تقييم"). إذا ذكرت القصة الديناصورات وبدت سعيدة، يعطي الحكم درجة عالية.

المشكلة هي أن الروبوت قد يصبح بارعًا جدًا في الأوامر السهلة. إذا طلبت منه "اكتب تهنئة بعيد ميلاد"، فقد يفعل ذلك بشكل مثالي في كل مرة. ينظر الحكم إلى إجابات الروبوت ويفكر: "واو، كلها مثالية!". ولكن إذا كانت كل الإجابات مثالية، فلن يستطيع الحكم التمييز بين أي منها هو "الأفضل". إنه يشبه معلمًا يعطي درجة "امتياز" لكل الطلاب في فصل حصل فيه الجميع على 100%. لا يستطيع المعلم رؤية من يحتاج إلى تعلم المزيد، ويتوقف الطلاب عن التحسن لأنهم لم يتم تحديهم.

---

"المعلم الخصوصي" الذي يجعل الأمور أصعب

تقترح ورقة بحثية جديدة بعنوان "الذكاء الاصطناعي كمعلم خصوصي" (LLM-as-a-Tutor) حلاً ذكيًا لهذه المشكلة. أدرك الباحثون أنه عندما يصبح الذكاء الاصطناعي بارعًا جدًا في سؤال معين، فإن السؤال نفسه يكون سهلاً للغاية. وبدلاً من مجرد تغيير قائمة مراجعة التقييم (كما حاولت طرق أخرى)، قرروا تغيير السؤال نفسه.

لقد قدموا ذكاءً اصطناعيًا خاصًا يعمل كـ "معلم خصوصي" (Tutor). لهذا المعلم وظيفتان:

1. الممتحن: يراقب الروبوت وهو يحاول الإجابة على سؤال ما مرتين. إذا كانت الإجابتان متشابهتين تمامًا ومثاليين، يقول المعلم: "هذا السؤال سهل للغاية! الروبوت لا يتعلم أي شيء جديد".
2. مولد التحديات: إذا كان السؤال سهلاً للغاية، لا يقوم المعلم بإعادة كتابة السؤال بالكامل، بل يضيف قاعدة صغيرة ومحددة في نهاية السؤال.

فكر في الأمر كألعاب الفيديو. إذا هزمت المستوى "السهل" في لعبة ديناصورات بسرعة كبيرة، فإن اللعبة لا تعطيك لعبة مختلفة تمامًا، بل تضيف قاعدة جديدة فقط: "الآن، يجب عليك جمع جوهرة حمراء أثناء اللعب". اللعبة لا تزال تدور حول الديناصورات، لكنها أصبحت الآن أصعب. يجب على الروبوت أن يبذل جهدًا أكبر للحصول على المكافأة.

كيف يعمل ذلك في الواقع الحقيقي

اختبر الباحثون هذه الفكرة مع روبوت يحاول اتباع التعليمات. بدأوا بطلبات بسيطة، مثل "اكتب تهنئة بعيد ميلاد".

• الطريقة القديمة: يكتب الروبوت التهنئة، ثم يعطي الحكم درجة، ويحصل الروبوت على مكافأة. ولكن إذا كان الروبوت بارعًا بالفعل في كتابة التهاني، فسيستمر في فعل الشيء نفسه، ولن تتغير الدرجة أبدًا.
• طريقة المعلم الخصوصي: يرى "المعلم" أن الروبوت بارع جدًا في التهنئة البسيطة، فيضيف قيدًا: "اكتب تهنئة بعيد ميلاد لابن أخيك الذي يحب الديناصورات، وتأكد من ذكر ديناصور تي ريكس يرتدي قبعة حفلات".

فجأة، يتعين على الروبوت أن يفكر بجهد أكبر. قد ينسى بعض الروبوتات القبعة؛ وقد يخطئ البعض الآخر في نوع الديناصور. الآن، يمكن للحكم رؤية الفرق! إحدى الإجابات أفضل من الأخرى. يحصل الروبوت على إشارة واضحة حول كيفية التحسن.

ما الذي وجدوه

تشير الورقة البحثية إلى أن طريقة "المعلم الخصوصي" هذه تعمل بشكل جيد للغاية. فعندما اختبروها على ثلاث مجموعات مختلفة من التعليمات المعقدة (مثل كتابة رسائل البريد الإلكتروني، أو حل الألغاز المنطقية، أو اتباع قواعد تنسيق صارمة)، حققت الروبوتات التي تدربت مع "المعلم" درجات أفضل من الروبوتات التي تدربت بالطرق القديمة.

وجد الباحثون أن:

• إضافة القيود تعمل بشكل أفضل من إعادة الكتابة: من الأفضل إضافة قاعدة صغيرة ومحددة إلى السؤال الأصلي بدلاً من رمي السؤال وكتابة سؤال جديد تمامًا ومربك.
• إنها تتوسع وتتدرج: مع زيادة ذكاء الروبوت، يقوم "المعلم" تلقائيًا بإضافة المزيد والمزيد من القواعد لإبقائه في حالة تحدٍ.
• إنها تعالج مشكلة "الملل": الهدف الرئيسي كان منع الروبوت من العلوق في المهام السهلة حيث لا يمكنه التعلم أكثر من ذلك. ومن خلال جعل المهام صعبة بما يكفي، يستمر الروبوت في التطور.

لماذا يهم هذا الأمر

الأمر لا يتعلق فقط بتهاني عيد الميلاد أو الديناصورات. بل يتعلق بكيفية تعليم الذكاء الاصطناعي ليكون مفيدًا في العالم الحقيقي. إذا أردنا للذكاء الاصطناعي أن يكون جيدًا في اتباع التعليمات المعقدة — مثل مساعدة الطبيب في كتابة تقرير أو مساعدة طالب في تعلم موضوع جديد — فنحن بحاجة إلى التأكد من أن الذكاء الاصطناعي يتم تحديه دائمًا بما يكفي للتعلم، ولكن ليس لدرجة تجعله يستسلم.

تشير الورقة البحثية إلى أنه من خلال السماب للذكاء الاصطناعي بالعمل كـ "معلم خصوصي" لإضافة هذه التحديات الصغيرة، يمكننا إنشاء نظام ذاتي التحسين. فالذكاء الاصطناعي يعلم نفسه ليكون أفضل من خلال البحث باستمرار عن حدود ما يمكنه فعله والدفع بها قليلاً إلى الأمام. إنه يشبه امتلاك مدرب شخصي يراقب تمرينك ويقول: "حسنًا، لقد قمت بعشر تمارين ضغط بسهولة؟ لنقم بإحدى عشرة، ولكن هذه المرة، اثبت في مكانك لمدة ثلاث ثوانٍ". هذا الجهد الإضافي هو ما يجعلك أقوى.