Optimizing What Policies Learn From: Recoverability-aware Rollout Intervention Learning

تخيل أنك تعلم روبوتاً كيفية حل متاهة. في الأيام الخوالي، كان بإمكانك ببساطة أن تقول للروبوت: "حاول المشي للأمام 100 مرة، وإذا اصطدمت بجدار، حاول الالتفاف يساراً". هذا الأسلوب يعمل، لكنه يهدر الكثير من الجهد. أحياناً يصطدم الروبوت بطريق مسدود يستحيل الخروج منه؛ وهنا يكون إضاعة 100 محاولة خطأً فادحاً. وفي أحيان أخرى، يكون الروبوت على بعد خطوة واحدة فقط من اكتشاف طريق مختصر عبقري، لكنك لا تسمح له إلا بمحاولة واحدة فقط، لذا يفوت عليه هذا الاكتشاف. هذه هي مشكلة كيفية تدريب النماذج اللغوية الكبيرة (LLMs) حالياً لتكون وكلاء أذكياء: نحن نعطيهم عدداً ثابتاً من "المحاولات" (تسمى rollouts) لكل مشكلة، بغض النظر عما إذا كانت هذه المحاولات مفيدة حقاً أم أنها مجرد إضاعة للوقت.

الورقة البحثية التي أنت بصدد قراءتها تعالج عدم الكفاءة هذا. فهي تقدم طريقة جديدة تسمى RAIL (التعلم بالتدخل القائم على القابلية للاسترداد - Recoverability-Aware Intervention Learning). فكر في RAIL كمدرب فائق الذكاء يقف بجانب الروبوت. بدلاً من تركه يركض 100 مرة بشكل أعمى، يراقب المدرب تقدم الروبوت. إذا علق الروبوت في فخ لا يمكنه الهروب منه أبداً، يقول المدرب: "توقف! لا تضيع أي محاولات أخرى هنا". ولكن إذا كان الروبوت في موقف صعب حيث يمكن لبعض الاستكشاف الإضافي أن يكشف عن مسار مخفي، يصرخ المدرب: "انطلق! جرب ثلاث تنويعات أخرى الآن!". يتعلم المدرب متى يتدخل وكيف يتدخل من خلال مراقبة ما ينجح بالفعل، بدلاً من التخمين بناءً على قواعد جامدة.

المشكلة: فخ "المقاس الواحد الذي يناسب الجميع"

في عالم الذكاء الاصطناعي، وتحديداً عند تعليم النماذج كيفية التفكير واستخدام الأدوات (مثل روبوت يتنقل في قاعدة بيانات أو موقع تسوق إلكتروني)، نستخدم تقنية تسمى التعلم التعزيزي (Reinforcement Learning). يحاول النموذج حل مهمة ما، ويحصل على مكافأة إذا نجح، ويتعلم من أخطائه. وهناك طريقة شائعة تسمى GRPO (تحسين السياسة النسبية للمجموعة) تعمل من خلال توليد مجموعة من الإجابات المختلفة (rollout) لسؤال واحد ومعرفة أيهما الأفضل.

المشكلة هي أن GRPO عادة ما تعامل كل سؤال بنفس الطريقة. فهي تقول: "لكل سؤال، قم بتوليد 16 إجابة". ولكن في الواقع، بعض الأسئلة سهلة (النموذج يعرف الإجابة بالفعل)، وبعضها مستحيل (النموذج عالق في حلقة منطقية مفرغة). إن توليد 16 إجابة لسؤال مستحيل يشبه محاولة العثور على إبرة في كومة قش ليست موجودة أصلاً؛ فهذا لا يفعل شيئاً سوى استهلاك طاقة الحوسبة. وعلى العكس من ذلك، بالنسبة لسؤال صعب، قد لا تكون 16 إجابة كافية للعثور على الحل الذكي الوحد.

استخدمت المحاولات السابقة لإصلاح ذلك "قواعد استدلالية" (heuristics) — وهي تعليمات بسيطة وثابتة مثل "إذا بدا النموذج مرتبكاً، حاول بجهد أكبر". لكن هذه القواعد ثابتة؛ فهي لا تتغير مع ازدياد ذكاء الذكاء الاصطناائي. فالقاعدة التي قد تنجح عندما يكون الذكاء الاصطناعي مبتدئاً قد تصبح عديمة الفائدة عندما يصبح خبيراً. الأمر يشبه استخدام خريطة من عام 1990 للتنقل في مدينة أعيد بناؤها بالكامل.

الحل: مدرب يتعلم كيف يتدخل

يقترح مؤلفو هذه الورقة نظام RAIL، وهو نظام يحول قرار "متى وكيف نحاول بجهد أكبر" إلى عملية تعلم في حد ذاتها. بدلاً من استخدام قاعدة ثابتة، يقوم RAIL بتدريب "متحكم في القابلية للاسترداد" (Recoverability Controller).

إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:

تخيل أنك تلعب لعبة فيديو حيث يمكنك اختيار "تفرع" مسارك. أحياناً، تصل إلى مفترق طرق.

1. مرحلة الظل (معسكر التدريب): قبل أن يلعب الذكاء الاصطناعي بشكل حقيقي، يمر بمرحلة تدريب "ظل". هنا، يجرب استراتيجيات مختلفة: "ماذا لو جربت 4 مسارات إضافية؟" "ماذا لو جربت 8؟" "ماذا لو جربت طريقة تفكير مختلفة؟". إنه يسجل أي من هذه الاختيارات ساعده بالفعل في العثور على حل أفضل. الأمر يشبه مدرباً يجري تمارين تدريبية ليرى أي التمارين تحسن أداء اللاعب فعلياً.
2. المتحكم (المدرب الذكي): بناءً على هذه التمارين، يبني الذكاء الاصطناعي "متحكماً في القابلية للاسترداد". هذا المتحكم عبارة عن عقل صغير وسريع ينظر إلى الموقف الحالي ويسأل: "إذا تدخلت الآن، هل سيساعد ذلك؟". إنه يقيس القابلية للاسترداد (recoverability) — وهي كلمة منمقة تعني "كم يمكننا أن نتحسن إذا حاولنا بجهد أكبر الآن؟".
3. المرحلة الحية (اللعبة الحقيقية): الآن، يلعب الذكاء الاصطناعي اللعبة الحقيقية. يراقب المتحكم كل خطوة. إذا كان الذكاء الاصطناعي في مكان ستساعد فيه المحاولات الإضافية بالتأكيد (قابلية استرداد عالية)، يقول المتحكم: "تدخل! تفرع!". وإذا كان الذكاء الاصطناعي في طريق مسدود لن تساعد فيه المحاولات الإضافية (قابلية استرداد منخفضة)، يقول: "تخطَّ الأمر. وفر طاقتك".

ما وجدوه

اختبر الباحثون نظام RAIL في أربع مهام صعبة كان على وكلاء الذكاء الاصطناعي فيها التفاعل مع أنظمة التشغيل، وقواعد البيانات، ومتاجر الويب، وأدوات تحليل البيانات.

• إنه يعمل بشكل أفضل: تفوق RAIL باستمرار على جميع الطرق الأخرى، بما في ذلك نهج "المقاس الواحد الذي يناسب الجميع" والطرق "الذكية" الأخرى التي تستخدم قواعد ثابتة. لقد حقق معدلات نجاح أعلى في حل المهام.
• إنه يوفر المال: ولعل الأمر الأكثر إثارة للإعجاب هو أن RAIL حقق هذه النتائج الأفضل مع استخدام عدد أقل من إجمالي المحاولات (rollouts) مقارنة بالطرق الأخرى. لم يصبح أكثر ذكاءً فحسب، بل أصبح أكثر كفاءة أيضاً. فقد توقف عن إضاعة الوقت في المواقف اليائسة وركز طاقته حيث تكمن الأهمية.
• إنه يتكيف: تظهر الورقة أن "أفضل" طريقة للتدخل تتغير مع تعلم الذكاء الاصطناعي. فالاستراتيجية التي قد تنجح في البداية قد لا تنجح لاحقاً. ولأن متحكم RAIL يستمر في التعلم من النتائج الجديدة، فإنه يتكيف مع المهارات المتنامية للذكاء الاصطناعي، بينما تترك القواعد الثابتة القديمة خلفها.

الصورة الكبيرة

تشير هذه الورقة إلى أن الطريقة التي نولد بها بيانات التدريب للذكاء الاصطناعي لا ينبغي أن تكون عملية ثابتة ومملة. بدلاً من ذلك، يجب أن تكون عملية "تجربة الأشياء" جزءاً ديناميكياً وقابلاً للتعلم من عملية التدريب نفسها. من خلال تعليم الذكاء الاصطناعي كيفية التعرف على متى يحتاج إلى التعمق ومتى يجب عليه المضي قدماً، يمكننا جعل تدريب الذكاء الاصطناعي أسرع، وأرخص، وأكثر فعالية. إنه تحول من إلقاء المزيد من قوة الحوسبة على المشكلة بشكل أعمى إلى توجيه تلك القوة بذكاء إلى حيث هي مطلوبة بالضبط.