In-Context Learning as Implicit Policy Gradient
تؤسس هذه الورقة رابطاً نظرياً بين التعلم داخل السياق المشروط بالدرجة وبين تحسين تدرج السياسة، حيث تُثبت أن آليات الانتباه الذاتي يمكن أن تنفذ ضمناً تحديثات مرجحة بالمكافأة، وتقدم تحققاً تجريبياً بأن النماذج اللغوية الكبيرة تستفيد بفعالية من درجات التقييم لتحويل توزيعات المخرجات نحو الأمثلة ذات الأداء العالي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا تكتفي فيه الحواسيب باتباع وصفة صارمة، بل يمكنها التعلم أثناء العمل، وفي منتصف المحادثة تماماً. هذا هو مجال النماذج اللغوية الكبيرة (LLMs)، وهي الأدمغة الذكية وراء الأدوات التي تكتب القصص، وتحل المسائل الرياضية، وتدردش معنا. عادةً، لتعليم هذه الذكاءات الاصطناعية حيلة جديدة، يتعين على العلماء الدخول إلى الكود العميق للحاسوب وتعديل إعداداته الداخلية — وهو أمر يشبه إعادة توصيل أسلاك دماغ روبوت. ولكن مؤخراً، تم اكتشاف ظاهرة رائعة تسمى "التعلم في السياق" (In-Context Learning). فقد تبين أن هذه النماذج يمكنها التعلم بمجرد قراءة الأمثلة التي تقدمها لها في نص المحادثة، دون تغيير سطر واحد من كودها البرمجي. فكر في الأمر كطالب، بدلاً من المذاكرة للاختبار طوال الأسبوع، يفهم المادة فجأة بشكل مثالي لمجرد أنك أظهرت له بعض الأسئلة التدريبية قبل بدء الامتحان مباشرة.
والأمر الأكثر إثارة للدهشة هو أن الباحثين وجدوا أنه إذا أعطيت هذه النماذج أمثلة على إجاباتها السابقة مع "درجة" (مثل علامة أو تقييم)، فيمكنها استخدام هذا التعليقات لتحسين إجابتها التالية فوراً. وكأن الذكاء الاصطناعي يقول: "أوه، تلك القصة حصلت على 6/10؟ لقد فهمت ما أخطأت فيه؛ دعني أحاول مجدداً وأهدف للوصول إلى 10". ولكن هنا يكمن اللغز الكبير: كيف يمكن لآلة أن "تتعلم" حقاً من درجة بمجرد قراءتها؟ هل لديها معلم سري في الداخل؟ أم أنها مجرد تخمين؟ ورقة بحثية جديدة من مؤتمر COLM 2026 تغوص في هذا السؤال، محاولةً اكتشاف السحر الرياضي الخفي الذي يجعل هذا يحدث.
الاكتشاف الكبير للورقة البحثية: "عضلة المكافأة" السرية للذكاء الاصطناعي
تقترح هذه الورقة، التي تحمل عنوان "التعلم في السياق كاشتقاق سياسة ضمني" (In-Context Learning as Implicit Policy Gradient)، تفسيراً ذكياً لكيفية استخدام هذه النماذج للدرجات لتصبح أفضل. يقترح المؤلفان، ماساهيرو كانيكو وتيموثي بالدوين، أنه عندما يقرأ الذكاء الاصطناعي قائمة بإجاباته السابقة ودرجاتها، فإنه لا يقوم فقط بحفظها. بدلاً من ذلك، هو يقوم سراً بعملية رياضية تشبه تماماً طريقة تعلم شهيرة مستخدمة في التعلم المعزز، تسمى "اشتقاق السياسة" (Policy Gradient).
لفهم هذا، تخيل أن الذكاء الاصطناعي هو طباخ يحاول طهي الطبق المثالي.
- الطريقة القديمة (التعلم تحت الإشراف): عادةً، إذا أردت من الطباخ أن يطبخ بشكل أفضل، تظهر له صورة للطبق المثالي (المدخلات) والوصفة المثالية (المخرجات). هو يتعلم من خلال نسخ الفرق بين ما صنعه وما قيل له أن يصنعه.
- الطريقة الجديدة (التعلم في السياق المشروط بالدرجة): في هذا السيناريو الجديد، لا يملك الطباخ وصفة مثالية. بدلاً من ذلك، لديه قائمة بالأطبى التي صنعها بالأمس، ولكل منها أعطاه ناقد طعام درجة (مثلاً: "هذا الحساء كان 4/10، لكن هذه الكعكة كانت 9/10"). ينظر الطباخ إلى هذه القائمة ويقرر: "يجب أن أجعل طبقي القادم يشبه الكعكة وأقل شبهاً بالحساء".
تثبت الورقة أن آلية الذكاء الاصطناعي الداخلية، المسماة "الانتباه الذاتي" (Self-Attention)، تعمل كآلة حاسبة ذكية جداً تزن هذه الأطباق الماضية. اتضح أن آلية الانتباه لدى الذكاء الاصطناعي يمكنها رياضياً "الإمساك" بالأمثلة ذات الدرجات العالية وسحبها لتكون أقرب إلى عملية تفكيره الحالية، بينما تدفع الأمثلة ذات الدرجات المنخفضة بعيداً. الأمر كما لو أن لدى الذكاء الاصطناعي يداً مغناطيسية تلتقط فقط الإجابات "الجيدة" بناءً على درجاتها وتستخدمها لدفع تفكيره في الاتجاه الصحيح.
السحر الرياضي: كيف "يمسك" الذكاء الاصطناعي بالإجابات الجيدة
يوضح المؤلفون أن هذا ليس مجرد تخمين محظوظ؛ بل هو ميزة هيكلية لكيفية بناء هذه النماذج. لقد قدموا "إثبات مفهوم" يوضح أنه إذا قمت بضبط الأوزان الداخلية للذكاء الاصطناعي (المقابض والأزرار داخل دماغه) بطريقة معينة، فإن آلية الانتباه تصبح "مجمّعاً مرجحاً بالمكافأة" (reward-weighted aggregator).
إليك التشبيه: تخيل أن الذكاء الاصطناعي طالب يؤدي اختباراً.
- المدخلات: الطالب يرى قائمة بالأسئلة الماضية والدرجات التي حصل عليها فيها.
- آلية الانتباه: هذا هو دماغ الطالب وهو يقرر أي الأمثلة الماضية يجب التركيز عليها.
- السحر: توضح الورقة أن دماغ الذكاء الاصطناعي يمكن تهيئته بحيث يكون "التركيز" الذي يوليه لمثال ما متناسباً طردياً مع الدرجة التي حصل عليها. إذا حصل مثال على درجة عالية، فإن الذكاء الاصطناعي يولي اهتماماً كبيراً له. وإذا حصل على درجة منخفضة، فإنه بالكاد يلقي نظرة عليه.
يوضح المؤلفون أن هذه العملية متطابقة رياضياً مع طريقة تسمى REINFORCE، وهي طريقة قياسية لتعليم وكلاء الذكاء الاصطناعي تعظيم المكافآت. بعبارات بسيطة، يقوم الذكاء الاصطناعي بحساب "الاشتقاق" (اتجاه الحركة) بناءً على الدرجات، قائلاً فعلياً: "حرك حالتي الداخلية نحو الأمثلة ذات الدرجات العالية".
شبكة الأمان: لماذا لا يجن جنون الذكاء الاصطناعي؟
أحد أكثر الأجزاء إثارة في الورقة البحثية هو أنها تشرح أيضاً لماذا عملية التعلم هذه آمنة ومستقرة. في عالم تدريب الذكاء الاصطناعي، إذا ضغطت على النموذج بقوة كبيرة للتغيير، فقد ينسى كل ما عرفه سابقاً أو يبدأ في تقديم إجابات غريبة وغير منطقية. يُسمى هذا "انزياح التوزيع" (distribution shift).
يثبت المؤلفون أنه بما أن الذكاء الاصطناعي ينظر فقط إلى عدد محدود من الأمثلة (السياق) وأن الدرجات محدودة (لا يمكن أن تكون مرتفطة أو منخفضة إلى ما لا نهاية)، فإن التغيير في سلوك الذكاء الاصطناعي هو أيضاً محدود. لقد استنتجوا حداً رياضياً، يشبه "منطقة الثقة" (trust region)، يضمن أن الإجابة الجديدة للذكاء الاصطناعي لن تكون مختلفة كثيراً عن إجابته القديمة. إنه يشبه حاجز الأمان في الأفعوانية: يُسمح للذكاء الاصطناعي بالتسارع والدوران في المنعطفات للعثور على إجابات أفضل، لكن الرياضيات تضمن أنه لن يطير خارج المسار أبداً.
ماذا أظهرت التجارب
للتأكد من أن هذا لم يكن مجرد نظرية جميلة، اختبر المؤلفون الورقة على بعض أقوى نماذج الذكاء الاصطناعي في العالم، بما في ذلك Llama-3، وOlmo-3، وQwen-3، وGPT-4o، وغيرها. أجروا تجارب حيث أعطوا النماذج قوائم من مخرجاتها مع درجاتها وراقبوا ما حدث.
إليكم ما وجدوه:
- الدرجات تهم: عندما قاموا بخلط الدرجات (إعطاء إجابة سيئة درجة عالية وإجابة جيدة درجة منخفضة)، تغير سلوك الذكاء الاصطناعي تماماً. أثبت هذا أن الذكاء الاصطناعي كان يقرأ الأرقام بالفعل، وليس النص فقط.
- "التركيز" يطابق الدرجة: نظروا داخل دماغ الذكاء الاصطناعي ووجدوا أن "أوزان الانتباه" (مقدار تركيز الذكاء الاصطناعي على كل مثال) كانت مرتبطة بقوة بالدرجات. كلما زادت الدرجة، زاد تركيز الذكاء الاصطناعي على ذلك المثال.
- يعمل مثل التعلم المعزز: عندما قارنوا سلوك الذكاء الاصطناعي بخوارزمية تعلم معزز تقليدية (تحسب الاشتقاقات صراحةً)، كانت الاتجاهات التي تحرك فيها الذكاء الاصطناعي متطابقة تقريباً. كان الذكاء الاصطناعي يقوم بنفس الرياضيات، دون أن يُطلب منه ذلك صراحةً.
- يتحسن بمرور الوقت: عندما سمحوا للذكاء الاصطناعي بالقيام بذلك بشكل تكراري (توليد إجابة، الحصول على درجة، توليد إجابة أفضل، الحصول على درجة أفضل)، تحسنت أداء النماذج باستمرار عبر مهام مثل الاستدلال الرياضي وتحسين الأوامر (prompt optimization).
ماذا يعني هذا (وماذا لا يعني)
الورقة البحثية حذرة جداً في تحديد ما لا تدعيه. هي لا تقول إن الذكاء الاصطناعي "يفكر" أو "يفهم" بطريقة بشرية. ولا تقول إن الذكاء الاصطناعي يشغل برنامج تحسين معقداً في الخلفية. بدلاً من ذلك، هي تظهر أن بنية الذكاء الاصطناعي تنفذ بشكل طبيعي شكلاً من أشكال التحسين من خلال آلية الانتباه الخاصة بها.
يؤكد المؤلفون أن هذا هو "تطابق هيكلي". وهذا يعني أن الرياضيات تعمل بنفس الطريقة، حتى لو لم يكن الذكاء الاصطناعي "يحاول" القيام بذلك. كما أشاروا إلى أن برهانهم يعتمد على بعض الافتراضات المبسطة (مثل الانتباه الخطي)، لكن تجاربهم على نماذج حقيقية ومعقدة تظهر أن نفس السلوك يظل قائماً في الممارسة العملية.
باختصار، تحل هذه الورقة لغزاً حول كيفية تعلم نماذج الذكاء الاصطناعي من الملاحظات دون تغيير الكود الخاص بها. إنها تكشف أنه عندما ينظر الذكاء الاصطناعي إلى قائمة من الأمثلة "الجيدة" و"السيئة"، فإنه يستخدم آلية الانتباه لديه لسحب نفسه رياضياً نحو الأمثلة "الجيدة"، مما يؤدي فعلياً إلى تحديث اشتقاق السياسة. إنه مثال جميل على كيفية ظهور سلوكيات تعلم معقدة من هياكل رياضية بسيطة ومصممة جيداً، مما يحول الذكاء الاصطناعي إلى طالب يحسن نفسه ذاتياً ويتعلم من درجاته الخاصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.