Inference-Time Diversity in RL-Trained Lean Theorem Provers: A Diagnostic Study
تكشف هذه الدراسة أن مبرهنات "لين" (Lean) التي تم تدريبها باستخدام التعلم التعزيزي تعاني من انهيار النمط أثناء وقت الاستدلال، وهو ما يمكن التخفيف من حدته بفعالية عبر تطبيق جدول زمني ثابت من هياكل التكتيكات المتنوعة لاستعادة مكاسب كبيرة في الأداء، في حين ثبت أن إعادة صياغة المطالبات والتعليقات غير ذات الصلة غير فعالة أو ضارة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل طالباً نابغاً تم تدريبه على حل ألغاز رياضية صعبة للغاية باستخدام لغة حاسوبية خاصة تسمى "Lean". هذا الطالب، لنسمّه "DeepSeek"، ذكي للغاية ولكنه يمتلك عادة غريبة: عندما يُطلب منه حل لغز ما، يعلق في حلقة ذهنية مفرغة.
هذا التقرير هو تقرير تشخيصي حول سبب حدوث ذلك وكيفية إصلاحه. إليكم قصة ما وجده الباحثون، مُصاغة بأسطح بسيطة.
١. المشكلة: تأثير "الأسطوانة المشروخة"
لاحظ الباحثون أنهم عندما يطلبون من DeepSeek حل نفس اللغز الرياضي مراراً وتكراراً (فقط مع تغييرات طفيفة في العشوائية، مثل رمي النرد)، يستمر الطالب في محاولة القيام بنفس الخطوة الأولى تماماً.
- التشبيه: تخيل أنك تحاول فتح باب مغلق. تجرب المفتاح في القفل. لا يعمل. تجربه مرة أخرى. لا يزال لا يعمل. تجربه في المرة الثالثة، وفي المرة المئة. حتى لو حاولت ٦٤ مرة، فأنت فقط تحشر نفس المفتاح في نفس القفل بنفس الطريقة. أنت لا تستكشف مفاتيح أخرى أو طرقاً أخرى لفتح الباب.
- النتيجة: في الدراسة، لم يؤدِ مضاعفة عدد المحاولات من ٣٢ إلى ٦٤ إلى حل لغز واحد جديد. لقد أصيب الطالب بـ "انهيار النمط" (mode collapse)؛ فقد كان عالقاً في مسار ضيق ولم يستطع التفكير في أي شيء آخر.
٢. الحل: إعطاء تلميح لـ "الخطوة الأولى"
أدرك الباحثون أن الطالب لم يكن كسولاً، بل كان فقط عالقاً في روتينه بشكل مفرط. لذا، جربوا حيلة جديدة: قبل طلب حل اللغز من الطالب، أعطوه تعليمات محددة حول كيفية البدء.
- التشبيه: بدلاً من مجرد قول "حل هذا اللغز"، قال الباحثون "ابدأ بتبسيط الأرقام"، أو "ابدأ بإدخال متغير جديد". الأمر يشبه إعطاء الطالب مفتاحاً محدداً لتجربته أولاً، بدلاً من تركه يخمن.
- النتيجة: هذه الدفعة البسيطة كسرَت الحلقة المفرغة. بدأ الطالب فجأة في حل المزيد من الألغاز. لم يكن "الروتين" بسبب سوء مهارة الطالب في الرياضيات، بل لأنه كان جامداً جداً في كيفية بدايته.
٣. "لماذا": إنها مشكلة في التدريب، وليست مشكلة في القدرات الذهنية
أراد الباحثون معرفة: هل الطالب سيء في الرياضيات بطبيعته، أم أن التدريب هو ما جعله جامداً؟
- التجربة: اختبروا الطالب قبل حصوله على التدريب الرياضي الخاص (النموذج "الأساسي").
- النتيجة: لم يستطع الطالب غير المدرب حل أي ألغاز على الإطلاق. كان إما يستسلم أو يكرر السؤال.
- الاستنتاج: التدريب الخاص (التعلم التعزيزي - Reinforcement Learning) هو ما علّم الطالب كيفية حل الألغاز في المقام الأول. ولكن، هذا التدريب نفسه هو ما جعله جامداً وعالقاً في روتين. لقد خلق التدريب المهارة، لكنه خلق أيضاً مشكلة "الأسطوانة المشروخة".
٤. من غيرهم يعاني من هذه المشكلة؟
اختبر الباحثون "طلاباً" آخرين (نماذج ذكاء اصطناعي مختلفة) لمعرفة ما إذا كانت هذه مشكلة عالمية.
- طالب الـ "SFT": تم تدريب أحد الطلاب بطريقة مختلفة (الضبط الدقيق الخاضع للإشراف - Supervised Fine-Tuning). كان هذا الطالب في الواقع أفضل في حل الألغاز بشكل عام، لكنه لم يعانِ من مشكلة "الروتين". وعندما أعطاه الباحثون تلميحات، أصبح أداؤه أسوأ قليلاً. لقد كان مرناً بما يكفي بالفعل لإيجاد مساره الخاص.
- طلاب الـ "RL": الطلاب الذين تم تدريبهم باستخدام طريقة "التعلم التعزيزي" الخاصة (مثل DeepSeek) هم من علقوا في الروتين. كانوا بحاجة إلى تلميحات "الخطوة الأولى" للخروج من تفكيرهم الضيق.
٥. دليل "الخطوة الأولى"
لإثبات أن هذا لم يكن مجرد مصادفة، نظر الباحثون في "الخطوات الأولى" الفعلية التي اتخذها الطلاب.
- النتيجة: من بين ٦٤ محاولة للغز واحد، استخدم الطالب "الروتيني" نفس الخطوة الأولى في نصف الحالات تقريباً. لقد كانوا قابلين للتنبؤ به بشكل مذهل.
- التشبيه: إذا طلبت من إنسان كتابة قصة ٦٤ مرة، فقد يبدأ بـ "كان يا ما كان"، أو "كانت الشمس مشرقة"، أو "كانت ليلة مظلمة". لكن هذا الطالب الآلي سيبدأ بـ "كان يا ما كان" ٣٢ مرة، وبـ "كانت الشمس مشرقة" ٣٠ مرة. لم يكن لديهم أي تنوع في بداياتهم.
الملخص
خلصت الورقة البحثية إلى أن التعلم التعزيزي (طريقة محددة لتدريب الذكاء الاصطناعي) هو سلاح ذو حدين:
١. يعلم الذكاء الاصطناعي كيفية حل البراهين الرياضية الرسمية (التي لم يكن قادراً عليها من قبل).
٢. ولكنه يجعل الذكاء الاصطناعي أيضاً مركزاً بشدة على بعض استراتيجيات "الفوز" لدرجة أنه يتوقف عن استكشاف استراتيجيات جديدة.
الحل ليس في إعطاء الذكاء الاصطناعي المزيد من قوة الحوسبة أو المزيد من الوقت للتفكير؛ بل في إعطائه توجيهاً هيكلياً — دفعة بسيطة حول كيفية بدء البرهان. هذا يجبر الذكاء الاصطناعي على كسر روتينه واستكشاف مسارات جديدة، مما يفتح له آفاق الحلول التي كان سابقاً شديد العناد في عدم إيجادها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.