Why Do Reasoning Models Lose Coverage? The Role of Data and Forks in the Road
تتقصى هذه الورقة ظاهرة "انكماش الاستدلال" في نماذج الاستدلال المضبوطة دقيقاً، حيث تحدد انتشار سيناريوهات نقاط القرار الغامضة في بيانات التدريب كسبب رئيسي، وتثبت أن التوليف المستهدف للبيانات وفك التشفير الواعي بالتنوع يمكن أن يخففا بفعالية من فقدان التغطية هذا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم طالباً كيفية حل متاهة. تريد منه أن يكون قادراً على إيجاد المخرج بغض النظر عن المسار الذي يسلكه، لكنك تريده أيضاً أن يكون سريعاً ودقيقاً.
تبحث هذه الورقة البحثية في مشكلة غريبة تحدث عندما ندرب نماذج الذكاء الاصطناعي المتقدمة (مثل تلك التي تقوم بعمليات حسابية أو منطقية معقدة) لتكون خبراء في "الاستنتاج". نحن نسمي هذه المشكلة "تقلص التغطية" (Coverage Shrinkage).
إليك تفصيل بسيط لما وجده المؤلفون، باستخدام أمثلة من الحياة اليومية:
المشكلة: الخريطة "المتقلصة"
عندما يتم تدريب هذه النماذج من الذكاء الاصطناعي، تصبح بارعة جداً في إيجاد المسار الأفضل الوحيد للوصول إلى الإجابة. إذا سألتها سؤالاً مرة واحدة، فمن المرجح جداً أن تجيب بشكل صحيح (وهذا ما يسمى pass@1).
ومع ذلك، إذا سألتها نفس السؤال 10 أو 100 مرة لترى جميع الطرق المختلفة التي يمكنها من خلالها حل المسألة، فإنها تتوقف عن منحك التنوع. تبدأ جميعها في إعطاء نفس الإجابة تماماً، أو والأسوأ من ذلك، تبدأ جميعها في التعثر في نفس المسار الخاطئ. لقد تقلصت "خريطتها" للحلول الممكنة. لقد فقدت القدرة على استكشاف طرق مختلفة.
المسبب: "مفترق الطرق"
يجادل المؤلفون بأن هذا ليس بسبب خلل في خوارزمية التعلم الخاصة بالذكاء الاصطناعي، بل تكمن المشكلة في بيانات التدريب.
تخيل كتاب قصص حيث يصل البطل إلى مفترق طرق.
- العالم الحقيقي: قد يتجه البطل يساراً أو يميناً. كلا المسارين يبدوان صالحين، لكن مساراً واحداً فقط يؤدي إلى الكنز.
- بيانات التدريب: يُظهر كتاب القصص البطل وهو يتخذ المسار الأيمن فقط. الكتاب لا يشرح أبداً لماذا اختار اليمين بدلاً من اليسار، أو حتى يذكر أن المسار الأيسر كان خياراً متاحاً.
يسمي المؤلفون هذه اللحظات "مفترق الطرق". وهي نقاط اتخاذ قرار حيث يتعين على النموذج الاختيار بين خيارات متعددة صالحة، لكن البيانات تُظهر مساراً واحداً فقط.
بسبب رؤية النموذج لمسار واحد فقط يتم اتخاذه، فإنه يتعلم عادة سيئة: "يجب أن أختار أول شيء يبدو صحيحاً، ويجب أن أكون واثقاً بنسبة 100% أنني على حق، حتى لو لم أكن كذلك". إنه يتوقف عن الاستكشاف. يتوقف عن التفكير في المسار "الأيسر" لأن كتاب القصص لم يعرضه أبداً.
التجارب: إثبات النظرية
اختبر الباحثون هذا الأمر من خلال إعدادين ذكيين:
- الرسم البياني النجمي (المتاهة):
أنشأوا لغزاً رياضياً بسيطاً يشبه متاهة على شكل نجمة. في البداية، كان هناك مساران. مسار واحد فقط يؤدي إلى الإجابة.
- المجموعة (أ): تم تدريبها على بيانات تُظهر النموذج وهو يمشي للأمام عبر المتاهة، متخذاً قراراً عند مفترق الطرق.
- المجموعة (ب): تم تدريبها على جعل النموذج يمشي للخلف من الإجابة إلى البداية (لا توجد قرارات مطلوبة هنا).
- النتيجة: المجموعة (أ) (التي كان عليها اتخاذ قرار) فقدت قدرتها على إيجاد مسارات بديلة. المجموعة (ب) حافظت على خريطتها الكاملة. أثبت هذا أن فعل اتخاذ القرار دون معلومات كافية هو ما يسبب التقلص.
- تبديل الأسلوب (البرمجة مقابل الكلمات):
نظروا في مسائل رياضية يمكن حلها عن طريق كتابة كود برمجي أَوْ عن طريق الكتابة بالكلمات العادية.
- السيناريو 1: أعطوا النموذج مزيجاً من المسائل، ولكن كل مسألة لها أسلوب حل واحد فقط (بعضها كود، وبعضها كلمات).
- السيناريو 2: أعطوا النموذج نفس المزيج، ولكن لكل مسألة على حدة، أظهروا له كلاً من حل الكود وحل الكلمات.
- النتيجة: في السيناريو 1، ارتبك النموذج وبدأ في اختيار أسلوب بناءً على أدلة تافهة وغير ذات صلة (مثل ترتيب الكلمات)، مما أدى إلى تقلص خياراته. في السيناريو 2، حيث رأى النموذج كلا الخيارين لنفس المسألة، ظل مرناً وحافظ على اتساع "خريطته".
"الإشارات الزائفة" (العادات السيئة)
لأن النموذج مُجبر على الاختيار عند هذه "المفترقات" دون معرفة الإجابة الصحيحة، فإنه يبدأ في التشبث بـ الإشارات الزائفة (إشارات وهمية).
- مثال: إذا بدأت المسألة بكلمة "لِـ" (Let)، فقد يقرر النموذج: "حسناً، سأستخدم أسلوب التفكير 'الرجعي'". وإذا بدأت بكلمة "إلى" (To)، فقد يقرر: "حسناً، سأستخدم الأسلوب 'الخطي'".
- النموذج لا يفكر فعلياً في الرياضيات؛ إنه مجرد رد فعل للكلمة الأولى. هذا يجعله هشاً. إذا غيرت الكلمة الأولى، فقد يغير النموذج أسلوب تفكيره بالكامل إلى أسلوب مختلف (وأسوأ).
الحل: هز الخطوة الأولى
تقدم الورقة طريقتين لإصلاح ذلك دون إعادة تدريب النموذج بالكامل:
- تصميم بيانات أفضل: عند إنشاء بيانات التدريب، لا تكتفِ بمزج أنواع مختلفة من المسائل فحسب. بل لكل مسألة محددة، أظهر للنموذج طرقاً متعددة وصالحة لحلها. هذا يعلم النموذج أن "عند هذا المفترق، كلا المسارين ممكنان".
- خدعة "الكلمة الأولى": بما أن النموذج يعلق على أول كلمة يولدها، فقد وجد الباحثون أنه يمكنهم "هز" البداية. من خلال إجبار النموذج على محاولة البدء بكلمات شائعة مختلفة (مثل "حسناً"، "لِنـ"، أو "إلى")، يمكنهم فتح أساليب التفكير المختلفة التي كانت مغلقة.
- التشبيه: الأمر يشبه باباً عالقاً. يعتقد النموذج أن الباب مغلق، ولكن إذا دفعت المقبض في اتجاه مختلف قليلاً (تغيير الكلمة الأولى)، فسيفتح الباب ويتذكر النموذج جميع المسارات التي كان يعرفها سابقاً.
الخلاصة
تخلص الورقة إلى أن نماذج الذكاء الاصطناعي لا "تنسى" كيف تكون متنوعة. هي فقط تُحبس في مسار واحد لأن بيانات تدريبها أجبرتها على اتخاذ خيارات عمياء عند "مفترقات الطرق" دون إظهار البدائل لها. من خلال تغيير طريقة تقديم هذه الخيارات في البيانات، أو دفع النموذج برفق في بداية إجابته، يمكننا استعادة هذا التنوع المفقود.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.