ملخص تقني: التأثيرات المعتمدة على السعة لاختيار البيانات من أجل الاستدلال

بيان المشكلة

في عملية الضبط الدقيق الخاضع للإشراف (SFT) للنماذج اللغوية الكبيرة (LLMs) لمهام الاستدلال، يبرز تحدٍ حرج يتمثل في عدم تجانس الاستجابات المرشحة لاستعلام واحد. فحتى عندما يتم إنتاجها بواسطة نماذج معلمة قوية، تتباين الاستجابات بشكل كبير في مدى توافقها مع التوزيع الحالي للنموذج الطالب. وقد اقترح عمل حديث، مثل GRAPE (Zhang et al., 2025)، اختيار الاستجابات ذات الاحتمالية العالية (تلك الأقرب إلى سياسة الطالب الحالية) لضمان استقرار التحسين. وعلى العكس من ذلك، غالبًا ما تدعو أدبيات التعلم النشط واختيار البيانات التقليدية إلى استخدام الأمثلة ذات الاحتمالية المنخفضة (الصعبة) لدفع النماذج إلى ما وراء قدراتها الحالية.

تبحث هذه الورقة في صراع جوهري: هل تؤدي البيانات ذات الاحتمالية العالية دائمًا أفضل أداء استدلالي، أم أن فعاليتها تعتمد على سعة النموذج الطالب ومدة التدريب؟ يتحدى المؤلفون الافتراض القائل بأن البيانات "الأسهل" (عالية الاحتمالية) هي المفضلة دائمًا، مفترضين أن قيمة الاختيار القائم على الاحتمالية تعتمد على ما إذا كان الطالب يمتلك السعة التمثيلية الكافية لاستيعاب الإشراف الصعب.

المنهجية

يجري المؤلفون تجارب مضبوطة عبر طيف من أحجام النماذج وفترات التدريب لعزل تأثيرات احتمالية البيانات وسعة النموذج.

• مجموعات البيانات والنماذج: تستخدم التجارب مجموعة بيانات MATH12K. تقوم النماذج المعلمة (Qwen2.5-72B و Gemma-3-27B-it) بتوليد استجابات مرشحة متعددة لكل تعليمات. تتراوح النماذج الطالبة من 1.5 مليار إلى 8 مليارات معلمة، بما في ذلك عائلات متنوعة من Qwen و Llama.
• استراتيجيات الاختيار: تم إنشاء مجموعتي بيانات متمايزتين لكل تعليمات:
  • $D_{high}$: الاستجابات ذات الاحتمالية اللوغاريتمية الأعلى تحت النموذج الطالب الأساسي.
  • $D_{low}$: الاستجابات ذات الاحتمالية اللوغاريتمية الأدنى تحت النموذج الطالب الأساسي.
• بروتوكول التدريب: تخضع النماذج لعملية SFT بجميع المعلمات لمدة 5 حقب (epochs). يتم تقييم الأداء باستخدام pass@1 على 10 معايير متنوعة للاستدلال الرياضي (مثل AIME، AMC، GPQA، MATH).
• التحليل: تدرس الدراسة ديناميكيات التعلم من خلال منظورين:
  1. منظور المعلم: قياس الاحتمالية اللوغاريتمية لمخرجات الطالب تحت نموذج المعلم لتقييم التوافق مع توزيع المعلم.
  2. منظور النموذج الأصلي: قياس الاحتمالية اللوغاريتمية لمخرجات الطالب تحت نموذج الطالب الأساسي الخاص به لتقييم انزياح التوزيع.
• الإطار النظري: يقدم المؤلفون تحليلاً نظرياً للتقطير المقيد بالسعة باستخدام المصنفات الخطية. يقومون بنمذجة فضاء المعلمات الممكن للطالب كفضاء جزئي ويحللون كيفية انتقال تدفق التدرج (gradient flow) من المعلم إلى الطالب بناءً على إسقاط نطاق البيانات على هذا الفضاء الجزئي.

النتائج الرئيسية

1. نمط "الملاءمة السريعة / الربح البطيء" (Fast-Fit / Slow-Gain)

تكشف التجارب عن ثنائية واضحة تعتمد على السعة في ديناميكيات التعلم:

• النماذج الصغيرة (مثل 1.5B، 3B): توفر البيانات ذات الاحتمالية العالية ميزة مبكرة متميزة ("الملاءمة السريعة"). تحقق هذه النماذج تحسينات سريعة ومستقرة وغالبًا ما تصل إلى ذروة أدائها مبكرًا. أما البيانات ذات الاحتمالية المنخفضة فتفشل في تقديم مكاسب ذات معنى؛ حيث تعاني هذه النماذج لاستيعاب الإشراف، مما يؤدي غالبًا إلى مخرجات تكرارية أو سطحية لا تحسن قدرات الاستدلال.
• النماذج الكبيرة (مثل 7B، 8B): بينما لا تزال البيانات ذات الاحتمالية العالية تقدم مكاسب مبكرة قوية، تُظهر البيانات ذات الاحتمالية المنخفضة مسار "الربح البطيء". ورغم تأخرها في البداية، تتفوق هذه النماذج في النهاية على تلك التي تدربت على بيانات عالية الاحتمالية عند منحها مدة تدريب كافية (على سبيل المثال، بعد 2-5 حقب). تدفع البيانات ذات الاحتمالية المنخفضة النماذج الكبيرة نحو توزيع المعلم، مما يفتح آفاق قدرات استدلال أقوى لا تستطيع البيانات عالية الاحتمالية الوصول إليها.

2. ديناميكيات التعلم وانزياح التوزيع

• التوافق مع المعلم: تفشل النماذج الصغيرة المدربة على بيانات منخفضة الاحتمالية في الاقتراب من توزيع المعلم، بل وتنزاح أحيانًا بعيدًا عنه. في المقابل، تنجح النماذج الأكبر في تقليل خسارة المعلم عند التدريب على بيانات منخفضة الاحتمالية، مما يشير إلى نقل معرفي فعال.
• الاستقرار: تظهر النماذج الصغيرة ديناميكيات تدريب غير مستقرة وانزياحات في التوزيع عند تعرضها لبيانات منخفضة الاحتمالية، حيث تميل غالبًا للعودة إلى التكرار الآلي. أما النماذج الأكبر فتتكيف بطريقة أكثر استقرارًا وتركيزًا، وتنجح في عبور مشهد التحسين للوصول إلى قمم عالمية أعلى.

3. الرؤى النظرية

يصيغ التحليل النظري هذه الملاحظات بشكل رسمي. ويفترض أن نقل المعرفة مقيد بالتقاطع بين نطاق البيانات (ما تكشفه البيانات عن المعلم) وفضاء المعلمات الممكن للطالب (ما يمكن للطالب تمثيله).

• بالنسبة للطلاب ذوي السعة العالية، يكون الفضاء الممكن كبيرًا بما يكفي لالتقاط فجوة المعرفة التي تكشفها البيانات الصعبة (منخفضة الاحتمالية).
• بالنسبة للطلاب ذوي السعة المنخفضة، يكون الفضاء الممكن فضاءً جزئيًا صارمًا. إذا كانت المعرفة التي تكشفها البيانات منخفضة الاحتمالية تقع خارج هذا الفضاء الجزئي، فلن يتمكن الطالب من تعلمها، مما يجعل الإشراف غير فعال. أما البيانات عالية الاحتمالية، لكونها أقرب إلى تمثيل الطالب الحالي، فهي تقع ضمن هذا الفضاء الممكن، مما يسمح بتحسن تدريجي ولكن محدود.

المساهمات الرئيسية

1. اختيار البيانات المعتمد على السعة: تثبت الورقة أن البيانات عالية الاحتمالية ليست مثالية عالميًا. إن فعالية الاختيار القائم على الاحتمالية محكومة بالتفاعل بين توزيع البيانات، وسعة النموذج، وميزانية الحوسبة.
2. تحليل ديناميكيات التعلم: يحدد المؤلفون ظاهرة "الملاءمة السريعة / الربح البطيء"، موضحين أن النماذج الصغيرة تستفيد من البيانات السهلة لتحقيق تقارب سريع، بينما تتطلب النماذج الكبيرة بيانات صعبة لتوسيع القدرات على المدى الطويل.
3. الإطار النظري: تم تطوير رؤية للتقطير المقيد بالسعة، والتي تُظهر أن النقل الناجح يتطلب أن تقع معرفة المعلم المكشوفة ضمن الفضاء الجزئي الذي يمكن للطالب تمثيله. وهذا يفسر سبب فشل البيانات منخفضة الاحتمالية للنماذج الصغيرة بينما تنجح للنماذج الكبيرة.

الأهمية والادعاءات

تخلص الورقة إلى أن استراتيجيات اختيار البيانات لمهام الاستدلال لا ينبغي معاملتها كقاعدة واحدة تناسب الجميع. بدلاً من ذلك، يجب على الممارسين مراعاة القيود المحددة لإعداداتهم:

• للنماذج الصغيرة أو ميزانيات الحوسبة المحدودة: تُفضل البيانات عالية الاحتمالية لتحقيق تحسينات مبكرة سريعة ومستقرة وفعالة.
• للنماذج الكبيرة مع ميزانيات تدريب كافية: تصبح البيانات منخفضة الاحتمالية ذات قيمة متزايدة، حيث توفر إمكانية تحقيق أداء نهائي أعلى بكثير من خلال دفع النموذج نحو توزيع المعلم.

يؤكد المؤلفون أن "أفضل" استراتيجية لاختيار البيانات هي استراتيجية تعتمد على السياق، وتتحدد بشكل مشترك من خلال سعة الطالب ومدة التدريب المتاحة. ويعمل هذا العمل على تنقيح فهم التقطير وهندسة البيانات، متجاوزًا مجرد القواعد التجريبية البسيطة نحو نهج أكثر دقة ووعيًا بالسعة.