ملخص تقني: GRACE – تنقية بيانات الاستدلال المتوافقة مع التدرج من أجل التدريب اللاحق الفعال

بيان المشكلة

تعمل خطوط المعالجة الحالية لتنقية بيانات الاستدلال (سلسلة الأفكرة، CoT) عادةً على مستوى العينة، حيث تخصص درجة واحدة لمسار استدلال كامل بناءً على مقاييس مثل صحة الإجابة النهائية أو درجات نموذج المكافأة. هذا النهج يعامل كل خطوة وسيطة داخل المسار على أنها متساوية في القيمة. ومع ذلك، فإن مسارات الاستدلال متباينة؛ فبعض الخطوات تدعم الإجابة النهائية مباشرة، بينما تعيد خطوات أخرى صياغة المحتوى، أو تستكشف مسارات غير ذات صلة، أو تُدخل ضجيجاً. إن التدريب الموحد على هذه المسارات يهدر الميزانية الحسابية على الخطوات منخفضة القيمة ويقلل من مساهمة الخطوات المفيدة. علاوة على ذلك، تفتقر الطرق الحالية إلى آلية لتقييم كيفية مساهمة خطوات الاستدلت الفردية في عملية التحسين، وغالباً ما تغفل عن "أدوار التحسين على مستوى الخطوة" داخل المسار.

المنهجية: GRACE

يقترح المؤلفون GRACE (تنقية بيانات الاستدلال المتوافقة مع التدرج من أجل التدريب اللاحق الفعال)، وهي طريقة تنقل عملية التنقية من مستوى العينة إلى مستوى الخطوة. تنظر GRACE إلى مسار الاستدلال ليس كهدف إشراف ثابت، بل كسلسلة من أحداث التحسين.

1. المنفعة على مستوى الخطوة للتحسين

تُعرف GRACE منفعة خطوة الاستدلال بناءً على مساهمتها في تحسين هدف مستهدف. تقوم بتسجيل درجة كل خطوة $k$ باستخدام إشارتين متكاملتين مشتقتين من ديناميكيات التحسين الداخلية للنموذج:

• التوافق الموجه نحو الإجابة ($A_{ans}^k$): يقيس تشابه جيب التمام (cosine similarity) بين التدرج الناتج عن الخطوة الحالية ($g_k$) والتدرج الناتج عن جزء الإجابة النهائية ($g_{ans}$). يحدد هذا ما إذا كانت الخطوة تدعم الهدف النهائي بشكل بناء.
• اتساق المسار ($A_{hist}^k$): يقيس تشابه جيب التمام بين تدرج الخطوة الحالية ومرجع تاريخي ($r_k$)، وهو متوسط مرجح للتدرجات من الخطوات السابقة. يضمن هذا أن الخطوة تحافظ على التماسك مع مسار الاستدلال المتطور.

الدرجة النهائية على مستوى الخطوة هي مزيج موزون:
$$\text{Score}_k = \alpha A_{ans}^k + (1-\alpha) A_{hist}^k$$
حيث توازن $\alpha$ بين الإشارتين. يتم تجميع درجات الخطوات هذه لحساب قيمة العينة $V(z)$، والتي تُستخدم لاختيار المجموعة الفرعية الأعلى من $\rho$.

2. بديل التدرج على مستوى التمثيل

يتمثل التحدي الرئيسي في أن حساب التدرجات الحقيقية على مستوى الخطوة يتطلب تفكيك المسارات وإجراء عمليات تمرير خلفي (backward passes) متكررة، وهو أمر غير ممكن حسابياً على نطاق واسع. ولمعالجة ذلك، تقدم GRACE بديل تدرج على مستوى التمثيل:

• بدلاً من حساب تدرجات فضاء المعلمات ($\nabla_\theta L$)، تعمل الطريقة على الإشارات الصاعدة عند واجهة التمثيل (الحالات الخفية قبل إسقاط المخرجات).
• لكل رمز (token) $t$، يتم حساب إشارة صاعدة $u_t = W_{out}(p_t - y_t)$، حيث $p_t$ هو الاحتمال المتوقع و $y_t$ هو الحقيقة الأرضية.
• يتم تقريب تدرجات مستوى الخطوة عن طريق حساب متوسط هذه الإشارات على مستوى الرمز ($g_k = \frac{1}{|T_k|} \sum u_t$).
• والأهم من ذلك، يسمح هذا البديل بتقدير التوافق على مستوى الخطوة باستخدام تمرير أمامي واحد فقط لكل عينة، مما يتجنب التمرير الخلفي لكل خطوة والحاجة إلى نماذج مكافأة خارجية أو تسميات توضيحية للخطوات.

المساهمات الرئيسية

1. منظور قائم على التحسين: يعيد البحث صياغة تنقية بيانات الاستدلال من خلال نمذجة المسارات كسلاسل من أحداث التحسين، مؤكداً أن التوافق على مستوى الخطوة مع الهدف والمسار أمر بالغ الأهمية للتعلم الفعال.
2. إطار عمل GRACE: طريقة تنقية مبتكرة تجمع إشارات التحسين على مستوى الخطوة (التوافق مع الإجابة واتساق المسار) للاختيار الدقيق للمجموعات الفرعية.
3. بديل قابل للتوسع: تطوير بديل تدرج على مستوى التمثيل يتيح تقيماً فعالاً للبيانات على مستوى الخطوة دون التكلفة الحسابية لحساب التدرج لكل خطوة.

النتائج التجريبية

قيم المؤلفون GRACE من خلال التدريب اللاحق لنموذج Qwen3-VL-2B-Instruct على مجموعة بيانات MMathCoT-1M (مجموعة بيانات ضخمة للاستدلال الرياضي متعدد الوسائط) والاختبار على معايير متنوعة تشمل الاستدلال الرياضي (MathVista, MathVision) والإجابة على الأسئلة البصرية العامة (HallusionBench, MMBench, MME).

• الأداء مقابل حجم البيانات:
  • باستخدام 20% فقط من البيانات المنقاة، حققت GRACE نسبة 108.8% من أداء البيانات الكاملة (المتوسط عبر المعايم)، متفوقة بشكل كبير على مجموعة البيانات الكاملة وجميع النماذج المرجعية.
  • باستخدام 5% فقط من البيانات، احتفظت GRACE بنسبة 100.2% من أداء البيانات الكاملة.
• المقارنة مع النماذج المرجعية: تفوقت GRACE باستمرار على المختبرات الاستدلالية (Random, Longest, Stepmax) وطرق اختيار البيانات القائمة على التدرج والمتطورة (LESS, ICONS, CADC). على سبيل المثال، عند نسبة 20% من البيانات، تجاوزت GRACE (108.8%) نموذج CADC (102.6%) ونموذج LESS (101.7%).
• القابلية للنقل: انتقلت المجموعات الفرعية التي اختارتها GRACE باستخدام نموذج تسجيل Qwen3-VL-2B بفعالية إلى هياكل أخرى (Qwen2.5-VL-3B, LLaVA-1.5-7B, Qwen3-VL-8B)، متفوقة باستمرار على النماذج المرجعية الخاصة بها. يشير هذا إلى أن قيمة البيانات الملتقطة هي قيمة جوهرية لبنية الاستدلال وليست مرتبطة بنموذج محدد.
• الكفاءة: عملية استخراج البديل خفيفة الوزن، حيث تتطلب تمريرات أمامية فقط. أفاد المؤلفون أن جمع الإشارات للمجموعة المرشحة استغرق 6.5 ساعة من العقدة الواحدة و5.7 جيجابايت من التخزين، متجنبين عمليات التمرير الخلفي المكلفة المطلوبة من طرق إسقاط التدرج.

الأهمية والادعاءات

يدعي البحث أن قيمة بيانات الاستدلال لا تعتمد فقط على مؤشرات الجودة الخارجية (الصحة، الطول، أو درجات التفضيل) ولكن على ما إذا كانت الخطوات الوسيطة تدعم مسار التحسين بشكل بناء.

تثبت GRACE أن:

1. الدقة على مستوى الخطوة ضرورية: إن معاملة مسارات الاستدلال كوحدات غير قابلة للتجزئة يغفل الفائدة المتفاوتة للخطوات الوسيطة.
2. الإشارات الداخلية كافية: يمكن تحقيق تنقية عالية الجودة للبيانات باستخدام إشارات التحسين الداخلية للنموذج فقط (التدرجات/البدائل) دون الحاجة إلى نماذج مكافأة خارجية أو تسميات بشرية.
3. الكفاءة والأداء: تتيح عملية التنقية المدركة للتحسين للنماذج مطابقة أو تجاوز أداء البيانات الكاملة باستخدام جزء بسيط من بيانات التدريب، مما يقلل بشكل كبير من تكاليف التدريب اللاحق (ساعات GPU) مع الحفاظ على القدرات في المجالات النهائية أو تحسينها.

أشار المؤلفون إلى القيود، بما في ذلك الاعتماد على تكوين ثابت لنموذج التسجيل والتركيز الحالي على بيانات CoT متعددة الوسائط، مما يشير إلى أن العمل المستقبلي يمكن أن يمد هذه المبادئ إلى الاستدلال اللغوي البحت أو التدريب اللاحق القائم على التعلم التعزيزي.