ملخص تقني: كفاءة بيانات التدريب في نماذج مكافأة العمليات متعددة الوسائط

1. بيان المشكلة

تعد نماذج مكافأة العمليات متعددة الوسائط (MPRMs) ضرورية لتوفير الإشراف على مستوى الخطوة في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) أثناء مهام الاستدلال البصري. ومع ذلك، يعتمد تدريب هذه النماذج عادةً على مجموعات بيانات ضخمة من المسارات (rollouts) الموضحة عبر طريقة مونت كارلو (MC) (مثل VisualPRM400K-v1.1 التي تحتوي على 565 ألف مسار و3.17 مليون خطوة موضحّة). وتتسبب هذه العملية في تكاليف حوسبة باهظة.

حدد البحث عقبة عملية: كفاءة بيانات التدريب. تشير الملاحظات الأولية إلى أن أداء نماذج MPRM يصل إلى مرحلة التشبع بسرعة عند أخذ عينات فرعية عشوائية من البيانات، مما يشير إلى وجود تكرار كبير في مجموعات البيانات الموضحة بـ MC. وتتمثل الأسئلة البحثية الجوهرية في:

1. كيف يتوسع أداء نموذج MPRM مع ميزانية المسارات (rollout budget)؟
2. كيف يمكن اختيار مجموعات فرعية غنية بالمعلومات تحافظ على أداء البيانات الكاملة أو تتجاوزه دون تكبد تكاليف إضافية في التوضيح (annotation) أو استدعاء النموذج؟

2. المنهجية

2.1 الدراسة الأولية التجريبية

أجرى المؤلفون تجارب أولية باستخدام مجموعة بيانات VisualPRM400K-v1.1 وهيكل InternVL2.5-8B.

• ملاحظة التكرار: أدت عملية أخذ العينات العشوائية الفرعية (على سبيل المثال، الاحتفاظ بـ 25% فقط من المسارات) إلى استقرار الأداء بسرعة، حيث ظل قريباً من أداء البيانات الكاملة حتى مع عدد تحديثات أقل بكثير. وهذا يشير إلى أن زيادة حجم مجموعة البيانات تعطي عوائد متناقصة بسبب ضجيج التصنيفات (label noise) وتكرار البيانات.
• التحليل الاستدلالي: قارن المؤلفون بين استراتيجيات مختلفة لاختيار المجموعات الفرعية:
  • العشوائي (Random): خط الأساس.
  • منخفض الـ MC (Low-MC): اختيار المسارات ذات متوسط درجات MC الأدنى (أعلى نسب الخطأ في الخطوات). أدى هذا إلى إدخال العديد من "التصنيفات الإيجابية الزائفة" (خطوات صُنفت كإيجابية رغم انخفاض معدلات النجاح فيها بشكل كبير)، مما أضر بالأداء.
  • المختلط (Mixed): اختيار المسارات التي تحتوي على خطوات صحيحة وخاطئة معاً. تفوق هذا الخيار على الاختيار العشوائي، لكنه ظل دون المستوى الأمثل مقارنة بالنهج المتوازن.

2.2 الإطار النظري

لتفسير هذه النتائج التجريبية، صاغ المؤلفون إطار تجريد المعلم-الطالب (Teacher-Student abstraction framework):

• نموذج المعلم (Teacher Model): نموذج مثالي يعرف الصحة الحقيقية للخطوة ($q^*$).
• نموذج الطالب (Student Model): نموذج MPRM الذي يتم تدريبه على تسميات MC مشوبة بالضجيج.
• تحليل التدرج (Gradient Analysis): قام المؤلفون بنمذجة ضجيج تقدير MC عبر نموذج احتمالي لقلب التسميات (label-flip model). واستنتجوا أن إشارة التدرج الغنية بالمعلومات تعتمد على عاملين ضربيين:
  1. خليط التسميات (عدم اليقين): المصطلح $q^*(1-q^*)$ يصل إلى أقصى قيمة له عندما يكون المعلم غير متيقن (أي أن المسار يحتوي على خليط من الخطوات الإيجابية والسلبية). المسارات الإيجابية تماماً أو السلبية تماماً توفر إشارات ضعيفة.
  2. موثوقية التسمية (مستوى الضجيج): يكون معدل الضجيج الفعال $\eta$ مرتفعاً للخطوات ذات درجات MC المنخفضة للغاية والتي لا تزال تُصنف كإيجابية (الإيجابيات الزائفة). تعمل هذه الخطوات كعينات معكوسة التسمية، مما يضيف تبايناً بدلاً من الإشارة.
• الاستنتاج: المسارات الغنية بالمعلومات هي تلك التي تكون مختلطة (عدم يقين عالٍ) ولكن موثوقة (ضجيج منخفض في التسميات الإيجابية).

2.3 الحل المقترح: درجة المعلومات المتوازنة (BIS)

بناءً على الرؤى النظرية، يقترح المؤلفون درجة المعلومات المتوازنة (Balanced-Information Score - BIS)، وهي آلية لتسجيل المسارات لا تتطلب أي استدعاءات إضافية للنماذج أو إشرافاً. وهي تستخدم فقط درجات MC المخزنة بالفعل في مجموعة البيانات.

للمسار $x$ الذي يحتوي على $n$ من الخطوات:

1. خليط التسميات ($p_{pos}$): نسبة الخطوات الإيجابية في المسار. مصطلح الخليط هو $p_{pos}(1 - p_{pos})$، والذي يصل لأقصى قيمة له عندما يحتوي المسار على توازن بين الخطوات الإيجابية والسلبية.
2. الموثوقية ($R(x)$): متوسط درجة MC للخطوات الإيجابية في المسار. تشير $R(x)$ العالية إلى أن الخطوات الإيجابية موثوقة حقاً (ضجيج منخفض).
3. صيغة BIS:
   $$BIS(x) = (p_{pos}(1 - p_{pos}) + \alpha) \times R(x)$$
   حيث $\alpha$ هو ثابت تنعيم صغير لمنع الأوزان الصفرية للمسارات ذات الخليط المنخفض.

عملية الاختيار: يتم ترتيب المسارات حسب درجة BIS الخاصة بها ضمن كل مجموعة بيانات مصدرية، ويتم اختيار الكسر الأعلى $\rho$ لتشكيل المجموعة الفرعية للتدريب.

3. النتائج الرئيسية

أُجريت التجارب على VisualProcessBench باستخدام نموذجين أساسيين: InternVL2.5-8B و Qwen2.5-VL-7B.

• كفاءة البيانات: تفوقت المجموعات الفرعية المختارة بواسطة BIS باستمرار في مطابقة أو تجاوز أداء البيانات الكاملة باستخدام مسارات أقل بكثير.
  • InternVL2.5-8B: حققت المجموعة الفرعية BIS-10% (باستخدام 10% فقط من البيانات) درجة micro-F1 إجمالية قدرها 65.46%، وهو ما يطابق أداء البيانات الكاملة ويتفوق على خط الأساس Random-10% بمقدار +2.6 نقطة.
  • Qwen2.5-VL-7B: أظهر النموذج مكاسب أكبر في أنظمة الميزانية المنخفضة، حيث تفوق BIS-5% على Random-5% بمقدار +10.9 نقطة.
• إعادة الترتيب من الأفضل إلى الأسوأ لـ N (Best-of-N Reranking): في سيناريوهات إعادة الترتيب العملية (اختيار أفضل إجابة من 16 مرشحاً)، حققت نماذج MPRM المدربة على مجموعات BIS-25% أعلى أداء عبر أربعة اختبارات (MM-K12, OlympiadBench, MathVerse, MathVista)، متفوقة على كل من نماذج Random-25% والبيانات الكاملة.
• دراسات الاستبعاد (Ablation Studies):
  • أدى حذف أي من مكوني الخليط أو الموثوقية (على سبيل المثال، استخدام مجموعات "مختلطة" فقط أو "موثوقة" فقط) إلى انخفاض الأداء، مما يؤكد ضرورة وجود كلا العاملين.
  • أثبتت الطريقة متانة تجاه معلم التنعيم $\alpha$، حيث حقق $\alpha=0.05$ أفضل النتائج.
  • وُجد أن استخدام تسميات MC الناعمة (soft labels) أقل كفاءة من التسميات الثنائية الصلبة (hard binarized labels)، ويرجع ذلك على الأرجح إلى الضجيج في تقديرات MC.

4. الأهمية والادعاءات

يدعي البحث تقديم وصفة عملية لتقليل التكلفة الحوسبية لتدريب نماذج MPRM دون التضحية بأداء النموذج.

• الرؤية النظرية: يوضح البحث أن تدريب MPRM محدود أساساً بـ ضجيج التدرج (الناتج عن ضجيج التسمية ونقص الخليط) بدلاً من ندرة البيانات.
• الكفاءة: تسمح طريقة BIS بتدريب النموذج باستخدام 10% فقط من البيانات الأصلية مع الحفاظ على أداء البيانات الكاملة، مما يوفر فعلياً حوالي 90% من التكلفة الحوسبية المرتبطة بمعالجة البيانات وخطوات التدريب.
• الاختيار بدون تكلفة: على عكس التعلم النشط (active learning) أو طرق اختيار البيانات الأخرى، تعتمد BIS تماماً على إشارات MC الموجودة، مما يعني صفر تكلفة إضافية للاستدلال بالنموذج أو التوضيح.
• القدرة على التعميم: المنهج مستقل عن النموذج (model-agnostic) وقد أثبت فعاليته عبر بنيات نماذج مختلفة (سلسلة InternVL وسلسلة Qwen).

خلص المؤلفون إلى أن مجموعات بيانات MPRM المستقبلية يجب أن تُنسق بناءً على مبادئ "الخليط والموثوقية" هذه بدلاً من مجرد زيادة الحجم، مما يقدم مبدأً يركز على البيانات لتدريب الاستدلال متعدد الوسائط بكفاءة.