ملخص تقني: التحسين غير المتماثل للاستدلال والإدراك في مرحلة ما بعد التدريب لنماذج الرؤية واللغة

1. بيان المشكلة

ساهمت تقنيات ما بعد التدريب، وتحديداً الضبط الدقيق تحت الإشراف (SFT) والتعلم التعزيزي (RL)، في تعزيز قدرات الاستدلال بشكل كبير في نماذج الرؤية واللغة (VLMs) الرائدة. ومع ذلك، لم تترجم هذه المكاسب بشكل متناسب إلى قدرات إدراكية. تشير الدراسات الحديثة إلى أن مرحلة ما بعد التدريب قد تؤدي إلى تحسينات محدودة أو حتى تدهور في أداء الإدراك، مما يخلق عنق زجاجة للاستدلال البصري الشامل. السؤال المركزي الذي تعالجه هذه الورقة هو: لماذا يفضل ما بعد التدريب الاستدلال على الإدراك بشكل غير متناسب، وكيف يمكن التخفيف من هذا التباين؟

يجادل المؤلفون بأن أخطاء الإدراك تحد بشدة من فعالية الاستدلال المتقدم. وللتحقيق في ذلك، قدموا إطاراً تشخيصياً منضبطاً يفصل بين الإدراك والاستدلال، مما يسمح بالتقييم والتحسين المستقل لكل مكون.

2. المنهجية

2.1 إطار تشخيصي منضبط

يقترح المؤلفون إطاراً مصمماً لفصل الإدك ($p$) والاستدلال ($r$) ضمن مخرجات النموذج.

• المخرجات المفككة: يتم هيكلة تسلسل المخرجات كـ $y = [p, r]$، حيث $p$ هو النسخ النصي للمعلومات البصرية و $r$ هو عملية الاستدلال، ويفصل بينهما رموز خاصة. هذا يفرض ترتيب "الإدك قبل الاستدلال".
• مقاييس التقييم:
  • دقة الإدك ($a_p$): تُقاس بمقارنة الإدك الذي يولده النموذج $p$ مع تمثيل معياري حقيقي $p^*$.
  • دقة الاستدلال المضاد للواقع ($a_r$): لعزل قدرة الاستدلال عن أخطاء الإدك، يتم تزويد النموذج بالإدك الحقيقي $p^*$ كشرط لتوليد الاستدلال $r'$. ثم تُقاس الدقة كـ $Acc(r' | p^*)$.
  • الدقة الشاملة ($a$): الدقة القياسية للمسار الكامل.
• المهام الاصطناعية: لضمان وجود تسميات توضيحية حقيقية وتقييم برمجي، استخدم المؤلفون مهمتين اصطناعيتين:
  1. تلوين الرسم البياني (GC): مدخلات صور لرسوم بيانية؛ $p^*$ هي قائمة الحواف؛ وتتطلب الصحة تلويناً صالحاً للعقد.
  2. سودوكو (Sudoku): مدخلات صور لشبكات؛ $p^*$ هي الشبكة المملوءة جزئياً؛ وتتطلب الصحة حلاً صالحاً.
     تم إنشاء هذه المهام برمجياً من مشكلات نصية للحفاظ على $p^*$ معياري.

2.2 نماذج التدريب

تقيم الدراسة اثنين من مهيمنين في مرحلة ما بعد التدريب:

• الضبط الدقيق تحت الإشراف (SFT): يحسن متوسط خسارة التقاطع (cross-entropy loss) عبر تسلسل المخرجات.
• التعلم التعزيزي (RL): يستخدم تحسين السياسة النسبي للمجموعات (GRPO) مع استخدام الدقة الشاملة كإشارة مكافأة أساسية.

2.3 الآليات والتدخلات المفترضة

يتقصى المؤلفون آليتين محددتين تدفعان هذا التباين:

1. الفرضية الأولى: عدم توازن الرموز (SFT)

   • الآلية: في إشراف سلسلة الأفكس (CoT)، تشغل رموز الإدك جزءاً أصغر بكثير من إجمالي رموز المخرجات مقارنة برموز الاستدلال. وبما أن SFT يستخدم خسارة متوسطة الرموز، فإن الإدك يتلقى إشارة تحسين أضعف.
   • التدخل: إعادة وزن الخسارة. يتم تعديل خسارة SFT لتصبح $L_{SFT, \lambda} = \lambda \frac{L_p}{|p|} + (1-\lambda) \frac{L_r}{|r|}$، حيث تزيد $\lambda$ من وزن رموز الإدك. كما اختبروا NGDiff، وهي طريقة موازنة متعددة المهام ديناميكية تعتمد على معايير التدرج (gradient norms).

2. الفرضية الثانية: اقتران المكافأة (RL)

   • الآلية: ترتبط مكافأة النتيجة (الدقة الشاملة) بصحة الاستدلال بشكل أقوى من ارتباطها بصحة الإدك. يؤثر الإدك على المكافأة فقط إذا كان الاستدلال اللاحق صحيحاً أيضاً، مما يؤدي إلى تخصيص ائتمان (credit assignment) ضوضائي أو غير متوافق للإدك.
   • التدخل: تعزيز المكافأة. يتم تعديل دالة المكافأة لتصبح $R_\alpha(y|x) = \alpha \cdot a_p + (1-\alpha) \cdot a$، مع إضافة إشارة إدك صراحةً. كما قيموا المكافآت البديلة (تشابه CLIP، المكافأة الذاتية، والمكافآت القائمة على المعلم) للحالات التي لا تتوفر فيها مكافآت إدك حقيقية.

3. النتائج التجريبية

3.1 الإعداد التجريبي

أُجريت التجارب على Qwen3-VL-2B و InternVL3.5-2B باستخدام مهام GC و Sudoku. تضمنت مجموعات البيانات 2,000 حالة تدريب SFT و 16,000 حالة تدريب RL لكل مهمة.

3.2 النتائج المتعلقة بـ SFT

• تأكيد التباين: يحسن SFT القياسي دقة الاستدلال بشكل كبير بينما يحقق مكاسب ضئيلة في دقة الإدك.
• التحقق من عدم توازن الرموز: كشف التحليل أن الإدك يشكل حوالي 2.5% فقط من الرموز في مسارات CoT، مما يساهم بنسبة 1.3% فقط من إجمالي الخسارة و8.5% من معيار التدرج.
• فعالية التدخل:
  • زيادة وزن الإدك ($\lambda$) تحسن دقة الإدك ولكنها تخلق مقايضة حيث يضر الوزن المفرط بالاستدلال.
  • التوازن الأمثل: تصل الدقة الشاملة إلى ذروتها عند زيادة وزن الإدك بشكل معتدل.
  • النتائج: أدت إعادة وزن الخسارة إلى تحسين الدقة الشاملة بمقدار 10.0 إلى 13.8 نقطة مقارنة بـ SFT القياسي. وطورت طريقة NGDiff الديناميكية هذه النتائج، حيث حققت مكاسب تصل إلى 18.2 نقطة دون ضبط يدوي للمعلمات الفائقة.

3.3 النتائج المتعلقة بـ RL

• تأكيد التباين: يحسن RL الاستدلال أكثر من الإدك أيضاً.
• رفض عدم توازن الرموز: على عكس SFT، لم يؤدِ إعادة وزن احتمالات الرموز في هدف RL إلى الحد من التباين بل أدى غالباً إلى زعزعة استقرار التدريب. وهذا يشير إلى أن عدد الرموز ليس المحرك الأساسي في RL.
• التحقق من اقتران المكافأة: أظهر تحليل ارتباط بيرسون أن مكافأة النتيجة ترتبط بقوة بالاستدلال ($r \approx 0.65\text{--}1.00$) ولكنها ترتبط بضعف بالإدك ($r \approx 0.34\text{--}0.43$).
• فعالية التدخل:
  • تعزيز المكافأة: أدت إضافة مكافأة الإدك ($\alpha > 0$) إلى تحسين دقة الإدك. وكما في SFT، توجد مقايضة، لكن الأداء الشامل يصل لذروته عند قيمة $\alpha$ غير صفرية.
  • النتائج: حسن تعزيز المكافأة الدقة الشاملة بما يصل إلى 6.0 نقاط فوق RL القياسي.
  • المكافآت البديلة: عندما لم تتوفر مكافآت إدك حقيقية، وفرت المكافآت القائمة على المعلم (باستخدام نموذج أقوى لتوليد $p^*$) الإشارة الأكثر موثوقية، مما حقق تحسناً قدره 3.2 نقطة. أما تشابه CLIP فقد قدم إشارة ضئيلة.

4. المساهمات الرئيسية

1. إطار تشخيصي: تقديم إطار منضبط باستخدام مهام اصطناعية لفصل وتقييم الإدك والاستدلال بشكل مستقل في مرحلة ما بعد التدريب لنماذج VLM.
2. تحديد الآليات: تحديد التباين المستمر بين الإدك والاستدلال عبر كل من SFT و RL، وإرجاعه إلى أسباب متميزة: عدم توازن الرموز في SFT و اقتران المكافأة في RL.
3. تدخلات مستهدفة: إثبات أن التدخلات المدركة للنموذج يمكن أن تعيد توازن هذه المكونات:
   • SFT: إعادة وزن الخسارة (ثابت أو ديناميكي عبر NGDiff).
   • RL: تعزيز المكافأة المدركة للإدك (باستخدام الحقيقة الأرضية أو بدائل موثوقة).
     أدت هذه التدخلات إلى تحسين أداء الاستدلال البصري الشامل بمقدار يصل إلى 18.2 نقطة (SFT) و 6.0 نقاط (RL).

5. الأهمية والادعاءات

تدعي الورقة أن التباين الملحوظ هو نتيجة أساسية لأهداف ما بعد التدريب الافتراضية وليس مجرد سمة خاصة بنموذج معين. ويجادل المؤلفون بأن الاعتماد فقط على أهداف SFT أو RL القياسية غير كافٍ لاستدلال بصري شامل وقوي لأن الإدك يظل هو العائق المهيمن.

تكمن أهمية العمل في توفير استراتيجيات ملموسة وقابلة للتنفيذ للتخفيف من هذا التباين. ومن خلال تشخيص أوضاع الفشل المحددة (ندرة الرموز في SFT، وضعف إشارات المكافأة في RL)، يقترح المؤلفون أن مسارات ما بعد التدريب المستقبلية لنماذج VLM يجب أن تتضمن آليات توازن صريحة — مثل إعادة وزن الخسارة أو المكافآت المدركة للإدك — لإطلاق العنان للإمكانات الكاملة للاستدلال البصري. وتؤكد الدراسة أن هذه التدخلات عملية ويمكن دمجها في المسارات الواقعية كلما توفرت إشرافات الإدك أو الإشارات البديلة.

القيود: يشير المؤلفون إلى أن الدراسة تعتمد على مهام اصطناعية (تلوين الرسم البياني وسودوكو) لعزل المتغيرات. وبينما يحد هذا التجريد من المقارنة المباشرة مع تنوع العالم الحقيقي، إلا أنه ضروري لتحديد الآليات السببية التي تحجبها البيانات المعقدة والغامضة في الواقع. ويُجادل بأن الآليات المقترحة (عدم توازن الرموز واقتران المكافأة) هي خصائص عامة لأهداف ما بعد التدريب، مما يشير إلى إمكانية تطبيق التدخلات خارج الإطار الاصطناعي.