ملخص تقني: تحسين التفضيل المعزز بالمعرفة (KEPO) للاستدلال متعدد الوسائط

1. بيان المشكلة

برز التعلم التعزيزي (RL) كنموذج أساسي لاستحثاث سلوكيات استدلال صريحة في النماذج اللغوية البصرية الكبيرة متعددة الوسائط (VLMs). ومع ذلك، فإن تطبيق التعلم التعزيزي على المهام التي تتطلب استدلالاً مكثفاً، لا سيما في المجالات عالية المخاطر مثل الرعاية الصحية، يواجه نمطي فشل جوهريين:

1. المكافأة المتفرقة والتعيين الغامض للائتمان (Sparse Reward and Ambiguous Credit Assignment): تعتمد معظم الطرق الحالية على مكافآت متفرقة على مستوى المسار (على سبيل المثال، صحيح/خاطئ ثنائي). في سياق الاستدلال طويل المدى، يمكن لخطأ محلي واحد أن يبطل سلسلة من الأفكال (Chain of Thought) كانت متماسكة في الأصل. يؤدي هذا التفرق إلى تعيين ائتماني غامض، حيث لا يستطيع النموذج التمييز بين الخطوات الوسيطة التي ساهمت في النتيجة النهائية، مما يؤدي إلى تقديرات تباين عالية وعمليات تحسين غير مستقرة.
2. انهيار الاستكشاف (منحدر التعلم - The "Learning Cliff"): في ظل التعلم التعزيزي القياسي القائم على السياسة (On-policy RL)، غالباً ما يفشل الاستكشاف الساذج في توليد أي مسارات تحمل مكافأة عندما تكون المكافآات نادرة أو ثنائية. يؤدي هذا إلى وقوع النموذج في نظام "منحدر التعلم" حيث لا يتلقى النموذج أي إشارات معلوماتية للتحسين، خاصة في البيئات المعقدة متعددة الوسائط حيث يمكن أن تنجم الأخطاء عن كل من الإدراك البصري وتوليد اللغة.

أظهرت المحاولات الأخيرة للتخفيف من حدة المكافآت المتفرقة باستخدام تقطير المعرفة القائم على السياسة (On-policy knowledge distillation) (عن طريق الاستفيد من نموذج معلم قوي لتوفير إشراف كثيف على مستوى الرمز/الـ token) نتائج واعدة. ومع ذلك، فإن هذه الطرق تطبق التقطير عادةً بشكل موحد عبر جميع المسارات المولدة. ويرى المؤلفون أن هذا لا يتناسب مع مهام الاستدلال: فالمسارات منخفضة الجودة غالباً ما تنشأ عن أخطاء منطقية مبكرة أو هلوسات. إن تقطير هذه المسارات المعيبة يجبر الطالب على محاكاة توزيع المعلم المشروط بسياق غير صحيح، مما يؤدي إلى حقن تدرجات ضوضائية وغير متوافقة تعيق عملية التعلم.

2. المنهجية: KEPO

لمعالجة هذه التحديات، يقترح المؤلفون تحسين التفضيل المعزز بالمعرفة (KEPO)، وهو إطار عمل موحد لما بعد التدريب يدمج مكونين مرتبطين ارتباطاً وثيقاً: التقطير القائم على السياسة والمحكوم بالجودة والاستكشاف المعزز بالمعرفة.

2.1 التقطير القائم على السياسة والمحكوم بالجودة

يقوم KEPO بتعديل هدف التعلم التعزيزي القياسي عبر إدخال حد إشراف كثيف من المعلم يتم تفعيله انتقائياً بناءً على جودة المسار.

• الآلية: بدلاً من تقطير جميع المسارات التي يولدها الطالب، تستخدم الطريقة عتبة قائمة على المكافأة ($\tau$). يتم حساب خسارة التقطير فقط للمسارات التي تكون فيها المكافأة $r_i \geq \tau$.
• المنطق: يضمن هذا أن إرشاد المعلم الكثيف يتوافق مع هدف التعلم التعزيزي. فهو يمنع الطالب من التعلم من "السياقات المعيبة" حيث انكسرت سلسلة الاستدلال بالفعل.
• دالة الهدف: تجمع دالة KEPO ($J_{KEPO}$) بين:
  1. حد تحسين التفضيل الموزون بالميزة (الذي يدفع التحسين بناءً على جودة المسار النسبية).
  2. حد التقطير المحكوم بالجودة ($I_{r_i \geq \tau} D(\pi_T \parallel \pi_\theta)$) الذي يوفر إشرافاً كثيفاً فقط على المسارات المتوافقة مع المكافأة.
  3. حد تنظيم KL لتقييد تحديثات السياسة.

2.2 الاستكشاف المعزز بالمعرفة عبر أخذ العينات بالرفض المدرك للتلميح

لمعالحة "منحدر التعلم" حيث يفشل الاستكشاف الساذج في إيجاد مسارات تحمل مكافأة، يقدم KEPO آلية استكشاف تكيفية.

• المحفز: أثناء التدريب، إذا أدت عملية توليد المسارات (rollout) القياسية لعدد $G$ من المسارات إلى صفر مكافآت (أي أن $\max r(y_i) = 0$)، يتم تفعيل آلية الاستكشاف.
• تلميحات موجهة من المعلم: يقوم نموذج المعلم ($\pi_T$) بتوليد تلميح استدلال ($h$) مشروط بالمدخل ($x$) والإجابة الصحيحة ($y$). ملاحظة: تُستخدم الإجابة الصحيحة فقط كمعلومات مميزةة خلال مرحلة استعادة الفشل أثناء التدريب، ولا تُستخدم أبداً عند الاستنتاج.
• أخذ العينات المدرك للتلميح: تقوم سياسة معززة ذاتياً ($\pi_E$)، تشترك في المعلمات مع الطالب ولكنها مشروطة بالتلميح $h$ والإجابة المميزة، بتوليد مسار مقترح.
• أخذ العينات بالرفض: يتم قبول المقترح فقط إذا حقق مكافأة إيجابية. وإذا لم يحدث ذلك، تُكرر عملية أخذ العينات حتى الوصول إلى ميزانية $B$.
• الحقن: يتم حقن المسارات المقبولة والمدركة للتلميح في مخزن المسارات (rollout buffer) ويتم تحسينها بشكل مشترك مع المسارات القياسية القائمة على السياسة. يسمح هذا للسياسة بالهروب من منحدر التعلم دون الاعتماد على إشراف ثابت خارج الخط (offline).

3. المساهمات الرئيسية

تحدد الورقة أربع مساهمات رئيسية:

1. إطار عمل KEPO: إطار عمل موحد لما بعد التدريب يدمج إشراف المعلم المحكوم بالجودة مع الاستكشاف التكيفي لتعزيز التعلم التعزيزي لنماذج VLMs متعددة الوسائط.
2. تحديد أنماط الفشل: حدد المؤلفون وعالجوا نمطي فشل محددين في التعلم التعزيزي الموجه للاستدلال: (أ) الضوضاء السياقية الناتجة عن التقطير الموحد للمسارات المعيبة، و(ب) ركود الاستكشاف تحت المكافآت المتفرقة. وأثبتوا أن الحجب الانتقائي والحقن المدرك للتلميح هما مفتاح حل هذه المشكلات.
3. التقييم المرجعي التجريبي: تجسد العمل أطر عمل التقطير الحديثة القائمة على السياسة (تحديداً MM-GKD) في بيئة لغوية بصرية متعددة الوسائط لتوفير أساس مبدئي لمقارنة نهج التقطير والنهج القائم على التعلم التعزيزي في مرحلة ما بعد التدريب.
4. التحقق التجريبي: أظهرت التجارب الواسعة على معيار (benchmark) طبي منخفض الموارد ومصدر واحد لأسئلة وأجوبة الصور (VQA) أن KEPO يحقق استدلالاً قوياً وتعميماً فائقاً خارج النطاق (OOD) مقارنة بالنماذج المرجعية القوية.

4. النتائج التجريبية

قيم المؤلفون KEPO على OmniMedVQA، وهو معيار طبي لأسئلة وأجوبة الصور يغطي ثمانية أنماط تصويرية.

• الإعداد: تم تدريب النماذج فقط على بيانات الرنين المغناطيسي (MRI) (داخل النطاق - In-Domain) واختبارها على الرنين المغناطيسي بالإضافة إلى سبعة أنماط أخرى (الأشعة المقطعية، الأشعة السينية، الموجات فوق الصوتية، طب الجلد، فحص قاع العين، التصوير المقطعي المتماسك البصري OCT، والمجهر) كاختبارات خارج النطاق (OOD). هذا يعزل قدرات التعميم عبر الأنماط.
• النماذج المرجعية: تشمل المقارنات نماذج VLMs عامة (Qwen3-VL)، ونماذج VLMs طبية متخصصة (HuatuoGPT)، وطرق ما بعد التدريب القياسية (SFT, GRPO, MM-DAPO)، ونماذج تقطير متعددة الوسائط قائمة على السياسة (MM-GKD).
• الأداء:
  • حقق KEPO أعلى متوسط دقة (80.25%) وأعلى متوسط دقة خارج النطاق (78.00%) بين جميع الطرق المقارنة.
  • تفوق بشكل كبير على GRPO ونماذج التقطير الموحد القائمة على السياسة، خاصة في حالة OOD.
  • دراسات الاستئصال (Ablation Studies): أدى إزالة مكون الاستكشاف (KEPO-KE) إلى تقليل دقة OOD، مما يؤكد قيمة الاستكشاف الموجه. كما أدى إزالة بوابة الجودة ($\tau=0$) أيضاً إلى تدهور الأداء مقارنة بالنسخة المحكومة بالجودة ($\tau=1$)، مما يثبت أن تقييد التقطير بالمسارات عالية الجودة يمنع حقن التدرجات الضوضائية.
  • ديناميكيات التدريب: أظهر KEPO سرعة أكبر في التقارب واستقراراً أعلى من GRPO، خاصة في المراحل الأولى من التدريب حيث تسبب المكافآت المتفرقة عادةً حالة من الركود.

5. الأهمية والادعاءات

تدعي الورقة أن KEPO يوفر إطار عمل مبدئي لدمج إرشاد المعلم الكثيف في التدريب التعزيزي لما بعد التدريب. وتكمن أهميته في:

• حل "منحدر التعلم": من خلال توجيه الاستكشاف بنشاط نحو المسارات المعلوماتية عندما يفشل أخذ العينات الساذج، يمكّن KEPO النموذج من التعلم في الأنظمة التي قد يتوقف فيها التعلم التعزيزي القياسي.
• استقرار الاستدلال: من خلال تصفية المسارات منخفضة الجودة للتقطير، يتجنب KEPO حقن التدرجات الضوضائية التي تعاني منها مهام الاستدلال عادةً، مما يسمح بالظهور المستقر لسلوكيات سلسلة الأفكار المتماسكة.
• التعميم: يتيح إطار العمل للنماذج تعلم أنماط استدلال قابلة للنقل يمكن تعميمها عبر الأنماط المختلفة، حتى عند التدريب على نمط واحد فقط وببيانات محدودة.

يضع المؤلفون KEPO ليس كبديل للتعلم التعزيزي، بل كتعزيز مهيكل يستفيد من نماذج المعلم ديناميكياً لتوجيه الاستكشاف وتوفيد تعيين ائتماني كثيف تحديداً عندما تفشل آليات السياسة القياسية.