💻 computer science

Vision-EKIPL: External Knowledge-Infused Policy Learning for Visual Reasoning

تقترح الورقة البحثية Vision-EKIPL، وهو إطار عمل جديد للتعلم التعزيزي يعزز قدرات الاستدلال البصري للنماذج اللغوية الكبيرة متعددة الوسائط من خلال ضخ إجراءات عالية الجودة من نماذج مساعدة خارجية أثناء التدريب، مما يؤدي إلى توسيع فضاء الاستكشاف، وتسريع التقارب، وتحقيق تحسن في الأداء يصل إلى 5% مقارنة بأحدث الأساليب المتبعة.

المؤلفون الأصليون: Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

نُشر 2026-05-07

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب ذكي جداً (نموذج السياسة - Policy Model) كيفية حل الألغاز البصرية المعقدة، مثل عدّ الأشياء في مشهد ثلاثي الأبعاد أو فهم كيفية تحرك الأشكال.

المشكلة: فخ "غرفة الصدى"

تقليدياً، عندما ندرب هؤلاء الطلاب باستخدام طريقة تسمى التعلم التعزيزي (Reinforcement Learning - RL)، نطلب منهم توليد مجموعة من الإجابات بأنفسهم، ثم نكافئ الإجابات الجيدة ونعاقب السيئة منها.

تجادل الورقة البحثية بأن هذا يشبه طلب دراسة الطالب للاختبار عن طريق قراءة ملاحظاته الخاصة فقط؛ فقد يصبح أفضل في تكرار ما يعرفه بالفعل، لكنه سيصطدم بـ "سقف" لا يمكن تجاوزه. لن يتمكن من اكتشاف طرق جديدة وذكية لحل المشكلات لأنه عالق في غرفة صدى، حيث يكتفي فقط بأخذ عينات من أفكاره المحدودة. هذا يجعل التدريب بطيئاً ويحد من مدى الذكاء الذي يمكن أن يصل إليه في النهاب.

الحل: Vision-EKIPL (نهج "لجنة الخبراء")

يقترح المؤلفون إطار عمل جديداً يسمى Vision-EKIPL. فكر في هذا كتوظيف لجنة من الخبراء الخارجيين (مثل GPT-4 أو Gemini) لمساعدة الطالب على الدراسة.

إليك كيف يعمل الأمر، خطوة بخطوة:

جلسة الدراسة الجماعية: بدلاً من قيام الطالب بتوليد الإجابات بمفرده، يقوم النظام بجمع مجموعة من الإجابات المحتملة من مصدرين:
- محاولات الطالب الخاصة.
- إجابات عالية الجودة يولدها "الخبراء الخارجيون" (النماذج المساعدة).
التصحيح: يقوم معلم (دالة المكافأة) بتصحيح كل هذه الإجابات. هل عدّ الطالب الكرات بشكل صحيح؟ هل استخدم التنسيق الصحيح؟
الاختيار: يختار النظام أفضل الإجابات أداءً من هذه المجموعة المختلطة. ومن الأهمية بمكان أنه إذا وجد نموذج خبير حلاً ذكياً فات على الطالب، فسيتم تضمين هذا الحل ضمن "أفضل الاختيارات".
الدرس: يتعلم الطالب من هذه المجموعة التي تمثل "الأفضل من بين الأفضل". فهو لا يتعلم فقط من أخطائه، بل يتم حقنه بـ المعرفة واستراتيجيات الاستنتاج الخاصة بالخبراء.

التشبيه: لاعب الشطرنج

تخيل لاعب شطرنج يحاول أن يصبح أفضل:

الطريقة القديمة (التعلم التعزيزي القياسي): يلعب اللاعب 100 مباراة ضد نفسه، يفوز في بعضها، ويحاول معرفة ما فعله بشكل صحيح. قد يظل عالقاً في لعب نفس الحركات الآمنة والمملة لأنه لم يرَ أبداً حركة جريئة وذكية كان من شأنها أن تفوز باللعبة.
Vision-EKIPL: يلعب اللاعب 10 مباريات ضد نفسه، ولكنه يحصل أيضاً على فرصة لمشاهدة 10 مباريات لعبها أساطير اللعبة (Grandmasters). يختار النظام أفضل الحركات من كلا اللاعب والأساتذة. ثم يدرس اللاعب هذه الحركات الفضلى؛ فهو لا يتعلم أسلوبه الخاص فحسب، بل يتعلم الاستراتيجيات المعقدة والبراعة التي يمتلكها الخبراء، مما يدفع سقف مهارته إلى مستويات أعلى بكثير.

ما وجدته الورقة البحثية

اختبر المؤلفون هذه الطريقة على مهام الاستنتاج البصري (مثل عد الأشياء، فهم الهندسة، وتتبع الأشكال المتحركة). ووجدوا ما يلي:

نتائج أذكى: النموذج الذي تم تدريبه باستخدام Vision-EKIPL حل الألغاز بشكل أفضل من النماذج المدربة بالطرق القياسية، متفوقاً على "أحدث التقنيات" السابقة بنسبة 5% تقريباً.
تعلم أسرع: نظرًا لأن النموذج "يرى" الإجابات الجيدة من الخبراء منذ البداية، فإنه لا يضطر لإضاعة الوقت في التخمين؛ فهو يتعلم بشكل أسرع ويصل إلى مرحلة الاستقرار (التقارب) بكفاءة أكبر.
كسر السقف: الاكتشاف الأهم هو أن هذه الطريقة وسعت حدود الاستنتاج لدى النموذج. فبينما جعلت طرق التعلم التعزيزي القياسية النماذج أحياناً أقل إبداعاً (بالتمسك فقط بالمسارات الآمنة والمعروفة)، ساعدت Vision-EKIPL النموذج على اكتشاف طرق جديدة ومعقدة لحل المشكلات لم يكن قادراً على إيجادها بمفرده.

باختصار

Vision-EKIPL هي طريقة تدريب تمنع نماذج الذكاء الاصطناعي من التعلم في معزل عن العالم. فمن خلال دمج أفكارهم الخاصة مع الأفكار عالية الجودة من نماذج الذكاء الاصطناعي "الخبيرة"، فإنها تعلمهم التفكير بعمق أكبر، وحل الألغاز البصرية الأكثر صعوبة، والتعلم بسرعة أكبر بكثير.

ملخص تقني: Vision-EKIPL

بيان المشكلة

يُعد الاستدلال البصري قدرة معرفية بالغة الأهمية للذكاء الاصطالـعام (AGI)، وهو أمر ضروري لتطبيقات تتراوح من الملاحة الذاتية إلى فهم المشاهد. وبينما حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تقدماً من خلال الضبط الدقيق الخاضع للإشراف (SFT) والتعلم التعزيزي (RL)، فإن الأساليب الحالية القائمة على التعلم التعزيزي (مثل تحسين السياسة النسبي للمجموعات أو GRPO) تواجه قيوداً كبيرة. وتحديداً، تقوم هذه الطرق بأخذ عينات من مجموعات الأفعال من نموذج السياسة نفسه فقط. هذا أخذ العينات ذاتي المرجعية يحد من مساحة الاستكشاف الخاصة بالنموذج لتقتصر على قدراته المتأصلة، مما قد يؤدي إلى "حد استدلالي" لا يتوسع خارج النموذج التأسيسي المدرب مسبقاً. علاوة على ذلك، غالباً ما تعاني أساليب التعلم التعزيزي الحالية من بطء معدلات التقارب وانخفاض كفاءة التدريب، لأنها تعتمد على النموذج لاكتشاف مسارات استدلال معقدة دون توجيه خارجي.

المنهجية: Vision-EKIPL

لمعالجة هذه القيود، يقترح المؤلفون Vision-EKIPL (تعلم السياسة المعزز بالمعرفة الخارجية)، وهو إطار عمل جديد للتعلم التعزيزي يدمج الأفعال عالية الجودة من نماذج مساعدة خارجية في عملية تحسين السياسة.

الإطار الأساسي

يعمل الإطار على مبدأ ضخ المعرفة الخارجية أثناء حلقة تدريب التعلم التعزيزي لتوجيه نموذج السياسة ( $\pi_\theta$ ). وتتضمن العملية الخطوات التالية:

أخذ عينات الأفعال من مصادر متعددة:
على عكس GRPO التقليدي الذي يأخذ عينات من الأفعال من السياسة الحالية فقط، يقوم Vision-EKIPL بأخذ عينات من مجموعة أفعال مشتركة $O$ من:

نموذج السياسة الحالي $\pi_\theta$ .
$M$ من النماذج المساعدة الخارجية (مثل GPT-4o، وGemini-1.5-Pro)، ويُرمز لها بـ $\pi_{\phi_j}$ .

لكل حالة $s = (x, q)$ (الترميز البصري والسؤال)، يقوم النظام بأخذ عينات من $N$ من الأفعال من السياسة ومن $N$ من الأفعال من كل نموذج من النماذج المساعدة $M$ .

حساب المكافأة:
يتم تقييم جميع الأفعال المأخوذة باستخدام دالة مكافأة $R(o_i)$ تتكون من مكونين:

مكافأة التنسيق ( $R_{format}$ ): تضمن التزام المخرجات بتنسيق مهيكل (على سبيل المثال، الاستدلال داخل وسوم <thought> والإجابات داخل وسوم <answer>).
مكافأة الدقة ( $R_{acc}$ ): تمنح مكافأة إيجابية إذا كانت الإجابة النهائية صحيحة، وإلا تكون صفرية.

اختيار الأفعال عالية الجودة:
يتم فرز مجموعة الأفعال المشتركة حسب قيم المكافأة. يتم اختيار أفضل $G$ من الأفعال لتشكيل مجموعة أفعال عالية الجودة $T$ . تعمل هذه المجموعة كقاعدة معرفة "الخبراء" لخطوة التدريب الحالية.
تحسين السياسة (GRPO):
يتم تحديث نموذج السياسة باستخدام خوارزمية تحسين السياسة النسبي للمجموعات (GRPO). يتم حساب درجة الميزة $A_i$ لكل فعل في المجموعة المختارة بالنسبة للمتوسط والانحراف المعياري لمكافآت المجموعة. يتم تحديث معاملات السياسة $\theta$ لتعظيم الميزة المتوقعة مع الحفاظ على عقوبة تباعد كاي إل (KL divergence) للبقاء قريباً من التوزيع المرجعي.

التطور الديناميكي

تشير الورقة البحثية إلى وجود تحول ديناميكي في مصدر الأفعال أثناء التدريب. في البداية، يعتمد نموذج السياسة بشكل كبير على الأفعال من النماذج الخارجية لأن قدراته الاستدلالية تكون أضعف. ومع تقدم التدريب وتحسن نموذج السياسة، تزدل نسبة الأفعال المختارة من نموذج السياسة نفسه، مما يسمح له بالاستفادة من استراتيجياته المتعلمة مع الاستمرار في الاستفادة من التوجيه الخارجي الأولي.

المساهمات الرئيسية

إطار عمل جديد للتعلم التعزيزي: اقتراح Vision-EKIPL، وهو أول طريقة تستفيد من الأفعال عالية الجودة من النماذج المساعدة الخارجية لتوجيه تحسين نموذج السياسة في الاستدلال البصري.
توسيع حد الاستدلال: إثبات أن دمج الأفعال الخارجية يوسع مساحة استكشاف الأفعال لنموذج السياسة بشكل فعال، مما يسمه باكتشاف مسارات استدلال قد يغفل عنها نموذج سياسة واحد، وبالتالي توسيع الحد الاستدلالي.
تعزيز الكفاءة والأداء: التحقق من خلال تجارب واسعة النطاق من أن إطار العمل يحسن بشكل كبير سرعة تقارب التدريب وأداء الاستدلال العام مقارنة بالأساليب الرائدة (SOTA).

النتائج التجريبية

قام المؤلفون بتقييم Vision-EKIPL على معيار Reason-RFT-CoT، والذي يغطي ثلاث فئات من المهام: العد البصري، وإدراك الهياكل، والتحويل المكاني.

مكاسب الأداء: حقق Vision-EKIPL تحسناً في الأداء يصل إلى 5% مقارنة بالأساليب الرائدة (SOTA) في المعيار.
نتائج النطاق الداخلي (ID):
- في مهمة العد البصري، تفوقت أساليب التعلم التعزيزي (بما في ذلك Vision-EKIPL) باستمرار على أساليب الضبط الدقيق الخاضع للإشراف (SFT) والنماذج المرجعية عبر مقاييس 2B و7B من المعلمات.
- في التحويل المكاني، حقق Vision-EKIPL أعلى أداء، متفوقاً على جميع النماذج المرجعية، بما في ذلك النماذج المملوكة مثل GPT-4o وGemini-1.5-Pro في مقاييس تعميم محددة خارج النطاق.
التعميم خارج النطاق (OOD):
- أظهر Vision-EKIPL تعميماً فائقاً مقارنة بأساليب SFT. على سبيل المثال، في نموذج 7B، تفوق على ANS-SFT بنسبة 19% في العد البصري.
- في التحويل المكاني، تجاوز نموذج Vision-EKIPL بحجم 2B نموذج GPT-4o بنسبة 34% ونموذج Gemini-1.5-Pro بنسبة 47% في مهام خارج النطاق.
كفاءة التدريب:
- أظهر Vision-EKIPL كفاءة عالية في البيانات، حيث حقق أداء Reason-RFT باستخدام 12% إلى 25% فقط من البيانات المطلوبة للنموذج المرجعي.
تحليل حد الاستدلال:
- كشف تحليل Pass@K أنه بينما تراجع التعلم التعزيزي التقليدي (Reason-RFT) في النهاية خلف النموذج الأساسي مع زيادة قيمة $K$ (مما يشير إلى الإفراط في استغلال المسارات المعروفة)، حافظ Vision-EKIPL على أداء متفوق عبر جميع قيم $K$ ، مما يؤكد قدرته على دفع الحدود الاستدلالية.

الأهمية والادعاءات

تزعم الورقة البحثية أن Vision-EKIPL يقدم نموذجاً فعالاً جديداً لأبحاث الاستدلال البصري من خلال التغلب على القيود المتأصلة في أساليب التعلم التعزيزي التقليدية. ومن خلال معاملة النماذج الخارجية كـ "خبراء" يوفرون أهداف إشراف مستخلصة، يُمكّن إطار العمل نموذج السياسة من تعلم استراتيجيات استدلال متنوعة وجديدة كان من الصرع الوصول إليها من خلال أخذ العينات الذاتية وحدها.

يضع المؤلفون هذا النهج كنموذج هجين يجمع بين عناصر الضبط الدقيق الخاضع للإشراف (عبر استخلاص المعرفة من الأفعال الخارجية) والتعلم التعزيزي. ويؤكدون أن هذه الطريقة لا تعزز أداء الاستدلال البصري للنماذج اللغوية الكبيرة متعددة الوسائط فحسب، بل تسرع أيضاً بشكل كبير من تقارب التدريب. وبينما يتركز التحقق الأساسي على مهام الاستدلال البصري، يشير المؤلفون إلى أن إطار العمل يمتلك عمومية ويمكن نظرياً تطبيقه على المهام اللغوية والمهام متعددة الوسائط الأخرى.