Boosting Reasoning in Large Multimodal Models via Activation Replay
تقترح هذه الورقة "إعادة تشغيل التنشيط" (Activation Replay)، وهي طريقة لا تتطلب تدريباً تعمل على تعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة متعددة الوسائط المدربة باستخدام التعلم المعزز بالمكافآت القابلة للتحقق (RLVR)، وذلك من خلال التلاعب بالرموز المرئية لإعادة تشغيل تنشيطات منخفضة الإنتروبيا من النماذج الأساسية، مما يؤدي إلى تحسين الأداء عبر مهام متنوعة دون الحاجة إلى تحسين السياسة المكلف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، ظهر جيل جديد من أنظمة الكمبيوتر التي يمكنها رؤية وفهم العالم تماماً كما يفعل البشر. هذه النماذج الضخمة متعددة الوسائط يمكنها النظر إلى صورة فوتوغرافية، أو مشاهدة فيديو، أو قراءة مخطط، ومن ثم الإجابة على الأسئلة أو حل المشكلات بناءً على ما تراه. لسنوات طويلة، حاول الباحثون تعليم هذه الأنظمة التفكير بعمق أكبر، والانتقال من مجرد مطابقة الأنماط البسيطة إلى التفكير المنطقي الحقيقي. وتتضمن إحدى الطرق الشائعة للقيام بذلك تقنية تدريب يتم فيها مكافأة الكمبيوتر فقط عندما يستطيع إثبات صحة إجابته من خلال شرح طويل وخطوة بخوة. لقد شجع هذا النهج هذه النماذج بنجاح على التوقف والتفكير قبل أن تتحدث، مما أدى إلى نتائج مبهرة في الرياضيات والألغاز المنطقية. ومع ذلك، وبينما النتائج مرئية، تظل الآليات الداخلية لكيفية تغيير هذا التدريب لعقل النموذج لغزاً. لم يفهم العلماء تماماً كيف يغير التدريب طريقة معالجة النموذج للمعلومات، لا سيما عندما ينظر إلى صورة لأول مرة.
لقد وضع فريق من الباحثين هدفاً للكشف عن هذه التغييرات الخفية من خلال النظر داخل طبقات المعالجة الخاصة بالنموذج أثناء حله للمشكلات. واكتشفوا أن طريقة التدريب، رغم فعاليتها، تُزيح بؤرة تركيز النموذج الداخلية بطريقة محددة وغير متوقعة. فعندما يتم تدريب النموذج على التحقق من إجاباته، فإن الأجزاء من نظامه الداخلي التي عادة ما تكون واثقة وواضحة جداً تصبح مرتبكة أو متغيرة قليلاً. وفي المقابل، تظل الأجزاء من النظام التي تكون غير متأكدة بطبيعتها أو تستكشف احتمالات مختلفة دون تغيير كبير. وجد الباحثون أن هذا التحول المحدد في الأجزاء الواثقة من النموذج كان في الواقع يعيق قدرته على التفكير بشكل صحيح. كان الأمر كما لو أن التدريب قد تسبب بالخطأ في تشويش أكثر الإشارات موثوقية التي يستخدمها النموذج لفهم العالم المرئي، مما أجبره على الاعتماد على مسارات أقل يقيناً للوصول إلى استنتاج.
ولإصلاح ذلك، طور الفريق طريقة جديدة بسيطة تسمى "إعادة تشغيل التنشيط" (Activation Replay). فبدلاً من إعادة تدريب النموذج بأكمله، وهو أمر سيكون مكلفاً للغاية ويستغرق وقتاً طويلاً، وجدوا طريقة لدفع النموذج بلطف للعودة إلى حالته الأصلية الأكثر وضوحاً في اللحظة التي يحل فيها مشكلة ما. فعندما يُعرض على النموذج صورة، يقوم الباحثون بتعديل الإشارات الداخلية القادمة من الأجزاء المرئية للنظام مؤقتاً. وهم يفعلون ذلك عبر استعارة الإشارات الواضحة والواثقة من نسخة النموذج الأصلية غير المدربة وإعادة تشغيلها في النسخة المدربة. تعمل هذه العملية كآلية تصحيح، مما يضمن بقاء فهم النموذج الأولي للصورة حاداً وموثوقاً قبل أن يبدأ في سلسلة تفكيره الطويلة. وقد اختبر الباحثون هذا النهج في مهام معقدة مختلفة، بما في ذلك حل مسائل الهندسة، والتنقل في صور عالية الدقة للعثور على أشياء محددة، والتفكير في تسلسل الأحداث في مقاطع الفيديو.
أظهرت النتائج أن هذا التعديل البسيط حسن باستمرار أداء النموذج عبر كل هذه السيناريوهات المختلفة. فمن خلال استعادة وضوح الإشارات المرئية الأولية، تمكن النموذج من حل مشكلات كان قد فاتته سابقاً وتجنب الأخطاء في منطقه المتسلسل. وفي اختبار محدد يتعلق بمسألة رياضية حول سلك تم تشكيله على هيئة دائرة ثم شبه منحرف، ارتكب النموذج المدرب خطأً في خطواته المتوسطة، مما أدى إلى إجابة خاطئة. ومع الطريقة الجديدة، صحح النموذج مسار تفكيره الداخلي ووصل إلى الحل الصحيح. كما وجد الباحثون أن هذا النهج ساعد النموذج على توليد مجموعة متنوعة من الإجابات الصحيحة عند إعطائه محاولات متعددة، مما يشير إلى أنه لم يكن يحفظ مساراً واحداً فحسب، بل كان يفهم المشكلة بشكل أفضل حقاً. ويشير هذا العمل إلى أن مفتاح التفكير الأفضل في هذه الأنظمة المتقدمة قد لا يكون دائماً تدريباً أكثر تعقيداً، بل في الحفاظ على وضوح إدراك النموذج الأولي للعالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.