Perturb the Thought, Not the Pixels: Latent-Space Rollout Diversification for Reinforcement Learning of Vision-Language Models
تقدم الورقة البحثية طريقة "التعلم المعزز بتباين الضجيج" (NC-GRPO)، وهي وسيلة تعمل على تنويع مخرجات التعلم المعزز للنماذج اللغوية البصرية عبر حقن ضجيج مُعاير في الفضاء الكامن بدلاً من البكسلات، مما يعزز بشكل كبير القدرة على الاستنتاج خارج النطاق والمتانة ضد الهلوسة مع الحفاظ على حد أدنى من بصمة التنفيذ.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل حاسوباً يمكنه النظر إلى صورة والإجابة على سؤال حولها، أو قراءة مسألة رياضية مكتوبة بالكلمات وحلها. هذه الأنظمة، المعروفة بنماذج الرؤية واللغة، أصبحت قادرة بشكل متزايد، لكنها لا تزال ترتكب الأخطاء. أحياناً، تحصل الإجابة بشكل خاطئ لأنها لا تفكر بعناقة كافية؛ وفي أحيان أخرى، تصرح بثقة بأشياء ليست صحيحة ببساطة، وهي مشكلة تُعرف بالهلوسة. لتعليم هذه النماذج التفكير بشكل أفضل، يستخدم الباحثون طريقة تسمى التعلم المعزز. في هذه العملية، يُطلب من النموذج توليد محاولات عديدة مختلفة لحل مسألة واحدة. إذا كانت بعض المحاولات صحيحة والأخرى خاطئة، يتعلم النموذج تفضيل المسار الناجح. ومع ذلك، لكي يعمل هذا التعلم، يجب أن تكون المحاولات المختلفة مختلفة عن بعضها البعض في الواقع. فإذا كرر النموذج نفس عملية التفكير مراراً وتكراراً، فإنه لا يتعلم شيئاً جديداً.
كان التحدي يكمن في كيفية إجبار النموذج على استكشاف طرق تفكير مختلفة. تقليدياً، حاول الباحثون إحداث تغيير عبر تغيير درجة حرارة عملية اتخاذ القرار لدى الحاسوب، أو عبر تشويه مدخلات الصورة قليلاً، مثل إضافة تشويش إلى صورة فوتوغرافية. وتشير دراسة جديدة أجراها باحثون في "أمازون ويب سيرفيسز" (AWS) إلى أن هذه التغييرات الخارجية قد لا تكون الطريقة الأكثر فعالية لتنويع تفكير النموذج. بدلاً من ذلك، يقترحون أن التباين يجب أن يحدث داخل التمثيل الداخلي للنموذج للمسألة، تماماً في اللحظة التي يبدأ فيها بمعالجة السؤال. ومن خلال حقن كمية ضئيلة ومتحكم بها من الضجيج العشوائي في الحالة الذهنية الخفية للنموذج قبل أن يبدأ في توليد الإجابة، وجدوا أن بإمكانهم خلق مفكر أكثر قوة ودقة.
لقد طور الباحثون تقنية يسمونها "تحسين سياسة المجموعة النسبية المتباينة للضجيج" (Noise-Contrastive Group Relative Policy Optimization). لفهم كيفية عملها، تخيل مجموعة من الطلاب يحاولون جميعاً حل مسألة هندسية واحدة. في جلسة تدريب قياسية، قد يحل كل طالب المسألة بشكل مختلف قليلاً بمحض الصدفة، لكنهم جميعاً يبدأون بنفس الفهم الدقيق للمسألة. في هذا النهج الجديد، يتم إعطاء نصف الطلاب نقطة انطلاق مختلفة قليلاً. يأخذ الباحثون الحالة الداخلية للنموذج — الطريقة التي قام بها بترميز المسألة في "عقله" — ويضيفون صدمة عشوائية صغيرة إليها لنصف المجموعة. هذه الصدمة ليست تغييراً للصورة نفسها، ولا هي تغيير للكلمات الموجودة على الصفحة. إنها تحول دقيق في المنظور الداخلي للنموذج، مثل مطالبة طالب بالنظر إلى المسألة من زاوية مختلفة قليلاً قبل أن يبدأ في الكتابة.
بعد ذلك، يقوم النموذج بتوليد إجابات من هاتين المجموعتين: مجموعة تبدأ من الفهم الطبيعي والنقي، والأخرى تبدأ من هذا الفهم المشوش والمزاح قليلاً. تكمن الرؤية الجوهرية في كيفية تعلم النموذج من النتائج. إذا نجحت المجموعة ذات نقطة البداية المشوشة في الوصول إلى الإجابة الصحيحة، رغم الارتباك الذي أحدثه التشويش في البداية، يتم مكافأة النموذج. أما إذا تسبب الضجيج في خروج النموذج عن المسار وفشله، فيتم معاقبة ذلك المسار. بمرور الوقت، يتعلم النموذج إيجاد حلول متينة للغاية بحيث تعمل حتى عندما تكون نقطة البداية غير مستقرة قليلاً. إنه لا يتعلم الإجابة فحسب، بل يتعلم كيف يكون قوياً ضد الاضطرابات الصغيرة في عملية تفكيره.
كانت نتائج هذه التجربة مذهلة. اختبر الباحثون طريقتهم على نموذج كبير للرؤية واللغة تم تدريبه على مسائل الهندسة. وعندما قارنوا هذه الطريقة الجديدة بالنهج القياسي وبالتقنية القديمة المتمثلة في تشويه الصورة المدخلة، حققت الطريقة الجديدة نتائج أفضل بكert بشكل ملحوظ في المسائل الرياضية الصعبة وغير المرئية سابقاً. أصبح النموذج أفضل في حل المسائل التي لم يرها من قبل، وهي قدرة تُعرف بالاستدلال خارج النطاق (out-of-domain reasoning). وربما كان الأمر الأكثر إثارة للدهشة هو أنه أصبح أفضل أيضاً في تجنب الهلوسة. فبينما ساعدت الطريقة القديمة المتمثلة في تشويه الصور النموذج على رؤية التفاصيل البصرية بوضوح أكبر، إلا أنها جعلته أحياناً أسوأ في الالتزام بالحقائق. في المقابل، حسنت الطريقة الجديدة كلاً من استدلال النموذج وصدقه في آن واحد.
استكشفت الدراسة أيضاً ما الذي يجعل هذه التقنية تعمل بالضبط. اختبر الباحثون ما إذا كانت الفائدة تأتي من اتجاه الضجيج المحدد أم من مجرد كون الضجيج عشوائياً. ووجدوا أن الاتجاه لم يكن مهماً. وسواء دفع الضجيج تفكير النموذج في اتجاه واحد أو آخر، فإن العامل الحاسم كان ببساطة أن كل محاولة بدأت من وجهة نظر فريدة ومستقلة. كما اكتشفوا أن حجم الضجيج يعمل مثل "مفتاح التحكم"؛ حيث أدى قدر ضئيل من الضجيج إلى تحسين استدلال النموذج دون الإضرار بقدراته العامة، ولكن الكثير من الضجيج بدأ يؤدي إلى تدهور أدائه العام. وهذا يشير إلى وجود "نقطة مثالية" يصبح فيها النموذج متخصصاً أفضل في الاستدلال دون أن يفقد معرفته العامة.
إن أحد أهم النتائج هو أن هذه الطريقة تعمل عن طريق تغيير الحالة الداخلية للنموذج، وليس عن طريق تغيير الصورة أو النص. وهذا يعني أنه يمكن تطبيق هذه التقنية على أي نوع من النماذج التي تعالج المعلومات، وليس فقط تلك التي تنظر إلى الصور. وقد أظهر الباحثون أن الطريقة فعالة، حيث تتطلب تغييراً طفيفاً فقط في البرمجيات التي تشغل النموذج، ولا تؤدي إلى إبطاء عملية توليد الإجابات. ومن خلال التركيز على اللحظة التي يبدأ فيها النموذج بالتفكير، بدلاً من البيانات التي يتلقاها، وجدوا طريقة تجعل استدلال النموذج أكثر موثوقية وأقل عرضة للخطأ.
كما بحثت الدراسة فيما إذا كان هذا النهج يعمل مع نماذج ذات أحجام مختلفة. عندما جربوا نفس التقنية على نسخة أصغر من النموذج، اختفت الفوائد. لم يتحسن النموذج الصغير في الاستدلال، ولم يصبح أسوأ؛ بل لم يتغير ببساطة. وهذا يشير إلى أن التقنية تتطلب مستوى معيناً من التعقيد في النموذج لتكون فعالة. إنها ليست خدعة سحرية تعمل على أي حاسوب، بل هي أداة محددة تساعد الأنظمة الأكبر والأكثر قدرة على صقل تفكيرها. ويشير الباحثون بحذر إلى أنه بينما تبدو النتائج واعدة، فقد اختبروها فقط على عائلة واحدة من النماذج حتى الآن، وهناك حاجة لمزيد من العمل لمعرفة ما إذا كانت ستعمل مع نماذج أخرى.
في نهاية المطاف، تقدم هذه الأبحاث طريقة جديدة للتفكير في كيفية تدريب الذكاء الاصطنا artificial intelligence. فبدلاً من محاولة جعل بيانات المدخلات أكثر تنوعاً أو جعل عملية اتخاذ القرار أكثر فوضوية، وجد الباحثون أن اضطراباً داخلياً دقيقاً يمكن أن يؤدي إلى نتيجة أكثر استقراراً وذكاءً. ومن خلال تعليم النموذج النجاح حتى عندما تكون نقطة بدايته مختلة قليلاً، فقد خلقوا نظاماً أقل عرضة للخداع من قبل شكوكه الخاصة. هذا النهج لا يجعل النموذج أكثر ذكاءً في الرياضيات فحسب، بل يجعله أكثر موثوقية، وقادراً على التمييز بين الإجابة الصلبة والتخمين الواثق. ومع ازدياد دمج هذه الأنظمة في حياتنا اليومية، فإن إيجاد طرق لجعلها أكثر قوة وأقل عرضة للخطأ أمر ضروري، وتوفر هذه الدراسة مساراً واضحاً لتحقيق هذا الهدف.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.