ملخص تقني: SSL4RL

بيان المشكلة

أظهرت نماذج الرؤية واللغة (VLMs) قدرات كبيرة من خلال دمج النماذج اللغوية الكبيرة (LLMs) مع المدخلات البصرية. ومع ذلك، فهي تعاني بشكل متكرر من نقطتي ضعف حرجتين:

1. الافتقار إلى التأسيس البصري (Visual Grounding): في المهام التي تركز على الرؤية (مثل التصنيف)، غالبًا ما تعتمد نماذج الرؤية واللغة على الأولويات اللغوية بدلاً من الأدلة البصرية، مما يجعلها تتخلف عن النماذج البصرية المتخصصة.
2. الاختصارات النصية: في مهام الاستدلال القائم على الرؤية واللغة، تميل نماذج الرؤية واللغة إلى استغلال المعرفة النصية بدلاً من تأسيس استدلالها في البيانات البصرية، وهو توجه يتفاقم في عمليات التوليد طويلة المدى.

بينما برز التعلم التعزيزي (RL) كنموذج مهيمن لمواءمة النماذج الكبيرة، فإن تطبيقه على نماذج الرؤية واللغة يعوقه نقص آليات المكافأة القابلة للتوسع والموثوقة. تعتمد النهج الحالية غالبًا على بيانات التفضيل البشري (RLHF) أو استدلالات "النموذج اللغوي كحكم" (LLM-as-a-judge)، وهي طرق متحيزة، مشوشة، وعرضة للتلاعب العدائي. علاوة على ذلك، فإن المجالات التي تفتقر إلى أدوات تحقق برمجية صريحة (مثل الكود أو الرياضيات) تواجه صعوبة في الحصول على إشارات تعزيز وفيرة وقابلة للتحقق.

المنهجية: إطار عمل SSL4RL

يقترح المؤلفون إطار عمل SSL4RL، وهو إطار يعيد توظيف مهام التعلم الذاتي الخاضع للإشراف (SSL) كمصدر لـ مكافآت داخلية قابلة للتحقق للتدريب اللاحق القائم على التعلم التعزيزي (RL). بدلاً من معاملة SSL حصريًا كأداة للتدريب المسبق، يعيد الإطار تفسير أهداف SSL من منظور التعلم التعزيزي.

الآلية الجوهرية

يعرف الإطار بيئة تعلم تعزيزي حيث:

• دالة الفساد ($c$): يتم تحويل مدخل $x$ (صورة) إلى سياق فاسد $\tilde{x}$ وهدف حقيقي $y$.
• السياسة ($\pi_\theta$): يشترط النموذج على $\tilde{x}$ لتوليد تنبؤ $\hat{y}$.
• المكافأة ($r$): يتم حساب مكافأة قابلة للتحقق بناءً على الاتفاق بين $\hat{y}$ والهدف الحقيقي $y$. وبما أن الهدف مشتق من البيانات نفسها، فإن المكافأة تكون كثيفة، تلقائية، ولا تتطلب تسميات بشرية أو أحكامًا خارجية.

مهام SSL المحددة التي تم تقييمها

يستقصي البحث أربع مهام تمهيدية ممثلة لـ SSL، تمت إعادة صياغتها كمكافآت تعلم تعزيزي:

1. التنبؤ بالدوران (Rotation Prediction): يتم تدوير الصورة بزاوية عشوائية (0°، 90°، 180°، 270°)؛ ويتنبأ النموذج بالزاوية.
2. أحاجي الصور المقطعة (Jigsaw Puzzles): يتم تقسيم الصورة إلى شبكة (مثل 2×2) وخلطها؛ ويتنبأ النموذج بمؤشر الترتيب الصحيح.
3. التعلم التبايني (Contrastive Learning): يتم إنشاء عرضين معززين؛ ويحدد النموذج ما إذا كانا ينتميان إلى نفس الصورة المصدر (تصنيف ثنائي).
4. التنبؤ بموضع القطعة (Patch Position Prediction): يتم قص قطعة من موقع محدد؛ ويتنبأ النموذج بالربع المكاني الأصلي للقطعة.

التحسين

يستخدم الإطار تحسين السياسة المجموعاتية (Grouped Reinforcement Policy Optimization - GRPO)، وهي طريقة فعالة لتدرج السياسة. يهدف الهدف إلى تعظيم مكافأة SSL المتوقعة مع تنظيم السياسة لمنع الانحراف عن النموذج المرجعي (عادةً النموذج الذي خضع للضبط الدقيق الخاضع للإشراف) عبر عقوبة KL.

المساهمات الرئيسية

1. إطار عمل موحد: تقديم SSL4RL، الذي يربط بين التعلم الذاتي الخاضع للإشراف والتدريب اللاحق القائم على التعلم التعزيزي من خلال تحويل أهداف SSL إلى مكافآت قابلة للتحقق.
2. دراسة تجريبية عابرة للمجالات: تحليل شامل يحدد أي مهام SSL تنقل بفعالية إلى الاستدلال وأيها لا يفعل، وتتحدى الدراسة الافتراض بأن جميع أشكال التعلم الذاتي مفيدة بالتساوي، موضحة أن اختيار المهمة أمر بالغ الأهمية.
3. القدرة على التعميم: إثبات أن هذا النموذج يمتد إلى ما وراء الرؤية ليشمل البيانات ذات البنية الرسومية (Graph-structured data)، محققًا مكاسب كبيرة في تصنيف العقد والتنبؤ بالروابط.

النتائج التجريبية

الاستدلال القائم على الرؤية واللغة

تم التقييم على معايير تشمل MMBench و SEED-Bench و V* و RealWorldQA و BLINK و MME-RealWorld-Lite باستخدام نماذج Qwen-2.5-VL (3B و 7B):

• مكاسب الأداء: حققت نماذج SSL4RL متوسط تحسن قدره 7.39% في MMBench و 8.94% في SEED-Bench مقارنة بالنماذج الأساسية.
• المهام الفرعية المحددة: شملت المكاسب الملحوظة تحسنًا بنسبة 39.00% في استدلال العلاقات (Relation Reasoning) في MMBench و 19.63% في الاستدلال البصري في SEED-Bench.
• المهام مفتوحة النهايات: في منصة وصف الصور CapArena (حيث يكون الحق الحقيقي غير محدد بدقة)، حسن SSL4RL الدرجات بما يصل إلى 8.14 نقطة، مما أثبت الفعالية حتى بدون وجود حقيقة أرضية قابلة للتحقق.

المهام المتمحورة حول الرؤية

على تصنيف ImageNet-1K:

• تفوق SSL4RL باستمرار على النموذج الأساسي في مهام الإكمال والاختيار من متعدد.
• التعلم التبايني: على عكس مهام الاستدلال حيث كان أداؤه ضعيفًا، أظهر التعلم التبايني نتائج تنافسية في ImageNet، ويُعزى ذلك إلى قوته في تعلم التمثيلات الدلالية الثابتة لتمييز الحالات.

المتانة

أظهرت النماذج المدربة باستخدام SSL4RL متانة فائقة ضد الاضطرابات البصرية (مثل تذبذب الألوان، الضبابية، الضوضاء) مقارنة بالنماذج الأساسية، حيث اتسعت فجوات الأداء مع زيادة مستويات الفساد.

دراسات الاستئصال ومبادئ التصميم

• اختيار المهمة: حققت مهام الدوران (Rotation) و الموضع (Position) أقوى المكاسب. أما التعلم التبايني (Contrastive) فقد أدى غالبًا إلى تدهور الأداء ما لم يقترن بتعزيز بيانات أقوى.
• سعة النموذج مقابل صعوبة المهمة: تم تحديد مبدأ "المنطقة الذهبية" (Goldilocks principle). المهام السهلة جدًا تقدم إشارات ضعيفة، بينما المهام الصعبة جدًا (بالنسبة لسعة النموذج) تسبب نقلًا سلبيًا. بالنسبة للنماذج الأكبر (7B)، أظهرت مهام SSL القياسية عوائد متناقصة، مما يشير إلى الحاجة لأهداف أكثر تعقيدًا.
• توسيع البيانات: أظهر الأداء علاقة طردية رتيبة مع حجم بيانات التدريب.
• الجمع بين المهام: لم يؤدِ الجمع الساذج بين عدة مكافآت SSL إلى تحسينات تراكمية، مما يشير إلى وجود صراعات محتملة في التحسين.

التوسع في مجال الرسوم البيانية (Graph Domain)

عند تطبيقه على البيانات ذات البنية الرسومية (التنبؤ بالعقد والروابط)، حقق SSL4RL مكاسب متوسطة بلغت 13.79% في نماذج 3B، مما يؤكد تعدد استخدامات الإطار.

الأهمية والادعاءات

يزعم البحث أن SSL4RL يضع نموذجًا متعدد الاستخدامات وفعالًا لمواءمة النماذج متعددة الوسائط دون الاعتماد على أدوات تحقق خارجية، أو تسميات بشرية، أو أحكام استدلالية. ومن خلال الاستفادة من الإشارات القابلة للتحقق الوفيرة في SSL، يدفع الإطار نحو تحسين التأسيس البصري والاستدلال.

يؤكد المؤلفون أنه يمكن تسخير وفرة الإشارات القابلة للتحقق في SSL ليس فقط لتعلم التمثيل، بل لدفع المواءمة والاستدلال في نماذج الرؤية واللغة. ويشير العمل إلى أنه مع اختيار المهمة المناسبة — أي مطابقة صعوبة المهمة مع سعة النموذج ومواءمة التحيزات الاستقرائية مع الأهداف النهائية — يمكن لأهداف التعلم الذاتي أن تغلق الفجوة بفعالية تجاه الأداء المدفوع بإشارات مكافأة مثالية ومتخصصة في المهام. وقد تم جعل التنفيذ مفتوح المصدر لتسهيل المزيد من الأبحاث.