ملخص تقني: FRISM

بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحًا ملحوظًا في مهام الإدراك، لكنها غالبًا ما تفتقر إلى قدرات الاستنتاج المعقدة الموجودة في نماذج الاستنتاج الكبيرة (LRMs). وبينما يوفر دمج النماذج طريقة فعالة من حيث المعلمات لحقن قدرات الاستنتاج في نماذج الرؤية واللغة دون الحاجة إلى تدريب لاحق مكلف، فإن الأساليب الحالية تعمل على مستوى طبقة خشن (coarse-grained layer level). تعامل هذه الأساليب الطبقات بأكملها كوحدات ذرية، مما يؤدي إلى مقايضة كبيرة: فتعزيز الاستنتاج غالبًا ما يؤدي إلى تدهور قدرات الإدراك البصري، والعكس صحيح. وتكافح استراتيجيات الدمج على مستوى الطبقة (مثل FRANK وIP-Merging) لفصل التمثيلات الاستنتاجية والبصرية داخل الطبقة الواحدة، مما يؤدي إلى أداء دون المستوى الأمثل في كلا الجانبين.

المنهجية

يقترح المؤلفون FRISM (الدمج عبر المستويات الفرعية لضبط الاستنتاج بدقة - Fine-grained Reasoning Injection via Subspace-level model Merging)، وهو إطار عمل ينقل نموذج الدمج من مستوى الطبقة إلى مستوى الفضاء الجزئي (subspace level).

الفرضية الأساسية

يستند FRISM إلى ملاحظة مفادها أن قدرات الاستنتاج والتمثيلات البصرية تقع في فضاءات جزئية متميزة داخل فضاء المعلمات، حتى داخل الطبقة الواحدة. وبناءً على ذلك، فإن معامل القياس الموحد على مستوى الطبقة غير كافٍ؛ فهو يؤدي حتمًا إلى ربط الاستنتاج المفيد (الذي قد يتطلب مقدارًا عاليًا) بالضجيج البصري.

الإطار التقني

يعمل FRISM على مرحلتين:

1. التفكيك والتهيئة (المرحلة 1):

   • بدلًا من التعامل مع متجه المهمة الخاص بنموذج الاستنتاج ($\tau_{lrm}$) كتحديث أحادي الكتلة، يقوم FRISM بتفكيكه إلى فضاءات جزئية متعامدة باستخدام تفكيك القيم المفردة (SVD): $U, S, V^\top = \text{SVD}(\tau_{lrm})$.
   • يتم تجميد المتجهات المفردة ($U, V$) والقيم المفردة ($S$) للحفاظ على الاتجاه الدلالي لمهمة الاستنتاج.
   • يتم إدخال معلم بوابة (gating parameter) خفيف الوزن وقابل للتعلم $g$ لكل فضاء جزئي لتعديل شدة الحقن بشكل تكيفي. ويتم حساب القيم المفردة الفعالة كـ $S_{eff} = \text{Sigmoid}(g) \odot S$.
   • تُصاغ الطبقة المدمجة كالتالي: $\theta_{merged} = \theta_{vlm} + \lambda_{lrm} \cdot U (S_{eff}) V^\top$.

2. الحقن والتدريب (المرحلة 2):

   • يستخدم FRISM استراتيجية التقطير الذاتي الخالي من الملصقات (label-free self-distillation) مع وظيفة تحسين ثنائية الأهداف، مما يلغي الحاجة إلى مجموعات بيانات الاستنتاج متعددة الوسائط النادرة.
   • الحفاظ البصري ($L_{distill}$): يقلل من تباعد كولباك - ليبلر (KL divergence) بين توزيعات المخرجات للنموذج الأصلي (المعلم) والنموذج المدمج (الطالب) على بيانات الإدراك البصري غير المصنفة (مثل VizWiz). وهذا يضمن احتفاظ النموذج المدمج بفهم بصري قوي.
   • تعظيم الاستنتاج ($L_{inject}$): يعظم المقدار الطيفي للفضاءات الجزئية المحقونة ($-\sum \|S_{eff}\|^2$). يشجع هذا المصطلح على امتصاص الأولويات الاستنتاجية المحددة بواسطة متجهات مهمة نموذج الاستنتاج (LRM).
   • الهدف الإجمالي: $L = L_{distill} + \alpha \cdot L_{inject}$. يعمل هذا كمرشح طيفي، يكتشف تلقائيًا الفضاءات الجزئية التي تقدم المقايضة المثلى بين حقن الاستنتاج والحفاظ البصري.

المساهمات الرئيسية

1. نموذج الدمج على مستوى الفضاء الجزئي: يعيد البحث التفكير في دمج النماذج من خلال الانتقال من العمليات الخشنة على مستوى الطبقة إلى التعديل الدقيق على مستوى الفضاء الجزئي. وهذا يسمح بالتحديد الدقيق والدمج للمكونات المهيمنة على الاستنتاج دون تعطيل القدرات البصرية.
2. تعديل SVD التكيفي: يعد FRISM أول من اقترح تفكيك متجهات مهمة الـ LRM عبر SVD لحقن الاستنتاج، مما يسمح بإعادة وزن الفضاءات الجزئية بشكل تكيفي تحت هدف الحفاظ البصري.
3. التقطير الذاتي الخالي من الملصقات: صمم المؤلفون استراتيجية تدريب تعتمد على التحسين ثنائي الأهداف (تقليل تباعد KL وتعظيم المقدار الطيفي) لتحقيق نقل استنتاجي مستقر دون الحاجة إلى مجموعات بيانات استنتاج مرئية ولغوية مصنفة.
4. كفاءة "التوصيل والتشغيل" (Plug-and-Play): يتميز الأسلوب بكفاءة عالية من حيث المعلمات، حيث يتطلب فقط تدريب معلمات البوابة مع إبقاء النموذج الأساسي والمتجهات المفردة المفككة مجمدة.

النتائج التجريبية

أُجريت تجارب واسعة النطاق عبر مقاييس نماذج مختلفة (3B, 7B, 32B) وهياكل متنوعة (Qwen2.5-VL, ThinkLite-VL, InternVL).

• أداء الاستنتاج: يتفوق FRISM باستمرار على خطوط الأساس الحالية للدمج (Task Arithmetic, Ties-Merging, DARE, IP-Merging) وغالبًا ما يتجاوز نموذج VLM الأساسي بشكل كبير. على سبيل المثال، في مقياس 7B، حقق FRISM درجة استنتاج بلغت 49.4 في المتوسط، متفوقًا على النموذج الأساسي بمقدار نقطتين ومقتربًا من أداء النماذج عالية التكلفة مثل ThinkLite-VL-7B.
• الحفاظ البصري: على عكس الأساليب الأخرى التي تعاني من تدهور في مهام الإدراك البصري، يحافظ FRISM إلى حد كبير على القدرات البصرية أو حتى يحسنها قليلاً. وفي اختبارات الإدراك البصري، أظهر FRISM أقل انخفاض في الأداء بين جميع الأساليب.
• الكفاءة: يتميز FR_ISM بكفاءة عالية، حيث يتطلب 0.53 مليون معلمة قابلة للتدريب و 0.49 ساعة من وقت التدريب على وحدة معالجة رسومات واحدة. وهذا أكثر كفاءة بكثير من أساليب التدريب اللاحق مثل DRIFT، والتي تتطلب حوالي 7000 مليون معلمة وحوالي ساعتين، بينما تحقق أداء استنتاج مماثل أو متفوق.
• دراسات الاستبعاد (Ablation Studies): أكدت التجار nghiệm أن كل من عملية تفكيك SVD وحد الاستخلاص الطيفي ضروريان. أدى إزالة SVD (العودة إلى مستوى الطبقة) أو إزالة فقدان الحقن إلى أداء قريب من النموذج الأساسي، مما يؤكد ضرورة التحكم الدقيق في الفضاء الجزئي والحقن الاستنتاجي النشط.

الأهمية والادعاءات

يزعم البحث أن FRISM يسد الفجوة بين نماذج الاستنتاج القوية ونماذج الرؤية واللغة (VLMs) من خلال حل الصراع المتأصل بين حقن الاستنتاج والحفاظ على الإدراك البصري. ومن خلال التعامل مع حقن الاستنتاج كمسألة ترشيح على مستوى الفضاء الجزئي بدلاً من كونها عملية موازنة على مستوى الطبقة، يقدم FRISM حلاً متعدد الاستخدامات وسهل التوصيل والتشغيل يتوافق مع مختلف هياكل نماذج الرؤية واللغة.

يؤكد المؤلفون أن نهجهم يوفر بديلًا فعالًا للتدريب اللاحق كثيف الموارد، حيث يحقق أداء استنتاج هو الأفضل حاليًا مع الحفاظ على المتانة البصرية دون الحاجة إلى مجموعات بيانات استنتاج مصنفة باهظة الثمن. ويشير العمل إلى أن قدرات النماذج ليست موزعة بشكل موحد ولكنها مشفرة بشكل مميز ضمن فضاءات جزئية ذات رتب محددة، وهو اكتشاف يتيح دمج نماذج أكثر دقة وفعالية.

ملاحظة: يقر البحث بوجود قيود، بما في ذلك زيادة وقت الاستنتاج بسبب تسلسلات المخرجات الأطول (الإفراط في التفكير/overthinking) وعدم القدرة الحالية على التعميم عبر نماذج ذات أحجام أو هياكل مختلفة. كما يشير إلى أن هدف الاستنتاج يعتمد على وكيل (مقدار الفضاء الجزئي) بدلاً من الإشراف المباشر بسبب ندرة البيانات.